Всё для рекламы
и про рекламу
Навигация по статье
В чем помогают экспериментыДо запуска экспериментаКак запускать экспериментКак подготовить кампании для тестированияГде смотреть результаты экспериментаКак учитывать погрешностьЧек-лист
Контекстная реклама

Как проводить эксперименты в Яндекс.Директе

46135
Нет универсального способа настраивать рекламу для всех ситуаций и бизнесов. Это касается и настроек, и текстов объявлений, и аудиторий, которым вы хотите показать эти объявления.
 
Полагаться на интуицию в этом случае точно не стоит. Лучше выяснить на практике, какие настройки кампаний сработают именно для вашего продукта, вашей компании. Без тестирования тут не обойтись. Провести его можно с помощью экспериментов в Яндекс.Директе.
 
Благодаря этому инструменту вам не придется вручную проводить сплит-тесты, этот процесс Яндекс автоматизирует и делает максимально простым и прозрачным. Как запускать и проводить эксперименты, смотрите в этом руководстве.

В чем помогают эксперименты

Эксперименты – это те же сплит-тесты, только с дополнительными возможностями. То есть тестирование разных комбинаций настроек, плюс к этому вы можете:
 
1) Выяснить, как влияют друг на друга кампании разных типов.
 
2) Посмотреть, как целевые действия на сайте зависят от показов рекламы.
 
3) Сравнить, как работают автостратегии и ручное назначение ставок, и на основании этого решить, какая стратегия больше подойдет.
 
4) Сравнить разные медиапланы (полезная штука для рекламных агентств).
 
Рекомендуем использовать эксперименты, прежде чем запускать любую новую рекламную кампанию, чтобы убедиться в том, что её нужно запускать в полную силу.
 
Всё происходит следующим образом. Вы задаете количество и размер (долю) сегментов, а Яндекс случайным образом разделяет вашу аудиторию на эти сегменты.
 
Ограничение: нельзя проводить эксперименты для рекламы мобильных приложений и медийных кампаний со сделками.

До запуска эксперимента

Учитывайте два момента:
 
1) Лучше для одного эксперимента брать одну гипотезу на проверку, как изменится один параметр. Сразу же решите и сформулируйте, что именно вы хотите проверить.
 
2) Эксперимент есть смысл проводить, если, во-первых, у вас настроены цели в Яндекс.Метрике. И во-вторых, цель, которая важна для эксперимента, набирает от 200 конверсий и больше ежемесячно. Только так вы получите статистически значимые результаты.
 
Если данных недостаточно, попробуйте взять цель, которая идет выше по воронке продаж и которую пользователи достигают чаще.
 
3) И еще один момент относительно стратегий: если вы сравниваете ручную и автостратегию, чтобы делать какие-то основательные выводы, нужно, чтобы за время теста на оба варианта израсходовалось одинаковое количество бюджета.

Как запускать эксперимент

Сейчас эксперименты доступны в интерфейсе Яндекс.Директа по умолчанию, не нужно делать запрос на доступ к этой функции.
 
Она находится в Яндекс.Аудиториях. Перейдите на вкладку «Эксперименты» и кликните «Создать эксперимент» или «Создать первый эксперимент», если пользуетесь этим инструментов впервые.
 
Эксперименты в Яндекс.Директе – кнопка создания эксперимента
Далее:
 
Эксперименты в Яндекс.Директе – настройки эксперимента в Аудиториях
 
здесь вы заполняете:
 
1) Название эксперимента.
 
2) Номер счетчика Метрики, из которого подтянутся данные о целях. Можно выбрать из выпадающего списка нужный:
 
Эксперименты в Яндекс.Директе – выбор счетчика
 
Или добавляете нажатием на кнопку:
 
Эксперименты в Яндекс.Директе – добавление счетчика
 
Можно добавить таким образом несколько счетчиков в один эксперимент.
 
3) Количество и долю сегментов для тестирования, например:
 
Эксперименты в Яндекс.Директе – пример разделения на сегменты
 
По умолчанию – два сегмента 50 / 50. По факту они необязательно должны быть равномерными: это может быть и 90 / 10, 70 / 30 и т.д.
 
При необходимости можно разделить аудиторию более, чем на 2 тестовых сегмента, нажав «Добавить сегмент»:
 
Эксперименты в Яндекс.Директе – добавление новых сегментов

Как подготовить кампании для тестирования

1) Создайте несколько одинаковых тестовых кампаний.
 
Быстрее создать одну исходную и скопировать нужное количество раз. Для этого отметьте её галочкой в списке кампаний и выберите действие «Копировать»:
 
Эксперименты в Яндекс.Директе – кнопка для копирования кампании
 
2) Поменяйте статус тестовых кампаний на «Приостановлена».
 
3) Измените один параметр, который хотите протестировать, в каждой тестовой кампании. Остальные настройки (параметры, объявления и бюджет) оставьте без изменений.
 
4) Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.
 
Эксперименты в Яндекс.Директе – добавление счетчиков в Директе
 
5) Прикрепите кампании к нужным экспериментам в дополнительных настройках.
 
При редактировании кампаний в блоке «Эксперименты» нажмите кнопку «Изменить».
 
Эксперименты в Яндекс.Директе – добавление экспериментов в Директе
 
Затем в окне настройки экспериментов выберите эксперимент, который ранее создали в Яндекс.Метрике.
 
Одну кампанию можно одновременно использовать максимум в 5 экспериментах.
 
6) В каждой тестовой кампании выберите сегмент аудитории, которому будут показываться объявления этой кампании.
 
Объясним на простом примере. Допустим, у вас 2 сегмента – мужчины и женщины. При создании эксперимента вы задали им доли 45 и 55 соответственно. Если в одной из тестовых кампаний вы выбираете сегмент мужчин, значит, рекламу этой кампании увидят 45% от мужчин из всей аудитории.
 
Если нужно, установите корректировки ставок для выбранных сегментов. Для этого активируйте опцию и укажите, на какой процент повысить или понизить ставки по рекламной кампании.
 
Эксперименты в Яндекс.Директе – настройка эксперимента в Директе
 
Сохраните.
 
7) Когда всё готово, запустите одновременно все тестовые кампании.
 
На этом настройка эксперимента завершена. Дальше нужно подождать не менее 2 недель, а лучше месяц, чтобы накопить достаточно статистики для получения достоверных результатов.

Где смотреть результаты эксперимента

Первое – это Мастер отчетов в Яндекс.Директе с данными о расходах. Отметьте следующие столбцы для отображения и выберите условие фильтрации «Эксперименты». Выберите нужный эксперимент.
 
Эксперименты в Яндекс.Директе – фильтрация по экспериментам в Мастере отчетов
 
В итоге важно понять, какое размещение рекламы более рентабельное.
 
Второе – это стандартный отчет в Яндекс.Метрике, который называется «Директ, эксперименты». Из него вы узнаете данные о конверсиях.
 
Эксперименты в Яндекс.Директе – Директ, эксперименты
Далее в этом отчете выберите нужный эксперимент и сегмент с кампаниями в Яндекс.Директе, созданными для этого эксперимента.
 
Перейдите в режим сравнения и выберите цели. Вы увидите примерно такую таблицу:
 
Эксперименты в Яндекс.Директе – результаты эксперимента
 
 
В режиме сравнения в нем выделяются цветом следующие метрики:
 
  • Просмотры
  • Визиты
  • Целевые визиты
  • Посетители
  • Целевые посетители
  • Достижения цели
  • Достижения цели на посетителя
  • Конверсия
  • Конверсия посетителей
  • Отказы
 
и некоторые другие.
 
Что значит тот или иной цвет?
 
Зелёный – экспериментальный вариант (сегмент) сработал лучше, чем тот, с которым вы его сравниваете, красный – наоборот значительно хуже. Метрики, выделенные серым, по обоим вариантам не отличаются. Во всех трех случаях данных достаточно для оценки результата.
 
Если данные не выделены, это значит одно из двух:
 
1) Метрику нельзя применять в режиме сравнения.
 
2) Данных пока недостаточно.
 
Решение: подождите еще, чтобы накопилось больше статистики или поменяйте настройки эксперимента, чтобы быстрее собрать необходимый трафик.
 
Как видите, Метрика сама определяет, достаточно ли данных для анализа, что значительно облегчает вам работу.
 
Осталось сопоставить данные по обоим отчетам. Для этого:
 
  • Выберите одинаковые периоды
  • Отфильтруйте данные по одному и тому же региону показа.
 
Также убедитесь, что эксперимент не прерывался на протяжении выбранного периода.
 
Допустим, результаты такие:
 
Эксперименты в Яндекс.Директе – сопоставление результатов Метрики и Директа
 
В этом примере при одинаковых затратах сегмент Б принес на 150% больше конверсий, чем А. При этом стоимость достижения цели уменьшилась на 60%. То есть кампания на сегмент Б эффективнее.
 
Естественно, если данных недостаточно, принимать решение, основываясь на этом результате, не стоит. Однако, как и в любом машинном алгоритме, в Метрике неизбежны погрешности.

Как учитывать погрешность

Реальное значение показателей всегда будет немного отличаться от того, что вы увидите при проведении эксперимента. Погрешности нет только в теории: если бы экспериментальная кампания длилась бесконечно.
 
В режиме сравнения включите отображение погрешности. Вы увидите, на сколько процентов возможен разброс величины. Соответственно, чем ниже погрешность, тем выше вероятность, что значение метрики истинное, и наоборот.
 
Также проверять достоверность теста можно с помощью Калькулятора достоверности A/B тестирования. Он позволяет быстро оценивать результаты по нескольким стратегиям назначения ставок и определять самый эффективный набор инструментов и форматов по показателю CPA (стоимости целевого действия).
 
Введите свои данные в пустые поля:
 
Эксперименты в Яндекс.Директе – калькулятор достоверности
Здесь нужны:
 
  • Данные по сегментам: размер, расходы, конверсии, клики.
  • Целевое p-value (уровень значимости) – степень вашей уверенности в результатах эксперимента. Рекомендуемое значение 80%.
  • Максимальный коэффициент жесткости дополнительных инвестиций – во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий.
 
В результате расчета в последнем столбце появится слово «Да» напротив того сегмента, который эффективнее.
 
Например:
 
Эксперименты в Яндекс.Директе – пример расчета в калькуляторе достоверности
Или «Нет» – напротив того, который показал хуже результат. Если там будет знак вопроса, между сегментами нет статистически значимой разницы, и определить лучший невозможно. Узнать точную причину этого также почти невозможно.
 
Когда вы всё проанализируете и сделаете выводы, эксперимент можно завершать, а тестовые кампании все одновременно останавливать. В настройках кампании-победителя, которую вы хотите запускать «на боевую», не забудьте отключить эксперимент.
 
И напоследок – чек-лист в помощь для запуска эксперимента.

Чек-лист

1) Гипотеза сформулирована.
 
2) Счетчик Метрики с целями подключен.
 
3) Эксперимент в Яндекс.Аудиториях создан + тестовые кампании созданы и запущены.
 
4) Эксперимент длится непрерывно.
 
5) Необходимое количество данных собрано.
 
6) а) Метрика показывает более эффективный вариант, либо б) выдает результат, что по эффективности они значительно не отличаются.
7) а) Эксперимент завершен, вариант-победитель запущен «на боевую» б) настройки эксперимента изменены и он запущен заново, до получения статистически значимых результатов.
 
Как видите, для тестирования не нужно использовать навороченные дорогие инструменты или вручную что-то считать. Все за вас сделают инструменты Яндекса.
 
Высоких вам конверсий!
Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто
Опубликовано редакцией Yagla
46135
8
Читайте ещё статьи по этой теме

Где и как хранить пароли от аккаунтов так, чтобы их не украли Статья

Безопасность личных данных в интернете – это то, о чем каждому из нас приходится заботиться. При регистрации на сайтах и в интернет-магазинах, авторизации в соцсетях, пользовании электронной почтой и самыми разными приложениями.

В каком статусе лучше работать фрилансеру: ИП, самозанятость или без регистрации Статья

Как грамотно организовать работу и не нарваться на неприятности, если вы собираетесь идти во фриланс? Нужно ли регистрироваться? Что выбирать – ИП или самозанятость? Ответы на этот и другие организационные вопросы – в нашей статье. .1

Как связаны дизайн и конверсия сайта: неожиданные открытия Статья

Красивая картинка продает? Если отвечать не задумываясь – да. Вроде бы всё логично: на неё приятно смотреть, значит, она будет мотивировать.
Написать комментарий
Обсуждаемое

Настройка контекстной рекламы: Кого выбрать — агентство или фрилансера? Статья

В современном бизнесе контекстная реклама является одним из самых эффективных инструментов для продвижения товаров и услуг. Однако успешная настройка рекламных кампаний требует глубоких знаний и опыта.

10 нейросетей для создания видео: обзор лучших сервисов и программ Статья

Хотите записать рекламный или обучающий ролик, не выходя из дома? В статье собрала топ-10 бесплатных нейросетей для создания видео. Однако AI не всегда оправдывает ожидания и результат может быть не таким, как вы хотели.

Будущее образования: как институт Навигатор внедряет VR и AR технологии для повышения качества обучения Статья

Институт «Навигатор» активно использует современные технологии виртуальной (VR) и дополненной реальности (AR) для совершенствования образовательных и корпоративных программ. Эти иммерсивные решения помогают переосмыслить традиционные методы обучения, делая его не только более захватывающим и визуально привлекательным, но и более эффективным.