Всё для рекламы
и про рекламу
Навигация по статье
СовершенствованиеВыбираем, что тестироватьСнижайте неопределенностьИзбегайте распространенных ошибокИспользуйте цикл обратной связи
Аналитика

Как сделать идеальный A/B тест

32932
2

На самом деле, это базовые вещи, но маркетологи их упорно игнорируют. Как не наступать на те же грабли и сделать a/b тест по уму – читайте в этой статье.

Совершенствование

Для спортсмена совершенство – это показать свой максимум, выложиться физически и морально, и добиться такого результата, которого не достигал раньше никто и никогда. Эта аналогия применима и для A/B теста. Тщательное планирование и проведение теста, доработка сайта и повышение конверсии как результат повышает планку мастерства.

Достижение идеала – это не получение конкретного результата, а совершенствование процесса.

Выбираем, что тестировать

Прежде всего выберите правильный элемент сайта для проверки, и создайте вариант B для сравнения.

Изучите карты кликов и скроллинга в Яндекс.Метрике, а также записи вебвизора. Узнайте, на какие элементы кликают посетители, где задерживаются, а что пропускают.

Как сделать идеальный ab тест – узнаем слабые места с помощью карты кликов

Как вебвизор помогает повысить конверсию

Чтобы результаты окупились, ответьте, почему именно исходный вариант страницы нуждается в доработке. Например, если пользователи часто кликают на неактивный элемент – попробуйте сделать его активным. Чего они ожидают? Дополнительной информации, прокрутки, формы обратной связи? Улучшит ли это конверсию?

Следующие вопросы: почему вы проверяете именно этот элемент, и насколько повысится конверсия в целевое действие? Как вы будете измерять и с чем сравнивать? Это основа вашей статистической гипотезы.

Прежде чем планировать тест, нужна гипотеза. В терминах статистики, нулевая гипотеза заключается в том, что в процессе теста ничего не изменится. Конкурирующая гипотеза – верно то, что вы проверяете. Тест успешный, если нулевая гипотеза опровергнута.

Как сделать идеальный ab тест – нулевая гипотеза

Решите для себя, каким должен быть порог значения успешности - например, на сколько должна измениться конверсия в тесте, чтобы вы могли считать это изменение успехом. Также подумайте о причинах, по которым вариант B должен превзойти вариант A.

Как сделать идеальный ab тест – уровни гипотезы

Эта таблица фиксирует наше наблюдение, которое мы сделали в начале: посетители сайта кликают на неактивный элемент (картинку, заголовок, и т.п.)

И еще раз по поводу выбора элемента тестирования, поскольку в тесте это самый важный момент.

Обратите внимание на заголовок, список  преимуществ, подпись к лид-форме, призыв к действию на кнопке CTA. Именно эти элементы сильнее всего влияют на конверсию в звонки, заявки, заказы. Не каким цветом и каким шрифтом они сделаны, а что там написано, какая формулировка.

Дело в том, что заголовок, список  преимуществ, подпись к лид-форме, призыв к действию на кнопке CTA все вместе образуют ценностное предложение компании. Что вы предлагаете пользователю, какую выгоду за его контакты (телефон - емэйл).

Снижайте неопределенность

Неважно, сколько усилий уйдет на планирование теста, если в тесте много неопределенности.

Погрешность часто упускают из вида. Удивительно, что этот значительный параметр часто печатается мелким шрифтом. Взгляните на недавний пример с выборов в США:

Как сделать идеальный ab тест – пример с выборов президента США

«Кто побеждает? Голосование CNN/ORC, 22-24 июля, 2016, ошибка выборки: +/– 3,5 %, выборка: 882 зарегистрированных голоса».

Тогда у Клинтон могло быть 48,5%, а у Трампа – 44,5%, что меняет ситуацию. Погрешность также связана с доверительным интервалом – это диапазон возможных значений. Например, доверительный интервал для Трампа 48% +/– 3,5%. 

Если доверительные интервалы для вариантов А и В перекрываются, это говорит о высокой неопределенности в результате.

Если вы пытаетесь найти небольшие улучшения в результатах вашего А/В тестирования, всегда имейте в виду, что есть погрешность.

Как сделать идеальный ab тест – уровень погрешности

Можно повысить выборку – количество измерений, кликов. Это снизит погрешность, но не устранит ее. Зависимость между размером выборки и погрешностью нелинейная и убывающая, прирост точности в процессе увеличения выборки снижается. Полностью избавиться от погрешности нельзя, а бесконечно расширять выборку не целесообразно из-за падающей отдачи от масштаба.

Шрифтом еще мельче – уровень статистической значимости. По умолчанию он 95% и об этом не пишут. Для примера с выборами – на 95% верно то, что у Клинтон «реальные» цифры в диапазоне от 41,5% до 48,5%.

Однако 95% – не истина в последней инстанции. Если вы хотите снизить неопределенность в результатах, есть еще одно значение – 99%. Риск ошибиться падает с 1 к 20 до 1 к 100, а это, как говорят в Одессе, две большие разницы.

Избегайте распространенных ошибок

Если вы тщательно спланировали эксперимент, минимизировали неопределенность и протестировали оба варианта с достаточным объемом выборки, вы на правильном пути. Но как бегун - марафонец может споткнуться и упасть на последних 100 метрах, так и в А/В тестировании есть риск испортить в самом конце.

Избегайте следующих ошибок в анализе данных.

1) Завершение тестирования раньше срока.

Хотите быстрых результатов? Даже если готово заключение о результате, не торопитесь. 

Планирование основано на наблюдаемых действиях в поведении пользователей и периоде их повторения. Вреда от продления теста не будет – вы просто закончите его с большей выборкой и меньшей неопределенностью.

Верно и обратное: если вы не собрали достаточной выборки, продлевайте тест. Даже если результаты четко сигнализируют в пользу одного из вариантов.

Как сделать идеальный ab тест – размер выборки

В среднем полноценный тест занимает 3-4 недели.

2) Экстраполирование результатов за рамки.

Вы получили положительные результаты. Не распространяйте их за пределы проверенного участка! Допустим, добавление или изменение контрольного элемента прошло успешно. При этом не обязательно оно сработает для других страниц или другого сайта. Даже в другое время – при повторном тестировании месяц спустя результаты могут совершенно другими.

И наоборот: если вы протестировали поведение пользователей для элемента карточки товара, а на других карточках товара такой же элемент – это интерполяция. Когда вы интерполируете результаты, вы остаетесь в пределах очерченной тестом зоны, и это допустимо. 

Используйте цикл обратной связи

Совершенство притягивает, как морковка на палке перед носом бегущего за ней ослика. Грубовато, но очень похоже на некоторых тестировщиков. И хотя морковку нам не схватить, мы можем с каждым кругом улучшать результаты.

Процесс непрерывных изменений – вот что делает эксперименты интересными. Всегда есть способы что-то улучшить и повысить планку.

Пять шагов для тестирования:

  • Поставить гипотезу и провести А/В тест;
  • Если успешно, то внедрить изменения согласно выводам. Иначе – вернуться к первому шагу;
  • Понаблюдать изменения на практике и определить участки, на которых результаты теста не совпали с ожиданиями;
  • Запланировать изменения согласно наблюдениям и несовпадениям;
  • Перейти к шагу 1 и провести следующий тест, основанный на шагах 3 и 4.

С помощью этого цикла можно протестировать конкретный элемент сайта несколько раз или несколько элементов последовательно. Фишка в том, чтобы строить новые тесты на основе достигнутых результатов, и учиться как на успехах, так и на неудачах.

Статья подготовлена по материалам blog.crazyegg.com .

Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто
Опубликовано редакцией Yagla
32932
2
1
Читайте ещё статьи по этой теме

Руководство по анализу и оптимизации кампаний в Яндекс.Директе Статья

Однажды настроить контекстную рекламу и забыть — не получится. Нужно регулярно отслеживать статистику, чтобы знать, что в порядке, а что нужно поправить.2

Всё про новые метрики в Яндекс.Директе Статья

Как вы уже знаете, в апреле 2018 года Яндекс поменял принцип торгов. Теперь рекламодатели при назначении ставки стремятся не к позиции в выдаче, а к объему трафика.

Шаблоны Яндекс.Директ: руководство по применению Статья

Яндекс предлагает инструмент для автоматического создания однотипных объявлений – шаблоны. Хотя некоторые PPC специалисты считают, что это халтура на настройке, при правильном использовании шаблоны освобождают от части рутинной работы в аккаунте и показывают пользователям релевантную рекламу.14
Написать комментарий
Aleksandr OsiyukJanuary 19, 2017 в 3:18 PM
Изменив уровень статистической значимости с 95 до 99 мы только расширяем доверительный интервал. В чем тогда суть снижения неопределенности?
Inner VisionJanuary 20, 2017 в 2:07 PM
Александр, в целом - это 2 направления снижения неопределённости, а точнее - просто два разных варианта её отразить. Одно - расширять доверительный интервал - второе - снижать погрешность. Две стороны одной медали.
Свежее

Как открыть свое digital-агентство: пошаговый алгоритм действий Статья

Мое видение. Для того чтобы прийти к открытию своего digital-агентства, нужно пройти определенное количество шагов.

Как мы увеличили посещаемость ТЦ с товарами для стройки и ремонта: SEO и РК в конкурентной нише Статья

Рассказываем, как использовали SEO и интернет-рекламу, чтобы увеличить посещаемость стройцентра на 3-5% в месяц. Ситуация усложнялась падающим спросом на рынке в категории ремонта и строительства.1

Дзен и SEO-продвижение сайта. Как одно связано с другим и что можно из этого выжать на практике Статья

Минутка грустного профессионального юмора: если под дзеном понимать состояние спокойствия и просветления, то с работой в SEO это несовместимо и точно никак не связано. А вот если речь про платформу для просмотра и создания контента — то связь есть, и при ее понимании можно обратить ее себе на пользу.