Как сделать идеальный A/B тест

На самом деле, это базовые вещи, но маркетологи их упорно игнорируют. Как не наступать на те же грабли и сделать a/b тест по уму – читайте в этой статье.

Совершенствование

Для спортсмена совершенство – это показать свой максимум, выложиться физически и морально, и добиться такого результата, которого не достигал раньше никто и никогда. Эта аналогия применима и для A/B теста. Тщательное планирование и проведение теста, доработка сайта и повышение конверсии как результат повышает планку мастерства.

Достижение идеала – это не получение конкретного результата, а совершенствование процесса.

Выбираем, что тестировать

Прежде всего выберите правильный элемент сайта для проверки, и создайте вариант B для сравнения.

Изучите карты кликов и скроллинга в Яндекс.Метрике, а также записи вебвизора. Узнайте, на какие элементы кликают посетители, где задерживаются, а что пропускают.

Как вебвизор помогает повысить конверсию

Чтобы результаты окупились, ответьте, почему именно исходный вариант страницы нуждается в доработке. Например, если пользователи часто кликают на неактивный элемент – попробуйте сделать его активным. Чего они ожидают? Дополнительной информации, прокрутки, формы обратной связи? Улучшит ли это конверсию?

Следующие вопросы: почему вы проверяете именно этот элемент, и насколько повысится конверсия в целевое действие? Как вы будете измерять и с чем сравнивать? Это основа вашей статистической гипотезы.

Прежде чем планировать тест, нужна гипотеза. В терминах статистики, нулевая гипотеза заключается в том, что в процессе теста ничего не изменится. Конкурирующая гипотеза – верно то, что вы проверяете. Тест успешный, если нулевая гипотеза опровергнута.

Решите для себя, каким должен быть порог значения успешности - например, на сколько должна измениться конверсия в тесте, чтобы вы могли считать это изменение успехом. Также подумайте о причинах, по которым вариант B должен превзойти вариант A.

Эта таблица фиксирует наше наблюдение, которое мы сделали в начале: посетители сайта кликают на неактивный элемент (картинку, заголовок, и т.п.)

И еще раз по поводу выбора элемента тестирования, поскольку в тесте это самый важный момент.

Обратите внимание на заголовок, список  преимуществ, подпись к лид-форме, призыв к действию на кнопке CTA. Именно эти элементы сильнее всего влияют на конверсию в звонки, заявки, заказы. Не каким цветом и каким шрифтом они сделаны, а что там написано, какая формулировка.

Дело в том, что заголовок, список  преимуществ, подпись к лид-форме, призыв к действию на кнопке CTA все вместе образуют ценностное предложение компании. Что вы предлагаете пользователю, какую выгоду за его контакты (телефон - емэйл).

Снижайте неопределенность

Неважно, сколько усилий уйдет на планирование теста, если в тесте много неопределенности.

Погрешность часто упускают из вида. Удивительно, что этот значительный параметр часто печатается мелким шрифтом. Взгляните на недавний пример с выборов в США:

«Кто побеждает? Голосование CNN/ORC, 22-24 июля, 2016, ошибка выборки: +/– 3,5 %, выборка: 882 зарегистрированных голоса».

Тогда у Клинтон могло быть 48,5%, а у Трампа – 44,5%, что меняет ситуацию. Погрешность также связана с доверительным интервалом – это диапазон возможных значений. Например, доверительный интервал для Трампа 48% +/– 3,5%. 

Если доверительные интервалы для вариантов А и В перекрываются, это говорит о высокой неопределенности в результате.

Если вы пытаетесь найти небольшие улучшения в результатах вашего А/В тестирования, всегда имейте в виду, что есть погрешность.

Можно повысить выборку – количество измерений, кликов. Это снизит погрешность, но не устранит ее. Зависимость между размером выборки и погрешностью нелинейная и убывающая, прирост точности в процессе увеличения выборки снижается. Полностью избавиться от погрешности нельзя, а бесконечно расширять выборку не целесообразно из-за падающей отдачи от масштаба.

Шрифтом еще мельче – уровень статистической значимости. По умолчанию он 95% и об этом не пишут. Для примера с выборами – на 95% верно то, что у Клинтон «реальные» цифры в диапазоне от 41,5% до 48,5%.

Однако 95% – не истина в последней инстанции. Если вы хотите снизить неопределенность в результатах, есть еще одно значение – 99%. Риск ошибиться падает с 1 к 20 до 1 к 100, а это, как говорят в Одессе, две большие разницы.

Избегайте распространенных ошибок

Если вы тщательно спланировали эксперимент, минимизировали неопределенность и протестировали оба варианта с достаточным объемом выборки, вы на правильном пути. Но как бегун - марафонец может споткнуться и упасть на последних 100 метрах, так и в А/В тестировании есть риск испортить в самом конце.

Избегайте следующих ошибок в анализе данных.

1) Завершение тестирования раньше срока.

Хотите быстрых результатов? Даже если готово заключение о результате, не торопитесь. 

Планирование основано на наблюдаемых действиях в поведении пользователей и периоде их повторения. Вреда от продления теста не будет – вы просто закончите его с большей выборкой и меньшей неопределенностью.

Верно и обратное: если вы не собрали достаточной выборки, продлевайте тест. Даже если результаты четко сигнализируют в пользу одного из вариантов.

В среднем полноценный тест занимает 3-4 недели.

2) Экстраполирование результатов за рамки.

Вы получили положительные результаты. Не распространяйте их за пределы проверенного участка! Допустим, добавление или изменение контрольного элемента прошло успешно. При этом не обязательно оно сработает для других страниц или другого сайта. Даже в другое время – при повторном тестировании месяц спустя результаты могут совершенно другими.

И наоборот: если вы протестировали поведение пользователей для элемента карточки товара, а на других карточках товара такой же элемент – это интерполяция. Когда вы интерполируете результаты, вы остаетесь в пределах очерченной тестом зоны, и это допустимо. 

Используйте цикл обратной связи

Совершенство притягивает, как морковка на палке перед носом бегущего за ней ослика. Грубовато, но очень похоже на некоторых тестировщиков. И хотя морковку нам не схватить, мы можем с каждым кругом улучшать результаты.

Процесс непрерывных изменений – вот что делает эксперименты интересными. Всегда есть способы что-то улучшить и повысить планку.

Пять шагов для тестирования:

• Поставить гипотезу и провести А/В тест;
• Если успешно, то внедрить изменения согласно выводам. Иначе – вернуться к первому шагу;
• Понаблюдать изменения на практике и определить участки, на которых результаты теста не совпали с ожиданиями;
• Запланировать изменения согласно наблюдениям и несовпадениям;
• Перейти к шагу 1 и провести следующий тест, основанный на шагах 3 и 4.

С помощью этого цикла можно протестировать конкретный элемент сайта несколько раз или несколько элементов последовательно. Фишка в том, чтобы строить новые тесты на основе достигнутых результатов, и учиться как на успехах, так и на неудачах.

Статья подготовлена по материалам blog.crazyegg.com .