Разрушаем мифы об A/B тестировании

«A/B тестирование и оптимизация конверсии – одно и то же», «Нужно тестировать все элементы»... Эти и другие стереотипы прочно сидят в голове новичков и опытных маркетологов.

Число «экспертов» тестирования растет, а их советы и рекомендации сводят результаты оптимизации на нет.

Без паники! В этой статье мы развеем 4 мифа A/B тестирования, которые вы слышите снова и снова. Итак, поехали!

Миф первый: «Чем больше тестов, тем лучше»

Многие привязывают успех к частоте. Оно и понятно в какой-то мере: чем больше тестов вы проводите, тем быстрее совершенствуетесь в этом и подтверждаете важность сплит-тестирования в целом.

Если фанатично проверять каждый элемент страницы много раз, это не даст результатов для долгосрочного периода. Когда вы фокусируетесь на частоте и скорости, вы хуже структурируете эксперименты и упускаете ценные выводы.

Уделите время подготовке. Убедитесь, что A/B тестирование соответствует гипотезе. Отслеживайте релевантные цели, чтобы генерировать максимум полезных идей, и ищите ответы на все вопросы.

Не тестируете много элементов сразу – это высокий риск ошибок при обосновании результатов. Например, резкий скачок конверсии одного из вариантов – не всегда признак того, что он лучший.

Учитывайте опыт предыдущих экспериментов, когда создаете стратегию для следующих.

Миф второй: «Статистическая значимость – это предел мечтаний»

Рекомендуемый уровень статистической значимости – 95%. Если вы достигаете этой цифры, вы получаете на 95% достоверный результат. 

Тест может показать значимость через пару часов после запуска. Но за это время вы вряд ли соберете репрезентативную выборку.

Статистическая значимость – не единственный детерминант для A/B тестирования, поэтому:

1) Если тест достиг значимости, не прекращайте его. Ждите нужного объема выборки.

Поведение трафика – и, соответственно, время получения достоверных результатов – различается у разных компаний. Для E-commerce это, как правило, одна неделя.

2) Не ждите, пока тест покажет желаемый уровень значимости. Этого может не произойти, и это не значит, что нужно остановить тест. Оцените достоверность результатов с помощью факторов:

• Стабильность разницы показателей конверсии во времени. Напрямую влияет на достоверность. Проверьте графики. Пересекаются ли варианты? Линии плавные или с резкими перепадами?

  

• Длительность эксперимента: анализируйте стабильность показателя конверсии на протяжении полного бизнес-цикла.
• Изменчивость: если средние значения конверсии в двух выборках совпадают (проверка по t-тесту), то скачок показателей имеет смысл.
• Скачок конверсии и ROI: сможете ли вы достичь скачок в n % и при этом сохранить ROI на желаемом уровне?
• Влияние на другие элементы: расшаривание, кликабельность, средний чек и т.д. Их нестабильность – возможная причина перепадов конверсии.

Эти факторы помогут принять правильное решение: внедрить изменения, отвергнуть их, или провести дополнительный тест.

Миф третий: эффективность A/B теста только в том, как он помогает повысить конверсию

Если конверсия – единственное мерило успеха для вас, вы недооцениваете потенциал тестирования для маркетинговой оптимизации.

Мало изучить изменение этого показателя, смотрите также на поведение посетителя: клики, визиты, заполнения форм и другие метрики. 

Используйте их, когда проводите дополнительные эксперименты, идентифицируете болевые точки. С каждым экспериментом вы получаете больше выводов и лучше понимаете, как пользователи взаимодействуют с сайтом. Это делает сплит-тест более ценным.

Пример – один из клиентов WiderFunnel: онлайн-сервис информационной поддержки клиентов. Пользователи сервиса проходят воронку из 4 шагов. Цель – увеличивать транзакции для каждого эксперимента и изучить поведение посетителя по показателям CTR, возвратов и т.д.

Цель эксперимента на первом шаге воронки – определить ожидания посетителя в начале покупательского пути. Все 3 версии вызвали транзакции:

Анализ воронки продаж: % изменения CTR

От шага 1 к шагу 2 все меньше пользователей попадают в воронку. То есть, мы фильтруем посетителей, которые не готовы к покупке / заказу / подписке.

Однако от шага 3 к шагу 4 видим постепенный рост кликабельности.

Обратите внимание: для одного варианта клики выросли на 12%, но снизилась конверсия на 1,6%. Причина – кнопка CTA (призыва к действию) не мотивирует пользователя совершить целевое действие. Нужен дополнительный тест.

Миф четвертый: A/B тестирование не помогает в планировании

Некоторые маркетологи до сих пор рассматривают сплит-тестирование как проверку всего, что придет на ум. Однако это лишь одна часть большого пазла. 

Исследование посетителя и сбор данных о его поведении порождает гипотезы. Цель единичного теста – проверить гипотезу и получить новые идеи для маркетинговой оптимизации. Тест позволяет убедиться, что вы рассматриваете те области, которые нужно улучшать.

Польза тестирования в целом – непрерывное улучшение пользовательского опыта с помощью отдельных экспериментов и научное обоснование для принятия решений и использования ресурсов, которое вы подкрепляете реальными данными.

Не гонитесь за количеством тестов. Тщательно продумывайте программу тестирования, учитывайте в ней опыт предыдущих экспериментов. Обсуждайте результаты с командой.

Высоких вам конверсий!

Статья подготовлена по материалам widerfunnel.com.