Почему вам не нужны A/B тесты

А/В тестирование считается чуть ли не главным инструментом оптимизации конверсии. На самом деле А/В тесты не всем и не всегда нужны.

В этой статье вы узнаете, нужно ли вам заморачиваться с тестами или лучше направить усилия в другую область.

А/В тесты — не для всех

А/В тесты — штука полезная. Просто некоторым компаниям еще рано их проводить. Грубо говоря, если у вас меньше 100 транзакций в месяц, забудьте про А/В тесты и займитесь чем-нибудь другим. В такой ситуации нет ничего оскорбительного — сотни мелких бизнесов, микробизнесов и стартапов просто слишком малы для проведения А/В тестирования.

Вы, конечно, можете с нами не согласиться. Соблазн заняться А/В тестами и при 500 транзакциях очень велик — интернет полон ободряющих и мотивирующих постов, исследований и кейсов.

Предположим, вы все-таки провели тестирование и получили результат 240 против 260 конверсий. Превосходство одного из вариантов — 8%. Казалось бы, что тут думать: бери и внедряй вариант-победитель.

Но вся беда в том, что этих данных недостаточно, чтобы сделать выбор. Слишком мало трафика для достижения статистической значимости, когда результат теста можно считать достоверным.

Сколько это стоит?

Думая об А/В тестировании, нельзя забывать про стоимость оптимизации. Мы не про инструменты — бесплатных программ в интернете полно. Подумайте о стоимости потраченного времени на:

• Обдумывание, а что, собственно, тестировать;
• Разработку тестового вариант, особенно если вы решились протестировать нечто необычное;
• Запуск теста с использованием css и javascript / jquery;
• QA (Quality Assurance, обеспечение качества).

Теперь снова вернемся к тем самым 8%. Победитель известен, хэппи-энд. Было у вас 125 лидов в неделю, будет 135. Можно говорить об увеличении ROI (окупаемости инвестиций)? Вряд ли.

Определяя размер выборки (sample size), держите ROI в уме и переводите процентную разницу конверсий в деньги. Кстати, в сети много бесплатных инструментов, которые помогут определить размер выборки с учетом желаемой конверсии. Например, вот этот.

А как же микроконверсии?

Спросите вы. Отрадно, что вы слышали про микроконверсии и тому подобное. А есть ли связь между микроконверсиями и ростом прибыли? Можно нагнать трафик, иметь тысячи посетителей, а можно подумать о том, что действительно важно: почему корзина пуста, платежи не поступают, а посетители не звонят, не оставляют заявки, не оплачивают заказы?

Перестаньте тратить время на микровещи — микроисследования, микротесты и микроконверсию. Займитесь тем, что принесет прибыль. Например, поработайте над качеством продукта.

Или займитесь юнит-экономикой, а проще говоря, расчетом прибыли или убытка в расчете на одного клиента, чтобы понять, есть ли место для роста и привлечения большего числа клиентов.

А/В тестирование — это не главный инструмент оптимизации

Тестирование — крутой способ подтвердить гипотезы. И даже если вам не хватает данных для получения статистически достоверного результата, вы можете провести эвристический анализ — оценить юзабилити и прочие качественные исследования. Например:

• Пообщаться с клиентами;
• Провести пользовательские тесты;
• Сделать опрос;
• Изучить карту кликов и поведение посетителей сайта с помощью вебвизора Яндекс.Метрики.

Время — гораздо более ценный ресурс, чем многим кажется. Пока ваш бизнес только растет, оставьте в покое А/В тесты и сфокусируйтесь на действительно полезных вещах.