Всё для рекламы
и про рекламу
Навигация по статье
А/В тесты — не для всехСколько это стоит?А как же микроконверсии?А/В тестирование — это не главный инструмент оптимизации
Аналитика

Почему вам не нужны A/B тесты

26056
3

А/В тестирование считается чуть ли не главным инструментом оптимизации конверсии. На самом деле А/В тесты не всем и не всегда нужны.

В этой статье вы узнаете, нужно ли вам заморачиваться с тестами или лучше направить усилия в другую область.

А/В тесты — не для всех

А/В тесты — штука полезная. Просто некоторым компаниям еще рано их проводить. Грубо говоря, если у вас меньше 100 транзакций в месяц, забудьте про А/В тесты и займитесь чем-нибудь другим. В такой ситуации нет ничего оскорбительного — сотни мелких бизнесов, микробизнесов и стартапов просто слишком малы для проведения А/В тестирования.

Вы, конечно, можете с нами не согласиться. Соблазн заняться А/В тестами и при 500 транзакциях очень велик — интернет полон ободряющих и мотивирующих постов, исследований и кейсов.

Предположим, вы все-таки провели тестирование и получили результат 240 против 260 конверсий. Превосходство одного из вариантов — 8%. Казалось бы, что тут думать: бери и внедряй вариант-победитель.

Но вся беда в том, что этих данных недостаточно, чтобы сделать выбор. Слишком мало трафика для достижения статистической значимости, когда результат теста можно считать достоверным.

Сколько это стоит?

Думая об А/В тестировании, нельзя забывать про стоимость оптимизации. Мы не про инструменты — бесплатных программ в интернете полно. Подумайте о стоимости потраченного времени на:

  • Обдумывание, а что, собственно, тестировать;
  • Разработку тестового вариант, особенно если вы решились протестировать нечто необычное;
  • Запуск теста с использованием css и javascript / jquery;
  • QA (Quality Assurance, обеспечение качества).

 

Теперь снова вернемся к тем самым 8%. Победитель известен, хэппи-энд. Было у вас 125 лидов в неделю, будет 135. Можно говорить об увеличении ROI (окупаемости инвестиций)? Вряд ли.

Определяя размер выборки (sample size), держите ROI в уме и переводите процентную разницу конверсий в деньги. Кстати, в сети много бесплатных инструментов, которые помогут определить размер выборки с учетом желаемой конверсии. Например, вот этот.

А как же микроконверсии?

Спросите вы. Отрадно, что вы слышали про микроконверсии и тому подобное. А есть ли связь между микроконверсиями и ростом прибыли? Можно нагнать трафик, иметь тысячи посетителей, а можно подумать о том, что действительно важно: почему корзина пуста, платежи не поступают, а посетители не звонят, не оставляют заявки, не оплачивают заказы?

Перестаньте тратить время на микровещи — микроисследования, микротесты и микроконверсию. Займитесь тем, что принесет прибыль. Например, поработайте над качеством продукта.

Или займитесь юнит-экономикой, а проще говоря, расчетом прибыли или убытка в расчете на одного клиента, чтобы понять, есть ли место для роста и привлечения большего числа клиентов.

А/В тестирование — это не главный инструмент оптимизации

Тестирование — крутой способ подтвердить гипотезы. И даже если вам не хватает данных для получения статистически достоверного результата, вы можете провести эвристический анализ — оценить юзабилити и прочие качественные исследования. Например:

  • Пообщаться с клиентами;
  • Провести пользовательские тесты;
  • Сделать опрос;
  • Изучить карту кликов и поведение посетителей сайта с помощью вебвизора Яндекс.Метрики.

 

Время — гораздо более ценный ресурс, чем многим кажется. Пока ваш бизнес только растет, оставьте в покое А/В тесты и сфокусируйтесь на действительно полезных вещах.

Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто
Опубликовано редакцией Yagla
26056
3
-7
Написать комментарий
Nikita GoloburdovMarch 22, 2019 в 2:09 PM
Единственный довод в статье почему не нужны АБ тесты - важна статистическая достоверность. Конечно, 240 и 260 небольшая разница, но суть АБ теста добиться достоверной выборки хотя бы в 95%, а её можно достигнув даже по результатам выборки в 1000 кликов, по 500 на каждый вариант: у меня есть пример, когда 1 заголовок приносил 6% конверсию, 2 заголовок 2,5% И тут даже 240 лидов не нужно набирать, чтобы понять что 1 заголовок лучше работает лучше, достоверность больше 99%
Александр ЯглаMarch 22, 2019 в 2:16 PM
Никита, вы имеете ввиду заголовок посадочной страницы? Если да, то можно чуть подробнее, как тестировали (через какой инструмент и т.д.) ?
Виталий ОлесикSeptember 8, 2018 в 10:38 PM
спасибо большое за материал, понял что тестировать в начале нет смысла вобще..