Всё для рекламы
и про рекламу
Навигация по статье
А/В тесты — не для всехСколько это стоит?А как же микроконверсии?А/В тестирование — это не главный инструмент оптимизации
Аналитика

Почему вам не нужны A/B тесты

28774
3

А/В тестирование считается чуть ли не главным инструментом оптимизации конверсии. На самом деле А/В тесты не всем и не всегда нужны.

В этой статье вы узнаете, нужно ли вам заморачиваться с тестами или лучше направить усилия в другую область.

А/В тесты — не для всех

А/В тесты — штука полезная. Просто некоторым компаниям еще рано их проводить. Грубо говоря, если у вас меньше 100 транзакций в месяц, забудьте про А/В тесты и займитесь чем-нибудь другим. В такой ситуации нет ничего оскорбительного — сотни мелких бизнесов, микробизнесов и стартапов просто слишком малы для проведения А/В тестирования.

Вы, конечно, можете с нами не согласиться. Соблазн заняться А/В тестами и при 500 транзакциях очень велик — интернет полон ободряющих и мотивирующих постов, исследований и кейсов.

Предположим, вы все-таки провели тестирование и получили результат 240 против 260 конверсий. Превосходство одного из вариантов — 8%. Казалось бы, что тут думать: бери и внедряй вариант-победитель.

Но вся беда в том, что этих данных недостаточно, чтобы сделать выбор. Слишком мало трафика для достижения статистической значимости, когда результат теста можно считать достоверным.

Сколько это стоит?

Думая об А/В тестировании, нельзя забывать про стоимость оптимизации. Мы не про инструменты — бесплатных программ в интернете полно. Подумайте о стоимости потраченного времени на:

  • Обдумывание, а что, собственно, тестировать;
  • Разработку тестового вариант, особенно если вы решились протестировать нечто необычное;
  • Запуск теста с использованием css и javascript / jquery;
  • QA (Quality Assurance, обеспечение качества).

 

Теперь снова вернемся к тем самым 8%. Победитель известен, хэппи-энд. Было у вас 125 лидов в неделю, будет 135. Можно говорить об увеличении ROI (окупаемости инвестиций)? Вряд ли.

Определяя размер выборки (sample size), держите ROI в уме и переводите процентную разницу конверсий в деньги. Кстати, в сети много бесплатных инструментов, которые помогут определить размер выборки с учетом желаемой конверсии. Например, вот этот.

А как же микроконверсии?

Спросите вы. Отрадно, что вы слышали про микроконверсии и тому подобное. А есть ли связь между микроконверсиями и ростом прибыли? Можно нагнать трафик, иметь тысячи посетителей, а можно подумать о том, что действительно важно: почему корзина пуста, платежи не поступают, а посетители не звонят, не оставляют заявки, не оплачивают заказы?

Перестаньте тратить время на микровещи — микроисследования, микротесты и микроконверсию. Займитесь тем, что принесет прибыль. Например, поработайте над качеством продукта.

Или займитесь юнит-экономикой, а проще говоря, расчетом прибыли или убытка в расчете на одного клиента, чтобы понять, есть ли место для роста и привлечения большего числа клиентов.

А/В тестирование — это не главный инструмент оптимизации

Тестирование — крутой способ подтвердить гипотезы. И даже если вам не хватает данных для получения статистически достоверного результата, вы можете провести эвристический анализ — оценить юзабилити и прочие качественные исследования. Например:

  • Пообщаться с клиентами;
  • Провести пользовательские тесты;
  • Сделать опрос;
  • Изучить карту кликов и поведение посетителей сайта с помощью вебвизора Яндекс.Метрики.

 

Время — гораздо более ценный ресурс, чем многим кажется. Пока ваш бизнес только растет, оставьте в покое А/В тесты и сфокусируйтесь на действительно полезных вещах.

Команды YAGLA и Kokoc Group ведут несколько телеграм-каналов, где публикуются мнения экспертов и авторские лонгриды о бизнесе и маркетинге, многие из которых не попадают на этот сайт. Обязательно подписывайтесь по ссылке: https://t.me/addlist/EhE5LANnrBphMjUy
Опубликовано редакцией Yagla
28774
3
-7
Написать комментарий
Nikita GoloburdovMarch 22, 2019 в 2:09 PM
Единственный довод в статье почему не нужны АБ тесты - важна статистическая достоверность. Конечно, 240 и 260 небольшая разница, но суть АБ теста добиться достоверной выборки хотя бы в 95%, а её можно достигнув даже по результатам выборки в 1000 кликов, по 500 на каждый вариант: у меня есть пример, когда 1 заголовок приносил 6% конверсию, 2 заголовок 2,5% И тут даже 240 лидов не нужно набирать, чтобы понять что 1 заголовок лучше работает лучше, достоверность больше 99%
Александр ЯглаMarch 22, 2019 в 2:16 PM
Никита, вы имеете ввиду заголовок посадочной страницы? Если да, то можно чуть подробнее, как тестировали (через какой инструмент и т.д.) ?
Виталий ОлесикSeptember 8, 2018 в 10:38 PM
спасибо большое за материал, понял что тестировать в начале нет смысла вобще..
Обсуждаемое

Бегали по стройкам, а теперь продаём фасадные подъёмники онлайн на 200 млн ₽/год. Кейс роста локальной компании на 35 регионов Статья

Как региональному бизнесу выйти на федеральный уровень? Можно ли через интернет продавать фасадные подъёмники тем, кто пропадает на стройке? Изучили язык прорабов, создали 6+ сайтов, запустили рекламу и стали получать 80% заявок из digital. Помогли производителю фасадных подъёмников вырасти до 200 млн ₽/год и расширить географию продаж до 35 регионов.3

Кейс «В точку»: Как мы обеспечили поток заявок на установку заборов и ворот из VK по цене 560 рублей в разгар сезона. Статья

Приветствуем! Мы — агентство таргетированной рекламы «В точку». В этом кейсе мы подробно расскажем, как с помощью таргетированной рекламы ВКонтакте нам удалось привлечь тысячи целевых заявок для компании, занимающейся установкой заборов и откатных ворот.1

AR-лендинги с ИИ: как увеличить конверсию на сайте Статья

Более 75% покупателей в российском e-commerce бросают свои корзины, так и не совершив покупку. По данным исследования агентства Data Insight, одна из ключевых причин — неуверенность.1