7 грандиозных ошибок AB-тестирования: опыт экспертов

Оптимизация конверсии с помощью А/В тестов – далеко не точная наука, и даже эксперты с многолетним опытом и пониманием психологии пользователей когда-то совершали ошибки. Да, и продолжают их совершать.

Есть сотни способов испортить сплит-тест, да так, что он принесет больше вреда, чем пользы. В этой статье вы увидите 7 грандиозных ошибок AB-тестирования, которые совершили известные маркетологи.

Пип Лайя, ConversionXL: останавливал тесты слишком рано

«Когда я начинал работать, моей главной ошибкой был слишком короткий период тестирования. Я сворачивал его буквально в течение нескольких дней, как только мне казалось, что я «увидел тенденцию». Это, конечно, полная фигня – не стоит так делать.

Оптимальная тактика – заранее рассчитать минимальный срок и объем трафика, которые необходимы для обеспечения репрезентативной выборки. И чем длительней срок тестирования – тем лучше. Пусть он охватывает полный цикл бизнес-процессов, все дни недели, все источники трафика, да хоть все фазы луны – вы для того и проводите тесты, чтобы выявить факторы, влияющие на поведение пользователей на сайте».

Крейг Салливан, Optimiseordie: не интегрировал тестовые данные с Google Analytics

«Самая опасная ошибка при А/В тестировании – не до конца понимать, что вы делаете. Я это ощутил на собственной шкуре.

Мы проводили сплит-тест, и хотя первые результаты были обнадеживающими, в итоге существенной разницы между вариантами не наблюдалось. Это было странно, поскольку в сравниваемых вариантах мы использовали совершенно разный контент. Я проверил настройки программы, отвечающей за распределение трафика – всё было в порядке. Проверил настройки браузеров, проконсультировался с разработчиками, с коллегами – никакого результата.

К счастью, у нас было настроено несколько пользовательских переменных в Google Analytics, с помощью которых мы хотели отследить поведение разных групп своей целевой аудитории. Анализируя эти данные, я заметил нечто странное. Сплит-тест предполагает, что трафик делится примерно поровну между двумя сравниваемыми вариантами. В то время как Google Analytics показывал, что более 80% пользователей видели обе версии тестируемой страницы.

Так обнаружилась ошибка программистов – они сделали настройку так, что cookies сбрасывались после завершения визита.

С тех пор я всегда согласовываю с программистами все настройки. Ну, и конечно, не доверяю данным, полученным только из одного источника».

Алхан Кесер, Widerfunnel.com: увлекся дизайном, а не оптимизацией конверсии

«Однажды я потратил несколько недель на проектирование двух вариантов посадочной страницы. Я выступал в этом проекте и как дизайнер, и как разработчик, и постарался сделать так, чтобы лендинги стали яркими, запоминающимися. Была уверенность, что новый дизайн даст минимум 20% прирост конверсии.

Увы, надежды не оправдались. Мне пришлось перейти к более подробным тестам, которые меня многому научили. Я обнаружил, насколько мощно работает продающий заголовок, как важен основной текст на странице. Теперь-то я понимаю, что не стоило основное внимание уделять дизайну».

Джо Харви, Conversion Sciences: сделал сайт, который не в состоянии приносить доход

«Главный принцип оптимизаторов такой же, как у врачей: не навреди. В нашем случае это означает, что А/В тесты не должны мешать сайту зарабатывать. Да, какие-то из вариантов будут давать конверсию ниже контрольной версии. Но в долгосрочной перспективе тестирование должно окупить затраты и привести к росту конверсии.

Но иногда одна неточность может свести на нет все ваши старания. В моей практике был такой случай, о котором я до сих пор вспоминаю с содроганием. Мы допустили крохотную ошибку на посадочной странице. Всего-навсего перепутали местами две цифры… в номере телефона.

К моменту, когда обнаружили ошибку, мы потеряли сотни звонков от потенциальных клиентов. Это стало уроком на всю жизнь».

Андре Мори, WebArts.de: отслеживал неверные KPI

«Пару лет назад меня спросили: «Какой главный KPI при оценке А/В тестов?». Ответ вроде бы очевиден – конверсия. Но, всерьез задумавшись об этом, я пришел к выводу, что мы переоцениваем значение этого показателя. Главное – это реальная прибыль бизнеса. Мы стремимся к увеличению продаж, однако на практике рост конверсии не всегда его дает.

Вот результаты тестов посадочной страницы, которые мы недавно провели:

Вариант 1: акцент на скидки: +13% к конверсии, -14% чистой прибыли.

Вариант 2: акцент на преимущества товара: +41% к конверсии, + 22% чистой прибыли.

Как видим, Вариант 1 тоже показал прирост конверсии, но при этом по прибыли сайт оказался в минусе. Да и в Варианте 2 прибыль выросла не так сильно, как конверсия.

Теперь я уже не рассматриваю конверсию как главный показатель эффективности. Гораздо важнее то, для чего мы это делаем».

Джон Экман, Conversionista: выбрал не лучший период для тестирования

«Расскажу о двух самых крупных провалах:

Первая ошибка: выбрали неудачный период для тестирования.

Мы проводили сплит-тест для интернет-магазина канцелярских принадлежностей. Продолжительность выбрали оптимальную – более месяца, но этот месяц пришелся на Рождество и новогодние каникулы. Сами понимаете, данные, полученные в этот период, оказались непрезентативными. 

Вторая ошибка: перепутали шаблон страницы с конкретным вариантом.

Некоторые проекты – например, интернет-магазины, используют несколько шаблонов, на основе которых затем создаются тысячи отдельных страниц. И когда вы проводите сплит-тест, нужно работать именно на уровне шаблонов, поскольку на каждую страницу в отдельности приходится лишь малая часть трафика.

Однажды мы проводили подобный эксперимент для интернет-магазина, но ошиблись в настройках вариантов. В итоге на всех карточках товаров, сделанных по тестовому шаблону, начала высвечиваться одна и та же цена. Ужас! Пришлось срочно сворачивать тестирование. К счастью, ошибку заметили достаточно быстро, и она не успела привести к серьезным последствиям».

Майкл Огард, ContentVerve.com: запускал А/B тесты без четкой идеи

«Когда я только начинал заниматься А/В тестированием, на эту тему было мало доступного материала, поэтому приходилось учиться на собственном опыте. Много раз я чувствовал себя полным идиотом, но, оглядываясь назад, благодарен судьбе за все эти ошибки. Они научили меня предвидеть последствия своих действий и придавать должное значение подготовительным этапам работы.

Как говорил Авраам Линкольн: «Дайте мне шесть часов на то, чтобы срубить дерево – и первые четыре часа я потрачу на заточку топора».

Большинство моих ошибок на раннем этапе было связано с тем, что я рубил сплеча: брался за работу, не имея достаточных исходных данных и четкого понимания, чего я хочу достичь.

Я просто молотил по дереву тупым топором в надежде, что оно в итоге сдастся и упадет. Я думал, что лучший способ оптимизации конверсии – это проводить столько тестов, сколько это возможно.

Но после многих лет проб и ошибок меня осенило, что наиболее успешные тесты – это те, что основаны на предварительных расчетах, проницательности и четких гипотезах… ну, и плюс немного везения и интуиции.

Если продолжить метафору Линкольна, то разработка базовой идеи сплит-теста делает ваш топор по-настоящему острым, и позволяет быстро и без усилий срубить дерево. Да, анализировать гипотезы гораздо сложнее, чем тестировать всё подряд. Однако и результат оказывается куда более впечатляющим».

Высоких вам продаж!