Образовательный центр
интернет профессий
Навигация по статье
Пип Лайя, ConversionXL: останавливал тесты слишком раноКрейг Салливан, Optimiseordie: не интегрировал тестовые данные с Google AnalyticsАлхан Кесер, Widerfunnel.com: увлекся дизайном, а не оптимизацией конверсииДжо Харви, Conversion Sciences: сделал сайт, который не в состоянии приносить доходАндре Мори, WebArts.de: отслеживал неверные KPIДжон Экман, Conversionista: выбрал не лучший период для тестированияМайкл Огард, ContentVerve.com: запускал А/B тесты без четкой идеи
Маркетинг

7 грандиозных ошибок AB-тестирования: опыт экспертов

6034

Оптимизация конверсии с помощью А/В тестов – далеко не точная наука, и даже эксперты с многолетним опытом и пониманием психологии пользователей когда-то совершали ошибки. Да, и продолжают их совершать.

Есть сотни способов испортить сплит-тест, да так, что он принесет больше вреда, чем пользы. В этой статье вы увидите 7 грандиозных ошибок AB-тестирования, которые совершили известные маркетологи.

Пип Лайя, ConversionXL: останавливал тесты слишком рано

«Когда я начинал работать, моей главной ошибкой был слишком короткий период тестирования. Я сворачивал его буквально в течение нескольких дней, как только мне казалось, что я «увидел тенденцию». Это, конечно, полная фигня – не стоит так делать.

Оптимальная тактика – заранее рассчитать минимальный срок и объем трафика, которые необходимы для обеспечения репрезентативной выборки. И чем длительней срок тестирования – тем лучше. Пусть он охватывает полный цикл бизнес-процессов, все дни недели, все источники трафика, да хоть все фазы луны – вы для того и проводите тесты, чтобы выявить факторы, влияющие на поведение пользователей на сайте».

Крейг Салливан, Optimiseordie: не интегрировал тестовые данные с Google Analytics

«Самая опасная ошибка при А/В тестировании – не до конца понимать, что вы делаете. Я это ощутил на собственной шкуре.

Мы проводили сплит-тест, и хотя первые результаты были обнадеживающими, в итоге существенной разницы между вариантами не наблюдалось. Это было странно, поскольку в сравниваемых вариантах мы использовали совершенно разный контент. Я проверил настройки программы, отвечающей за распределение трафика – всё было в порядке. Проверил настройки браузеров, проконсультировался с разработчиками, с коллегами – никакого результата.

К счастью, у нас было настроено несколько пользовательских переменных в Google Analytics, с помощью которых мы хотели отследить поведение разных групп своей целевой аудитории. Анализируя эти данные, я заметил нечто странное. Сплит-тест предполагает, что трафик делится примерно поровну между двумя сравниваемыми вариантами. В то время как Google Analytics показывал, что более 80% пользователей видели обе версии тестируемой страницы.

Так обнаружилась ошибка программистов – они сделали настройку так, что cookies сбрасывались после завершения визита.

С тех пор я всегда согласовываю с программистами все настройки. Ну, и конечно, не доверяю данным, полученным только из одного источника».

Алхан Кесер, Widerfunnel.com: увлекся дизайном, а не оптимизацией конверсии

«Однажды я потратил несколько недель на проектирование двух вариантов посадочной страницы. Я выступал в этом проекте и как дизайнер, и как разработчик, и постарался сделать так, чтобы лендинги стали яркими, запоминающимися. Была уверенность, что новый дизайн даст минимум 20% прирост конверсии.

Увы, надежды не оправдались. Мне пришлось перейти к более подробным тестам, которые меня многому научили. Я обнаружил, насколько мощно работает продающий заголовок, как важен основной текст на странице. Теперь-то я понимаю, что не стоило основное внимание уделять дизайну».

Джо Харви, Conversion Sciences: сделал сайт, который не в состоянии приносить доход

«Главный принцип оптимизаторов такой же, как у врачей: не навреди. В нашем случае это означает, что А/В тесты не должны мешать сайту зарабатывать. Да, какие-то из вариантов будут давать конверсию ниже контрольной версии. Но в долгосрочной перспективе тестирование должно окупить затраты и привести к росту конверсии.

Но иногда одна неточность может свести на нет все ваши старания. В моей практике был такой случай, о котором я до сих пор вспоминаю с содроганием. Мы допустили крохотную ошибку на посадочной странице. Всего-навсего перепутали местами две цифры… в номере телефона.

К моменту, когда обнаружили ошибку, мы потеряли сотни звонков от потенциальных клиентов. Это стало уроком на всю жизнь».

Андре Мори, WebArts.de: отслеживал неверные KPI

«Пару лет назад меня спросили: «Какой главный KPI при оценке А/В тестов?». Ответ вроде бы очевиден – конверсия. Но, всерьез задумавшись об этом, я пришел к выводу, что мы переоцениваем значение этого показателя. Главное – это реальная прибыль бизнеса. Мы стремимся к увеличению продаж, однако на практике рост конверсии не всегда его дает.

Вот результаты тестов посадочной страницы, которые мы недавно провели:

Вариант 1: акцент на скидки: +13% к конверсии, -14% чистой прибыли.

Вариант 2: акцент на преимущества товара: +41% к конверсии, + 22% чистой прибыли.

Как видим, Вариант 1 тоже показал прирост конверсии, но при этом по прибыли сайт оказался в минусе. Да и в Варианте 2 прибыль выросла не так сильно, как конверсия.

Теперь я уже не рассматриваю конверсию как главный показатель эффективности. Гораздо важнее то, для чего мы это делаем».

Джон Экман, Conversionista: выбрал не лучший период для тестирования

«Расскажу о двух самых крупных провалах:

Первая ошибка: выбрали неудачный период для тестирования.

Мы проводили сплит-тест для интернет-магазина канцелярских принадлежностей. Продолжительность выбрали оптимальную – более месяца, но этот месяц пришелся на Рождество и новогодние каникулы. Сами понимаете, данные, полученные в этот период, оказались непрезентативными. 

Вторая ошибка: перепутали шаблон страницы с конкретным вариантом.

Некоторые проекты – например, интернет-магазины, используют несколько шаблонов, на основе которых затем создаются тысячи отдельных страниц. И когда вы проводите сплит-тест, нужно работать именно на уровне шаблонов, поскольку на каждую страницу в отдельности приходится лишь малая часть трафика.

Однажды мы проводили подобный эксперимент для интернет-магазина, но ошиблись в настройках вариантов. В итоге на всех карточках товаров, сделанных по тестовому шаблону, начала высвечиваться одна и та же цена. Ужас! Пришлось срочно сворачивать тестирование. К счастью, ошибку заметили достаточно быстро, и она не успела привести к серьезным последствиям».

Майкл Огард, ContentVerve.com: запускал А/B тесты без четкой идеи

«Когда я только начинал заниматься А/В тестированием, на эту тему было мало доступного материала, поэтому приходилось учиться на собственном опыте. Много раз я чувствовал себя полным идиотом, но, оглядываясь назад, благодарен судьбе за все эти ошибки. Они научили меня предвидеть последствия своих действий и придавать должное значение подготовительным этапам работы.

Как говорил Авраам Линкольн: «Дайте мне шесть часов на то, чтобы срубить дерево – и первые четыре часа я потрачу на заточку топора».

Большинство моих ошибок на раннем этапе было связано с тем, что я рубил сплеча: брался за работу, не имея достаточных исходных данных и четкого понимания, чего я хочу достичь.

Я просто молотил по дереву тупым топором в надежде, что оно в итоге сдастся и упадет. Я думал, что лучший способ оптимизации конверсии – это проводить столько тестов, сколько это возможно.

Но после многих лет проб и ошибок меня осенило, что наиболее успешные тесты – это те, что основаны на предварительных расчетах, проницательности и четких гипотезах… ну, и плюс немного везения и интуиции.

Если продолжить метафору Линкольна, то разработка базовой идеи сплит-теста делает ваш топор по-настоящему острым, и позволяет быстро и без усилий срубить дерево. Да, анализировать гипотезы гораздо сложнее, чем тестировать всё подряд. Однако и результат оказывается куда более впечатляющим».

Высоких вам продаж!

Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто
Опубликовано редакцией Yagla
6034
1
Читайте ещё статьи по этой теме

Как запускать эксперименты, если владелец не хочет или не может дорабатывать сайт. Кейс по кузовному ремонту Статья

Здесь не будет историй про сверхрезультат по увеличению заявок в три раза или снижение стоимости обращений на 100%. Этот кейс про то, когда есть небольшой, но гордый микробизнес (самозанятые) с очень ограниченным бюджетом, который хотел бы двигаться дальше.

Система рекламных инструментов для интернет-магазина Статья

Как не просто настроить рекламу, а создать полноценную маркетинговую стратегию для интернет-магазина и реализовать её на практике– рассказывает Иван Данилов. .

Как избавиться от «солянки с мусором» в Яндекс.Директе и снизить стоимость заявки в 4 раза. Кейс по продаже металлоконструкций

Бывает так, что в рекламной кампании«черт ногу сломит». Но приходит толковый специалист и приводит всё в порядок.