7 правил А/В тестирования, которые утраивают конверсию

Когда А/В тест запущен, и трафик пошел – от вас уже ничего не зависит. Окажется эксперимент полезным, или станет пустой тратой времени и денег? Смотря что вы вложили в него перед запуском – какие элементы, гипотезы, идеи. 

В этой статье вы узнаете, какие правила нужно соблюдать при подготовке теста. Это поможет повысить его эффективность минимум в три раза.

Правило первое: контрольный вариант по умолчанию верный

Если речь идет не о создании сайта с нуля, а о тестировании уже работающей площадки, то исходный вариант страницы всегда должен быть в приоритете. Своего рода «презумпция эффективности». И так до тех пор, пока не выяснится, что один из тестовых вариантов показывает более высокие показатели.

Такой подход гарантирует поступательное развитие сайта, при котором каждый новый вариант превосходит предыдущие.

Правило второе: 30 дней и 2 000 «уников»

На сайте нет трафика? Забудьте пока о тестах. Займитесь SEO и вернитесь к этому вопросу позже.

Для А/В тестов нужно собрать более-менее актуальную статистику. Если тестирование затянулось на полгода из-за низкого трафика – в нем нет смысла. То же самое и в обратной ситуации – когда трафик есть, но тесты идут всего пару дней.

Эксперты рекомендуют, чтобы тесты длились около 30 дней, при посещаемости не менее 2 000 уникальных посетителей в месяц. Чем трафика больше, тем точнее будут результаты эксперимента.

Правило третье: всегда ждите неделю

За семь дней все может измениться. Еще вчера у вас был победитель с отрывом 240%, но потом его показатели начали резко ухудшаться. Продолжайте тесты. Посетители могут вести себя по-разному в разные дни недели, время суток, в выходные и будни. Разумнее потратить лишний день на тестирование, чем долго и упорно исправлять ошибки.

На скриншоте – пример того, как все может изменяться в течение недели:

Тестовый вариант стартовал с 10% увеличением конверсии, а закончил с уровнем на 10% ниже контрольного.

Правило четвертое: используйте варианты с 99%-й статистической достоверностью

Если тест идет при достаточном уровне трафика, статистическая достоверность его результатов возрастает с каждым днем. На какой отметке стоит остановиться?

Многие маркетологи считают «золотым стандартом» уровень 95%. Это примерно один «ложноположительный» результат на каждые 20 тестов. Много это или мало? Решать вам.

Ведь можно потратить чуть больше времени на тест, повысить его достоверность до 99%, и вот у вас всего 1 ложный результат на сотню.

Рассмотрим на конкретном примере. Несколько недель тестов с разной степенью достоверности. В таблицах черным шрифтом — первоначальный вариант. Синим — вариация. Столбцы: версия, количество человек, конверсия, средняя конверсия, рост, точность.

1-й тест: В первые два дня конверсия выросла на 58,7% при точности 97,7%.

Выглядит неплохо. Многие из нас, получив такие данные, выдохнули бы и расслабились.

Но эксперимент продолжается.

2-й тест: Прошла неделя и куда делся тот победитель? При точности теста 92% конверсия выросла всего на 17,4%.

3-й тест: Прошло еще четыре недели: точность 95,7%, конверсия 11,7%:

Как видим, разброс результатов очень значительный. Так что, если ориентироваться на одиночный тест, велика вероятность разочарования. Достоверность 99% — это способ подстраховаться.

Правило пятое: если увеличение конверсии меньше 10%, забудьте о нем

Колебания конверсии с дельтой меньше 10% от контрольного уровня можно смело списывать на влияние случайных факторов. А если серия тестов затянулась на несколько месяцев, то стоит задуматься и о глобальных причинах – например, изменениях на рынке.

И даже если небольшие изменения конверсии связаны именно с характеристиками тестового варианта страницы, стоят ли эти 3-5-7% того, чтобы вносить изменения на сайт? Вряд ли. 

Правило шестое: 30 дней или ничего

А/В тесты затягивают. Еще пара дней, еще пара тысяч посетителей… Наши идеи влекут нас вперед — очень трудно взять и бросить то, во что вложил душу и силы. Проблема в том, что многие идеи постепенно становятся миражами. Сегодня вы видите рост в 15%, завтра 10%… Чем больше данных вы собираете, тем больше тестовый и исходный варианты совпадают. 

Поэтому так важно придерживаться временных рамок. Если к 30-му дню вы не получили результат с достоверностью 99%, лучше остановиться и попробовать следующий вариант.

Правило седьмое: не теряйте времени даром в ожидании результатов

Тестирование должно быть непрерывным. Сколько времени вам нужно на подготовку? Неделя? Две? Планируйте тесты в ожидании текущих результатов. Каждый день простоя — это потеря возможностей. Заканчивается один цикл — сразу же запускайте другой. 

Выводы

Правила эффективного А/В тестирования простые:

• Тест должен длиться не меньше недели;
• Продолжительность более 30 дней – заведомо пустая трата времени;
• Результаты всех тестов имеют определенную статистическую достоверность. Стремитесь к максимуму – 99%;
• Достоверность тестов достигается за счет двух вещей – достаточного трафика и достаточного времени. Если у вас не набирается 2 000 уникальных посетителей в месяц и нет хотя бы 1-2 недель на тест – лучше и не браться;

Тест показал увеличение конверсии менее чем на 10%? Забудьте и ищите другие варианты.

Высоких вам конверсий!