Когда нужно делать мультивариантные тесты вместо a/b тестирования

А/В тесты – самый популярный инструмент для оптимизации конверсии. Но не единственный. Есть ситуации, когда гораздо эффективнее мультивариантное тестирование (MVT). Из этой статьи вы узнаете, в чем их различия, и когда целесообразнее применять MVT, а когда – простые сплит-тесты.

Для начала уточним определения. А/В тест – это эксперимент, при котором трафик поровну разбивается между двумя вариантами страницы. Один – исходный (контрольный). Второй – новый, и отличается, как правило, лишь одним элементом, эффективность которого и нужно проверить.

У MVT или многовариантного тестирования – более сложная схема. Например, так выглядит 4-вариантный тест:

С помощью А/В тестов чаще всего проверяют варианты с кардинальными изменениями. Мультивариантные же, по сути, можно рассматривать, как несколько А/В тестов, запущенных параллельно на одной странице для того, чтобы за короткое время проверить сразу несколько версий в разных комбинациях.

Конечно, такие эксперименты имеет смысл проводить только на сайтах с хорошим трафиком – иначе они просто не будут репрезентативны.

Когда выгоднее обычные сплит-тесты, а когда – многовариантное тестирование?

Преимущества А/В тестов:

• Вы можете проверить кардинальные изменения элементов дизайна;
• Тест займет меньше времени, чем MVT;
• Можно установить расширенную аналитику для каждого изменения (отслеживание движения курсора, телефонных звонков и т.д.);
• Можно проверить влияние каждого элемента изолированно от остальных;
• Как правило, A /B тесты приносят больше прибыли (потому что вы можете чаще вносить изменения, которые приводят к увеличению конверсии);
• Поскольку различия между страницами более явные, обычно и разница в конверсии существенная, так что легко можно определить, какой вариант более эффективен.

MVT используется для «тонкой настройки». Здесь проверяются сразу несколько изменений – например, шрифты, заголовки, расположение и размер кнопок – в различных комбинациях. Главный недостаток этого подхода – то, что многомерные тесты требуют много трафика.

Специалисты советуют использовать MVT на сайтах, имеющих от 100 000 уникальных пользователей в месяц и/или конверсию от 10%.

Типичная схема MVT – 3х2 (2 версии страницы с 3 изменяемыми элементами дизайна):

Она потребует столько же трафика, что и 9 обычных А/В тестов, в ходе которых попарно сравниваются 2 страницы с 1 элементом.

Соответственно MVT тесты требуют значительно больше инвестиций в технологии, дизайн, настройку и анализ. Так что метод не подходит для ранних периодов развития компании. И не только из-за высоких затрат. С помощью MVT вы вполне сможете в короткие сроки оптимизировать сайт, но при этом упустите многое, что помогло бы вам лучше понять вашу аудиторию.

Тем не менее, есть ситуации, когда именно использование MVT даст наибольшую отдачу. 

Сайт – единое целое, и его элементы дополняют друг друга, работают вместе. С помощью А/В тестов можно выявить, насколько удачен тот или иной элемент сам по себе. Но как он будет работать в сочетании с остальными? Вот здесь-то и пригодится мультивариантное тестирование.

Элементы, которые по отдельности показывают наивысшие результаты, вовсе не обязательно будут самыми эффективными по суммарному воздействию.

Распространенные ошибки при проведении MVT:

Недостаточно трафика

Если вам не хватает трафика для полномасштабных тестов, попробуйте воспользоваться советом Леонида Пекелиса из Optimizely. Начните тесты с полным набором вариантов, которые вы хотите проверить, но запустите их на небольшой промежуток времени – ровно настолько, чтобы увидеть явные тенденции.  

Отбросьте варианты, которые показывают заведомо более низкие результаты, чем базовый. Оставшиеся перенесите на следующий раунд.

Не учитывается вероятность ложных срабатываний

Всегда есть вероятность, что высокий прирост конверсии на одном из тестируемых вариантов – случайность. Это особенно актуально, если учесть, что при MVT трафик дробится между разными версиями страницы, и на каждый конкретный вариант приходится относительно небольшая его часть.

«Противоядия» от этого нет – нужно просто критически подходить ко всем результатам тестов и перепроверять их. Желательно неоднократно.

Нет привязки к контексту и системного подхода 

Самая большая ошибка – это начинать тесты, не зная, чего вы от них ожидаете от них. Тестирование без четких гипотез – все равно, что пытаться выиграть в рулетку. Поэтому ориентируйтесь на общую стратегию продвижения.

Методы многовариантного тестирования

• Полный факторный эксперимент. Все комбинации проверяются равным количеством трафика. При условии, что у вас достаточно трафика, результаты получаются максимально точными.
• Дробный факторный эксперимент. Его цель – не точная статистика по каждому варианту, а сравнительный анализ. Этот метод иногда называют «методом барометра», поскольку для барометра важна не столько точность измерения атмосферного давления, сколько отслеживание его изменений – падает оно, или растет.

Резюме

Итак, если у вас достаточно трафика, вы можете использовать и мультивариантное тестирование, и классические бинарные сплит-тесты – так они будут дополнять друг друга. Например, используйте А/В тесты, чтобы выявить лучшие элементы страниц, а потом с помощью MVT полируйте окончательные варианты страницы.

Пип Лайя, основатель агентства Conversation XL и известный эксперт в области повышения конверсии, отмечает, что большинство топ-агентств придерживается тактики «1 MVT после 10 А/В тестов».

Если же трафика пока не хватает – стоит ограничиться сплит-тестами. 

Высоких вам конверсий!