Как повысить эффективность A/B тестов с помощью факторного метода

Иногда дело не в том, что вы тестируете, а КАК тестируете. Один из важных элементов успеха – само построение эксперимента, его планирование и анализ на основе теории статистики.

Алан Кейсер, эксперт по конверсии из WiderFunnel, делится советами, как выстроить правильную цепочку для увеличения эффективности А/В-тестов.

Что такое теория статистики и как она может вам помочь

Теория статистики как научная дисциплина зародилась в академических кругах. Ученым нужен был объективный способ доказать правдоподобность их исследований. А для этого методы сбора данных, их обобщения и анализа должны быть четко регламентированы.

Оптимизация конверсии тоже базируется на исследованиях и экспериментах, поэтому применение научной методологической основы здесь не только уместно, но и просто необходимо. Так вы гарантируете актуальность собранных вами данных, а также точность и однозначность при оценке результатов теста.

Перед проведением теста необходимо определиться с множеством аспектов – как вы будете собирать данные, какова их погрешность, анализ каких параметров будет проводиться и так далее.

В WiderFunnel используют два основных метода построения эксперимента на основе теории статистики – многовариантное (МВТ) и факторное тестирование.

Многовариантное тестирование

Два главных правила сбора данных при МВТ:

• Тестируя варианты страницы, вы можете изменять в них любое количество элементов одновременно.
• Вы должны проверить все возможные комбинации изменений. Например, если вы тестируете три варианта заголовка и два варианта изображения, нужно будет создать шесть страниц:

• Заголовок 1 + Изображение 1
• Заголовок 2 + Изображение 1
• Заголовок 3 + Изображение 1
• Заголовок 1 + Изображение 2
• Заголовок 2 + Изображения 2
• Заголовок 3 + Изображение 2

Этот метод дает возможность получить максимально точные результаты. Но есть существенный минус.  Если вы тестируете много элементов, количество вариантов страницы вырастает в геометрической прогрессии. А чем больше вы дробите трафик, тем больше времени вам понадобится, чтобы набрать достаточно информации. Многие компании и вовсе не могут применять многовариантный метод, поскольку не имеют достаточно трафика.

Здесь на помощь приходит факторный метод

Он также позволяет тестировать более одного изменения, но при этом не требует перебора всех комбинаций страницы. Вместо этого вы фокусируете внимание на конкретных изменениях, от которых ждете максимального эффекта, и проверяете их изолированно друг от друга, чтобы увидеть влияние каждого отдельного элемента.

Так что из шести вариантов вы выбираете три. Допустим:

• Заголовок 1 + Изображение 1
• Заголовок 1 + Изображение 2
• Заголовок 2 + Изображение 2

Затем последовательно тестируете эти три варианта и получаете, например, такую картину:

При такой схеме вы не только выявляете самый выигрышный вариант, но и видите эффект от изменения каждого элемента. Закрепив элементы, доказавшие свою эффективность (например, заголовок и иллюстрацию), можно экспериментировать с остальными – заголовок, фон, шрифт, дополнительные ссылки и т.д. По мере тестирования конверсия должна постепенно расти, как снежный ком. 

Основываясь на двух этих методах, WiderFunnel в 96% случаев добиваются как минимум 8-кратного увеличения ROI интернет-продаж.