А/В-тестирование в SEO: как проводить его без ошибок и улучшать стратегию продвижения

Проверка гипотез методом сплит-теста или А/В-тестирования может увеличить эффективность стратегии продвижения сайта. Однако все его преимущества легко сводятся на нет при неправильной организации эксперимента. 

Меня зовут Александр Шестаков, руководитель платформы LinksSape, и в этой статье мы разберем, какие ошибки подстерегают SEO-специалистов при проведении А/В-тестирования и как их избежать. 

Что такое A/B-тестирование

Этот метод является одним из старейших научных подходов к проведению экспериментов в самых разных областях, в том числе, в сфере SEO, а главное его достоинство — он работает безотказно. Его суть сводится к тому, что вы проверяете эффективность какой-либо гипотезы параллельно на двух примерах — одном, где она применялась, и втором, где не применялась. 

Например, после анализа конкурентов вы хотите протестировать предположение, что новое расположение блоков на страницах сайта вызовет у аудитории повышенный интерес и поспособствует улучшению поведенческих факторов. На одной из страниц сайта (А) вы изменяете структуру, а на другой (В) — сохраняете прежнюю. Далее вы в течение месяца отслеживаете метрики, чтобы определить, верна ли гипотеза. 

A/B-тестирование также применяется в связке с А/А-тестированием — когда разным группам показывают одинаковый контент. Это делается, чтобы убедиться, что различие между категориями пользователей не превышает статистическую погрешность. Следовательно, особенности вашей аудитории не будут влиять на точность результатов дальнейших экспериментов.

Ошибки в A/B-тестах при продвижении сайта

На сегодняшний день A/B-тесты являются универсальными для любой SEO-стратегии. Однако при их использовании можно совершить целый ряд ошибок, которые скажутся на итогах эксперимента. Разберемся, что нужно иметь в виду, приступая к тестированию.

Ошибка 1. Нечеткая гипотеза и обобщенный вывод

Эксперимент может быть изначально обречен на провал, если при тестировании выбрана недостаточно конкретная гипотеза. В SEO при постановке задачи вы должны опираться на конкретные алгоритмы и пытаться точечно повлиять на ранжирование сайта в выдаче. Если же цель абстрактная, ценность эксперимента снижается. Особенно важно, чтобы гипотеза была привязана к выбранной тематической нише, а иногда даже и к региону.

Например, вы проводите А/В-тестирование продвижения с помощью крауд-ссылок. Они ведут на одну их страниц молодого регионального онлайн-магазина товаров для охоты и рыбалки. Уже через два месяца вы замечаете существенный эффект — страница выросла по ряду запросов. Из этого делается далеко идущий вывод о том, что крауд-ссылки хорошо подходят для продвижения молодых онлайн-магазинов. Однако никакой гарантии того, что этот метод покажет аналогичные результаты в случае с сайтами столичного региона, и, тем более, в других нишах, у вас не будет. Необходимо отрабатывать более четкую и узкоспециализированную гипотезу, либо проводить дополнительные тесты.

Ошибка 2. Одновременное тестирование нескольких гипотез

Ключевое условие проведения А/В-тестирования — чистота эксперимента. Во время его проведения на страницах нельзя больше ничего менять. Кроме того, нельзя тестировать одновременно несколько гипотез. Даже если вы заметите эффект, у вас не будет однозначной уверенности, какое именно нововведение послужило его причиной.

Однако такая ошибка может произойти не по вашей вине. Например, вы решили протестировать на странице новый принцип оптимизации текстового контента, а разработчик, не зная об этом, начал проводить на ней технические работы. В результате вы вообще не сможете определить результат теста, а ваши время и силы окажутся потраченными напрасно.

Ошибка 3. Исследование непопулярных сайтов

Иногда для проведения эксперимента выбирают сайт, созданный недавно, либо, наоборот, старый ресурс, практически заброшенный владельцами и посетителями. В этом кроется одна из распространенных ошибок — если площадка не собирает достаточно трафика, результаты тестирования не могут считаться достоверными.

В отсутствие хотя бы 200-300 визитов каждые сутки говорить о качестве выборки при А/В-тестировании не приходится

Например, страницу А оставили в неизменном виде, а на странице В был изменен порядок блоков. По истечение месяца на странице В показатели длины сессии и вовлеченности посетителей выросли. Можно сделать вывод, что гипотеза показала себя успешно. Однако, если ежесуточный трафик тестового сайта составил не более 50 посещений, картина будет неполной. На основе такой низкой посещаемости нельзя делать однозначных выводов.

Ошибка 4. Тестирование в сезон

Еще одна проблема с проведением А/В-тестов возникает, когда вы продвигаетесь в нише или по конкретным запросам с ярко выраженной сезонностью. В этом случае резкое снижение или, наоборот, повышение трафика на сайт может быть воспринято как результат внесенных вами изменений. На самом же деле вы не сможете установить точную причину полученного результата.

Например, вы продвигаете сайт о здоровом образе жизни и решаете проверить, удастся ли увеличить посещаемость за счет нового формата заголовков. Через некоторое время вы действительно отмечаете рост трафика на тестируемых страницах, однако, он совпадает с сезонным притоком — у пользователей возникает скачкообразный интерес к уходу за телом. 

По некоторым запросам сезонный трафик может увеличиваться или падать в несколько раз, что видно на графике Вордстата

Сделать точные выводы в таких условиях нельзя, так как эффект может быть связан с SEO-работами, а может — с сезонностью. 

Ошибка 5. Поспешные выводы

SEO — не та область, в которой можно уверенно делать быстрые выводы. Это в полной мере относится и к проведению экспериментов. Нередко специалисты, особенно начинающие, слишком рано прекращают наблюдение. Как правило, они приходят к выводу, что их гипотеза не работает, а потому продолжать тестирование бессмысленно.

Например, на страницу А разместили порядка 100 арендных ссылок, а ссылочный профиль страницы В не усиливался. По прошествии месяца изменений не видно и можно сделать вывод, что ссылки не сработали. Однако он будет ошибочным, поскольку за это время размещенные ссылки, вероятнее всего, даже не проиндексировались поисковыми системами и не могли оказать никакого эффекта. В такой ситуации лучше продолжать эксперимент как минимум вдвое, а то и втрое дольше. Только после этого можно делать какие-либо заключение об эффективности ссылок. 

Также не игнорируйте статистическую погрешность. Например, если вы расчитали, что на какую-либо кнопку стали кликать на 8% чаще, чем на другую, не факт, что она лучше для сайта. Такой незначительный перевес в эффективности может быть вызван погрешностью. В этом случае тестирование, по сути, сводится к банальному угадыванию. Лучше опираться на несколько метрик, чтобы более точно анализировать эффективность изменений.

Ошибка 6. Неоднозначные эксперименты

Этот нюанс А/В-тестирования нельзя назвать полноценной ошибкой, но его нужно иметь в виду, когда вы планируете эксперимент. Помните, что некоторые изменения могут по-разному влиять на разные SEO-показатели и сказываться не только на конкретной странице. Поэтому иногда важно более широко смотреть на проблему и брать для оценки большее количество метрик, чем вы изначально планировали.

Например, вы продвигаете сайт компании и собираетесь внедрить на одной из информационных страниц специальный калькулятор для расчета стоимости услуг. Анализ топовых конкурентов показал, что ни у одного из них нет подобного инструмента, поэтому можно воспользоваться фактором новизны. В ходе эксперимента вы проверяете гипотезу, что нововведение позволит увеличить трафик и вовлеченность. Результаты теста свидетельствуют — выбранные метрики стабильно растут. 

Однако мониторинг всей воронки продаж на сайте показывает, что конверсия на поздних этапах начала уменьшатся, так как, рассчитав цену, потенциальные клиенты стали чаще отказываться от заключения сделки. Таким образом, локальное нововведение оказало не только явное влияние на ту страницу, которую планировалось оптимизировать, но и скрытое — на весь ресурс. Такую вероятность нужно учитывать и, по возможности, отслеживать.

Чек-лист: как провести А/В-тест, чтобы эффективность продвижения увеличилась

Ниже приведен чек-лист, который поможет вам организовать эксперимент, включающий А/В-тестирование, и качественно улучшить результаты поисковой оптимизации:

1. Формируйте конкретную гипотезу с четкой привязкой к типу продвигаемого сайта, его нише и региону присутствия. Лучше провести несколько небольших экспериментов и получить однозначные результаты, чем одно большое исследование с размытым итогом.
2. При проработке гипотезы изучайте сайты-конкуренты. Возможно, вы найдете ответ на свой вопрос без проведения теста или, наоборот, сможете сформировать качественную гипотезу и в итоге сделать вывод, который позволит эффективнее продвинуть проект.
3. Не стоит прибегать к А/В-тестам, если сайт имеет минимальный трафик или если страницы продвигаются по запросам с ярко выраженной сезонностью. Слишком велик риск получить неактуальную выборку или попасть под влияние сезонного колебания спроса.
4. При проведении тестирования следите, чтобы на целевых страницах не проводились технические работы, обновления контента или не внедрялись иные изменения. Особенно это важно при продвижении чужого сайта — согласуйте сроки и условия проведения эксперимента с владельцем, чтобы другие специалисты не помешали эксперименту.
5. На каждой странице сайта должна единовременно отрабатываться только одна гипотеза. Поэтому, если вы запланировали сразу несколько тестов, продумайте, как их распределить, чтобы они не пересекались. Получить чистый результат при параллельном тестировании невозможно.
6. Сразу определите срок проведения тестирования и не рассчитывайте на получение быстрых результатов. Исходите из того, как скоро поисковые системы смогут переиндексировать страницы. Выделяйте больше времени на эксперименты, относящиеся к ссылочному продвижению, — обычно первый эффект от размещения входящих ссылок не проявляется раньше 2-3 месяцев.
7. Всегда оценивайте вероятность того, что эксперимент может оказать более глобальное влияние на работу сайта, чем вы изначально предполагали. В этом случае стоит охватить дополнительные метрики при анализе результатов.