Методология работы со сплит-тестами

У многих возникает стереотип: если человек работает таргетологом, то он должен придумывать все быстро и без каких-то дополнительных усилий и сложностей. На самом деле, это не так, и для успешного запуска проектов необходимо пройти пять фаз принятия неизбежного: отрицание, гнев, торги, депрессию и сплит-тесты. По этой причине таргетологов можно разделить на два типа: те, кто делает сплит-тесты изначально и те, кто все равно в дальнейшем будут их делать, поэтому ошибаться лучше системно.

Статья будет полезна всем, кто хочет разобраться, как правильно проводить сплит-тесты, из каких этапов состоит тестирование, и каких ошибок лучше не допускать при работе с трафиком.

Что такое сплит-тест

Сплит-тест – это система, в которой заложены систематические ошибки, причем они заложены нами на начальном этапе. Мы заранее разрабатываем и закладываем неидеальную стратегию, потому что идеальную заложить невозможно. Бывают ситуации, когда заказчик или специалист хотят обойтись без сплит-тестов, важно понимать, что в любом случае рано или поздно они потребуются. Без тестирования сложно анализировать и сопоставлять вводные данные с полученными, потому что всегда изначально ожидаются хорошие результаты, а при работе с проектами важно предполагать наличие провалов. Один из спикеров-таргетологов говорил: «Когда создается модель воронки конверсии и начинается ее реализация, она не улучшается и не совершенствуется. В ней корректируются все недочеты и ошибки». Таким образом, сплит-тесты позволяют определить все недочеты модели воронки конверсии.

Существует красивая научная теория, которая портит всё. Ей является теория динамического хаоса. «Эффект бабочки» гласит, что причиной появления хаоса является неустойчивость (чувствительность) по отношению к изначальным условиям и характеристикам. То есть даже небольшие изменения изначальных условий могут со временем привести к существенным изменениям всей динамики системы. Таким образом, любое отличие в изначальных условиях приводит по каскаду к непредсказуемым последствиям. Теория хаоса может относиться к разным нишам или трафику. Весь трафик в любом проекте – это динамическая система, в ней каждый последующий проект отличается начальными условиями от предыдущего. На практике не всегда получается воспроизводить предыдущие кейсы на новых проектах, так как в них не учтены какие-то изменяющиеся моменты. Но, несмотря на это, всё решаемо, и все способно работать.

Первый этап сплит-тестов

Всем начинающим и продолжающим специалистам рекомендуется использовать mind-map. В первую очередь, необходимо составить задание – план-стратегию. Очень удобно изменять блоки по вашему желанию, добавлять параметры и вводные данные в инструментах для mind-map. Ими могут служить сервисы: MindMeister, Xmind и Miro. Также помимо ваших идей необходимо собирать вводные данные от клиента, например, соцдем (социально-демографические) данные, аудитории.

Что нужно тестировать и прописывать в сплит-тесте:

• Проверка заголовка. Как правило, работоспособность текста – это работоспособность заголовка.
• Проверка текста и сообщения в нем.
• CTA.
• Картинка и/или медиа.
• Проверка посадки. Есть ситуации, когда тестируются много лендингов. Например, один лендинг – на сайт, второй – на страницу рассылки и т.д.
• Стратегии запуска трафика: клики, показы, вступления, ручник, автомат CPC, CPM. На этом этапе нужно выбрать то, что необходимо протестировать именно вам.
• Оптимизация.
• Форматы записей (карусель, ЗСК – запись с кнопкой, УЗ – универсальная запись и т.д.).
• Плейсменты.
• ЦА – целевая аудитория: из парсера, внутри ВК, смешанно и т.д.

Всё это называется пропозиционно-дедуктивной системой, которая включает в себя сумму ваших предложений, ТЗ (технических заданий) и их проверки. Составленная mind-map – это собранные кубики лего. Если действовать по наитию, то после тестирования можно не понять, по какой причине объекты появились в тесте, что на них возлагалось, и почему они не сработали. Все свои исходные данные, желания и видение лучше закладывать в mind-map. Это позволит спокойно перебирать и менять полученные кубики лего. Также важно соблюдать правило и выполнять эти действия одним набором до третьего шага.

Иногда таргетологи могут смеяться над тем, что им выпадает нецелевая реклама. Причинами этому могут служить погрешность выборки и желание таргетолога протестировать количество негатива, которое появляется реакцией на нецелевую рекламу. Без проработки ТЗ плана стратегии будет очень сложно оценивать результативность и выстраивать дальнейшие шаги.

Второй этап – построение креатива

В креативе есть всё: заголовок, идея, вложенная в текст, и т.д. На этом этапе необходимо определиться, что должен вызывать креатив: клик, подписку, переход в сообщения или что-то другое. В первую очередь стоит проводить тест креативов: одна ЦА от 3 (критический минимум) до 5 вариаций текста. Можно опираться на лестницу Бена Ханта, которая помогает выбрать все подходящие маркетинговые инструменты с учетом состояния клиента. Также важно учитывать факт: если второй этап не пройден, необходимо повторять его до тех пор, пока он не будет пройден.

Рабочий креатив – это всегда сочетание ЦА и самого креатива. Из книги «Введение в логику и научный метод» можно выделить основные тезисы, касающиеся рабочего креатива:

• Конвенция по термину: как назовем рекламную кампанию, так потом и прочитаем. Когда компания работает не с одним проектом, потребуется выработать систематичность обозначения и разделения рекламных кампаний по их логическим этапам.
• Коннотация (прочтение) текста.
• Денотация тестируемого – наличие индивидов внутри кампании, сколько креативов должно быть запущено и на какие аудитории.
• Что есть конъюнкция тестируемого. Это суждение через союз «и». Например, я и Санкт-Петербург.
• Что есть дизъюнкция: строгая и нестрогая. Это суждение через «либо/или». Например, нестрогая: я или вы в Санкт-Петербурге, строгая: я либо вы в Санкт-Петербурге.

В настройках в рекламном кабинете сочетания могут сужаться сильно и не очень, потому что там есть конъюнкция и дизъюнкция. Таким образом, победивший креатив – это всегда сочетание конъюнктов и дизъюнктов на той дистанции теста, что была выбрана. Например, креатив А И аудитория А с настройками Б ИЛИ В, но если Б, то НЕ В и наоборот, дали 9 кликов по 13 рублей с CTR 1,3 % в дистанции двух дней. При тестировании важно определяться: ставить ли один регион, исключать другие регионы, выбрать аудиторию, которая жила в этом регионе раньше. В этом заключаются дизъюнкция и конъюнкция.

Третий этап – «ковер аудиторий»

На этом этапе важно избежать систематической ошибки. Можно тестировать сразу около 10-ти аудиторий с как можно более разнообразными доводами к возможной результативности. То есть то, что предполагаем, должно просто сработать, или сработать в случае, когда что-то не учли, или не должно сработать, или то, что нужно просто проверить.

Хрестоматийным примером ошибки отбора служит история Абрахама Вальда и американских бомбардировщиков. Систематической ошибкой выжившего служит вид систематической ошибки отбора, когда по «выжившей» группе объектов данных много, а по «погибшей» данных практически нет. Поэтому при запуске на ковер около 10-ти аудиторий важно сделать широкий разброс. Это необходимо для того, чтобы в большой выборке сформировались ключевые данные, которые составляют основу конкуренции в аукционе.

Четвертый, пятый и последующие этапы

После успешного запуска ковра аудиторий появляется огромное количество вводных и соцдем данных. На четвертом этапе важно плотно разобрать все результаты. Иногда распределение кликов и просмотров соблюдается пропорционально между мужчинами и женщинами, в этом случае креатив отрабатывает универсально. А иногда бывают ситуации, когда просмотров больше у женщин, а кликов – у мужчин, в этом случае креатив работает не универсально.

Пятый и последующие этапы – это этапы запуска следующего теста на основе анализа данных 1-го и 2-го тестов. Это внесение корректировок по вводным и полученным данным, по их сочетанию. Чем четче вы сочетаете свои суждения и свое мышление с настройками, тем больше вы понимаете, куда идти в проекте, что с ним делать, зачем, и как получить результативность, так как в действительности нет определенной метрики объективного способа решения задачи.

Рассмотрим пример четырех тестирований:

• В первую очередь протестировали пять текстов в ювелирной нише с очень горячей аудиторией. Тест показал неплохие результаты: клик – 36.62 руб., CPM – 466.02 руб., количество кликов также было удачным, рейтинг кликабельности – 1.273%.

• Второй тест – это ковер аудиторий, результаты: клик – 25.74 руб., CPM – 52.46 руб., на широкой аудитории было падение рейтинга кликабельности, он составил – 0.204%.

• После было проведено тестирование с сочетанием первого и второго результатов. В итоге кликабельность выросла, клик стал 16.83 руб., CPM – 188.69 руб., рейтинг кликабельности – 1.121%.

• В четвертом тесте повысили качество, клик вырос до 25.10 руб., CPM – 1.153 руб., рейтинг кликабельности – 1.153%.

Таким образом, это была бы шикарная отбивка маркетинговых инвестиций, если бы в идеальных условиях каждый человек, который кликал, был бы клиентом.

Распространенные ошибки в трафике

При работе с трафиком каждый может столкнуться с болью в трафике. Можно выделить основные и наиболее частые ошибки:

• Провели плохую работу с пропозицией и дедукцией. Эта ошибка возникает в том случае, когда не все используют практику «журнала трафика» для работы с ретроспективным когнитивным искажением. Эти понятия хорошо описаны в книге Даниэля Канемана «Думай медленно… Решай быстро». Как только все запускаешь, смотришь на цифры и думаешь: «почему я такой дурак?». Поэтому перед запусками необходимо записывать все мысли, ожидаемые результаты, доводы, причины валидных идей.
• Понадеялись на отсутствие флуктуаций трафика, когда он может повести себя не так, как хотелось. Ее невозможно учесть, ее можно только поймать. Поэтому необходимо запускать не одну, а несколько работоспособных связок с хорошей стоимостью клика. Если одна связка начнет проваливаться, вторая и следующая сможет ее поддержать.
• Аудитория оказалась слишком гетерогенной (разнородной). Например, прокрутили 1 000 человек для теста, посмотрели, что есть 8-12 кликов, запустили тест дальше, и аудитория оказалась слишком разнородной, случился провал – флуктуация. Чтобы не совершать данную ошибку, необходимо прогнозировать заранее, насколько аудитория будет гетерогенной.
• Плохо отработали первый этап.
• Не была доработана регрессия к среднему результату. Когда крутим на очень маленьких цифрах, появляются экстремумы на графиках. Например, в результате теста случилось 3 клика, 30% аудитории – мужчины, можно сделать вывод, что один клик сделал мужчина. Это не дает полную информацию, ее дают только набранные цифры, которые можно усреднить.
• В трафике не учитывался маркетинг.

Основные выводы

Сплит-тесты позволяют анализировать и сопоставлять вводные данные с полученными. Поэтому каждый таргетолог рано или поздно воспользуется ими. При сплит-тестировании выделяют четыре основных обязательных этапа: составление плана и стратегии (mind-map), построение рабочего креатива, тестирование ковра аудиторий и кропотливый анализ полученных данных. На последующих этапах запускается тестирование на основе первых и вторых тестов с учетом всех исправлений и корректировок.

Также существуют наиболее распространенные ошибки в работе с трафиком, важно их знать и стараться не допускать. Необходимо также запомнить основное правило тестирования: чем щепетильнее техническое задание сплит-теста, тем четче получаемый результат.