Почему один и тот же бренд сегодня есть в ответе нейросети, а завтра исчезает

С GEO часто происходит странная вещь. В понедельник маркетолог задаёт Алисе коммерческий вопрос и видит свою компанию среди рекомендаций. В среду повторяет формулировку — бренд пропал, зато появился конкурент, которого два дня назад в ответе вообще не было. Если в отчёте лежат только эти два скриншота, разговор быстро уходит в сторону: какой результат считать настоящим и что вообще произошло за эти два дня?

Такая плавающая выдача для генеративных систем обычна. Ответ собирается заново при каждом обращении, на него влияют сама генерация, найденные источники и контекст запроса. Поэтому единичное появление бренда полезно зафиксировать, но для оценки GEO этого слишком мало: нужен ряд проверок, где видно, как часто компания возвращается в ответах.

Почему ответы меняются даже при одинаковом вопросе

1. Генерация сама по себе вариативна

Языковая модель каждый раз формирует ответ заново. OpenAI в технической документации прямо пишет о недетерминированном поведении моделей: при одинаковых входных данных результат может различаться. Для маркетолога это выглядит очень приземлённо — сегодня компания стоит второй в списке, завтра четвёртой, а послезавтра модель назвала четыре других бренда.

2. На границе ответа часто несколько равных кандидатов

У коммерческого запроса обычно несколько подходящих кандидатов. Допустим, модель считает релевантными семь компаний, а в ответ помещает четыре. Бренды около этой границы будут появляться через раз, особенно в нишах, где сайты похожи друг на друга, услуги описаны одними и теми же словами, а внешних упоминаний у игроков примерно поровну.

3. Веб-поиск и источники тоже меняются

Когда нейросеть обращается к вебу, к вариативности генерации добавляется ещё один слой. В один день система нашла свежую статью и рейтинг, через несколько дней выше оказался другой обзор или обновлённая страница компании. Даже небольшая перестановка источников способна поменять список рекомендаций, хотя сам бренд за это время ничего не делал.

4. Формулировка запроса меняет задачу для модели

Для человека фразы «посоветуй сервис сквозной аналитики» и «какой сервис сквозной аналитики выбрать малому бизнесу» почти одинаковы. Во втором вопросе уже есть фильтр по размеру компании, поэтому модель может убрать часть решений и добавить другие. Город, бюджет, отрасль, срочность и формат услуги работают так же: одно уточнение иногда меняет весь список брендов.

5. Контекст диалога влияет на продолжение

Контекст диалога тоже вмешивается в результат. Если пять сообщений назад пользователь написал, что работает в Екатеринбурге и ищет решение до 30 тысяч рублей в месяц, следующий вопрос модель прочитает с учётом этих деталей. Для мониторинга лучше держать отдельные чистые диалоги и не смешивать их с длинными пользовательскими сценариями, иначе сравниваются уже разные условия.

6. Модели и поисковые механизмы обновляются

Нейросетевые продукты обновляются постоянно: меняются модели, работа с вебом, правила цитирования и способы ранжирования источников. После такого обновления часть брендов может резко прибавить в видимости, другая часть — просесть, хотя на их сайтах ничего заметного не произошло. Именно поэтому история за несколько недель полезнее скриншота, сделанного в один удачный день.

Источник по вариативности генерации: OpenAI — Introducing Structured Outputs

Что считать реальной видимостью бренда

Допустим, бренд появился один раз в десяти проверках. Формально упоминание есть, но для бизнеса это слабый результат: девять пользователей из десяти при тех же условиях могут увидеть другие компании. В отчёте полезнее показывать частоту присутствия по одинаковому набору запросов и за один период, а единичные попадания оставлять как дополнительный контекст.

Мы обычно смотрим на четыре вещи сразу: какие промпты сработали, в каких нейросетях появился бренд, как менялась частота по датам и кто из конкурентов занимал те же места. Такой разрез быстро отделяет устойчивое присутствие от случайного попадания. Два появления по одному запросу за месяц и стабильная видимость по целому кластеру коммерческих вопросов — совсем разные результаты, хотя в обоих случаях в отчёте можно написать «бренд упоминается».

Четыре показателя, которые помогают увидеть стабильность

1. Частота присутствия

Что показывает: Как часто бренд появляется по конкретному промпту

Как считать: Число проверок с брендом / все проверки

Пример: 7 появлений из 10 = 70%

2. Покрытие промптов

Что показывает: По какой доле отслеживаемых вопросов бренд вообще виден

Как считать: Промпты с упоминанием / весь набор промптов

Пример: 18 из 30 = 60%

3. Стабильность по моделям

Что показывает: Где результат держится лучше 

Как считать: Сравнивать частоту присутствия отдельно в каждой нейросети

Пример: Алиса — 80%, ChatGPT — 45%

4. Доля относительно конкурентов

Что показывает: Кто чаще попадает в рекомендации по тому же набору вопросов

Как считать: Сравнивать частоту упоминаний брендов за один период

Пример: Бренд — 62%, конкурент А — 71%

Эти показатели лучше читать вместе. Например, покрытие в 70% выглядит убедительно, пока не выясняется, что по половине запросов бренд появился лишь в одной проверке из пяти. Картина сразу меняется: охват уже широкий, а повторяемость результата пока слабая.

Один замер может дать ложный вывод в обе стороны

Возьмём условный проект: компания отслеживает 30 коммерческих промптов в трёх нейросетях. В первый день бренд нашёлся по 19 запросам, и команда решила, что всё идёт отлично. Через неделю осталось 12. По двум датам невозможно понять, где случайный всплеск, где обычное колебание и началась ли вообще какая-то тенденция.

Через месяц данных уже достаточно для нормального разбора. Допустим, по восьми промптам бренд появляется почти каждый раз, ещё по десяти — примерно в половине проверок, а по остальным его почти нет. Теперь видно, где компания действительно закрепилась, а где результат держится на редких попаданиях. Такой ряд гораздо полезнее попытки назначить один день «правильным».

Как отличить обычное колебание от реальной просадки

Одно исчезновение почти ничего не меняет. Настораживает другая картина: бренд проседает сразу по группе близких промптов, это повторяется несколько проверок подряд, а конкуренты в тех же ответах встречаются чаще. Здесь уже есть повторяемый сигнал, который стоит разбирать по источникам и датам.

Первым делом я бы посмотрел, какие источники использует нейросеть. Например, раньше в ответах регулярно всплывал отраслевой обзор с упоминанием компании, а через месяц этот материал перестал появляться или устарел. Бывает и обратная история: конкурент выпускает несколько сильных публикаций, его название чаще встречается в свежих материалах, и через какое-то время оно начинает чаще попадать в рекомендации.

Полезно смотреть и на ширину просадки. Если исчез один промпт, причина может быть локальной — от формулировки вопроса до смены конкретного источника. Когда одновременно падают несколько услуг и две-три модели, уже есть смысл проверять сайт, внешние публикации, актуальность данных о компании и изменения в самих нейросервисах.

Как настроить мониторинг, чтобы данные можно было сравнивать

Чтобы сравнивать периоды, сначала фиксируют основной набор промптов. Если каждую неделю менять половину вопросов, история развалится: цифры вроде бы есть, а сопоставить их нельзя. Новые формулировки можно добавлять отдельным слоем, при этом базовый пул лучше держать стабильным хотя бы в пределах одного отчётного периода.

Ещё один источник красивых, но бесполезных цифр — брендовые вопросы. Запрос «что ты знаешь о компании N» почти всегда даст компании больше шансов на упоминание, чем «кого выбрать» или «какие компании посоветуешь». Для оценки GEO основной вес лучше отдавать коммерческим промптам, где пользователь ещё выбирает между несколькими игроками рынка.

Модели тоже лучше разбирать отдельно. Средняя цифра по пяти нейросетям может скрыть провал в одной системе и сильный результат в другой. Для локального российского бизнеса Алиса иногда важнее зарубежных сервисов, а у технологического B2B аудитория может вести себя совсем иначе — приоритет приходится задавать по реальным клиентам проекта.

И ещё одна вещь, которую легко испортить руками, — частота проверки. Если в июне было два замера, а в июле двадцать, сравнивать проценты напрямую уже сомнительно. Гораздо чище заранее выбрать интервал и придерживаться его: например, проверять один и тот же набор запросов раз в несколько дней или раз в неделю.

Что делать, если бренд действительно начал исчезать

Сначала нужно понять масштаб: какие промпты просели, в каких моделях и с какой даты это началось. После этого уже имеет смысл смотреть конкурентов и источники по тем же вопросам. Такой порядок обычно быстрее приводит к причине, чем попытка сразу переписывать десяток страниц сайта наугад.

Если конкуренты стали чаще встречаться во внешних материалах, проверяют собственный цифровой след: публикации, рейтинги, карточки компании, отраслевые каталоги, экспертные комментарии, кейсы и страницы услуг. Когда падение сосредоточено вокруг одного кластера, причина часто находится именно там. У конкурента может оказаться свежее страница услуги, больше независимых упоминаний или новый материал на сильной площадке.

После любых изменений лучше продолжать наблюдение по прежнему набору запросов. Тогда через несколько недель видно, сдвинулась ли частота присутствия и где именно. Если одновременно поменять промпты, модели и методику подсчёта, связать изменения с конкретным действием уже почти невозможно.

Какой результат можно считать устойчивым

Общепринятой шкалы устойчивости для GEO пока нет, поэтому внутри проекта её обычно задают заранее. Например, 1–2 появления из 10 можно считать эпизодическими, 5–7 — регулярными, 8–10 — устойчивыми. Это внутренняя рабочая градация, которая помогает команде одинаково читать отчёт и не спорить каждый месяц о том, считать ли единичный удачный ответ полноценным результатом.

Для бизнеса вопрос в итоге довольно прикладной: как часто потенциальный клиент увидит компанию, когда задаст релевантный коммерческий вопрос. Ответ появляется после серии одинаковых проверок. Скриншот за конкретный день фиксирует факт присутствия, а история за месяц показывает, повторяется ли этот результат и насколько часто бренд уступает место конкурентам.

Примечание для редакции: в документе отмечены места для трёх скриншотов. Перед публикацией технические подписи можно удалить и оставить изображения с короткими подписями по смыслу.