Методология
Видимость в нейросетях: как считать честно
Честная видимость в нейросетях — это доля ответов на вопросы без названия бренда, в которых бренд назвали, обязательно вместе с числом ответов. «2 из 12» честнее, чем «17%», потому что сразу видно, насколько можно верить цифре. Вопросы, где бренд уже назван, проверяют факты, а не видимость.
Главная ошибка: бренд в вопросе
Спросите нейросеть «стоит ли идти в клинику Дента Плюс в Казани», и она почти наверняка расскажет про Денту Плюс: вы сами подсказали название. Если засчитать такой ответ как упоминание, видимость получится высокой у любого бренда, даже у того, которого клиенту никогда не посоветуют.
Поэтому в Fili видимость считается только по вопросам без названия бренда: «посоветуй стоматологию в Казани, где делают имплантацию». Вопрос со сравнением («Дента Плюс или СмайлЛаб») тоже задаётся, но он проверяет, что модель знает о вас, и в долю видимости не входит.
Что именно считать
Для каждого ответа фиксируются четыре сигнала:
| Сигнал | Вопрос | Пример |
|---|---|---|
| Назвали | Упомянут ли бренд в ответе | «…также можно рассмотреть Денту Плюс» |
| Посоветовали | Рекомендует ли модель бренд, а не просто перечисляет | «Лучше всего обратиться в Денту Плюс: …» |
| Позиция | Каким по счёту назван | второй после СмайлЛаб |
| Искажение | Есть ли ошибка в фактах | чужой адрес, старые цены, не тот город |
Итог по видимости — доля ответов, где бренд назвали, записанная вместе с числом ответов: «2 из 12».
Почему важно число ответов
Ответы нейросетей не фиксированы: один и тот же вопрос через час может дать другой список. Поэтому цифра без числа наблюдений почти ничего не говорит.
Это видно по доверительному интервалу. Это диапазон, в котором с вероятностью 95% лежит «настоящая» доля, если бы мы задали вопрос бесконечно много раз. Мы считаем его методом Уилсона, который корректно работает на малых выборках:
| Результат | Доля | 95% интервал (Уилсон) |
|---|---|---|
| 1 из 3 | 33% | 6–79% |
| 2 из 12 | 17% | 5–45% |
| 10 из 30 | 33% | 19–51% |
| 20 из 120 | 17% | 11–24% |
«1 из 3» и «10 из 30» — одна и та же доля, но в первом случае настоящая видимость может быть и 6%, и почти 80%. Поэтому разовую проверку на 12 ответах стоит читать как ориентир («вас называют редко»), а не как точную цифру. Для решений и сравнения «до и после» нужны десятки ответов.
Модель и дата — часть результата
Модели обновляются. Если в сентябре вас называли в 2 ответах из 12, а в октябре в 6, это может быть эффект ваших правок, а может быть новая версия модели. Поэтому к каждому ответу нужно сохранять:
- точное название и версию модели;
- дату и время запуска;
- работала ли модель с поиском;
- полный текст ответа, а не только отметку «назвали».
Без этого сравнение «было и стало» превращается в гадание.
Модели с поиском и без
Алиса в Яндексе отвечает с опорой на поисковую выдачу, поэтому на неё быстрее влияют правки на сайте. Модели, которые отвечают «из памяти», знают о бренде только то, что попало в обучающие данные. Смешивать их в одну цифру можно, но результат по каждой модели нужно показывать отдельно: у них разные причины и разные способы исправления.
Чего не делать
- Не считайте «индекс видимости» по вопросам с названием бренда.
- Не показывайте процент без числа ответов.
- Не сравнивайте замеры, сделанные на разных наборах вопросов или разных моделях.
- Не выдавайте один удачный ответ за результат: скриншот, где вас назвали первым, ничего не доказывает.
Как это устроено в Fili
Бесплатная проверка Fili задаёт 3–4 вопроса вашей категории в вашем городе Алисе, ChatGPT и DeepSeek. Название бренда есть только в одном вопросе-сравнении, и в долю видимости он не входит. В выпуске видно каждый ответ целиком, с моделью и датой, а итог записан как «X из N». GigaChat подключаем.
Частые вопросы
Почему не показывать просто процент?
Процент без числа ответов прячет неуверенность. 17% по 12 ответам и 17% по 120 ответам — разные утверждения: в первом случае настоящая доля может быть от 5% до 45%.
Сколько ответов нужно для надёжной цифры?
Для грубой картины («называют или нет») хватит 10–20 ответов. Чтобы заметить изменение на 10–15 процентных пунктов, нужна сотня ответов и больше на каждом замере.
Почему вопрос со сравнением не входит в видимость?
В нём уже есть название вашего бренда, и модель упомянет его почти всегда. Такой вопрос полезен для проверки фактов: что модель знает о вас и не путает ли.