Гайд
robots.txt, llms.txt и боты нейросетей: что открыть сайту
Чтобы нейросеть могла процитировать сайт, её поисковый бот должен его прочитать. У ChatGPT за поиск отвечает OAI-SearchBot, у Claude — Claude-SearchBot. Алиса берёт источники из поиска Яндекса, а отдельно управлять ею можно токеном YandexAdditional. Ботов для обучения моделей (GPTBot, ClaudeBot) можно закрыть, не теряя видимости в поиске. llms.txt — полезная, но необязательная карта сайта для ИИ-агентов.
Кто есть кто
У крупных разработчиков несколько ботов с разными задачами. Закрыть «всё от OpenAI» или «всё от Anthropic» одной строкой — частая ошибка: заодно пропадает и видимость в ответах.
| Бот | Чей | Зачем ходит | Если закрыть в robots.txt |
|---|---|---|---|
| OAI-SearchBot | OpenAI | показ сайтов в поиске ChatGPT | сайт не будет показываться в поиске ChatGPT |
| ChatGPT-User | OpenAI | заходит на страницу, когда пользователь сам просит | OpenAI предупреждает, что правила robots.txt к нему могут не применяться |
| GPTBot | OpenAI | сбор данных для обучения моделей | контент не используется для обучения; на поиск не влияет |
| Claude-SearchBot | Anthropic | индекс для поисковых ответов Claude | меньше видимости в ответах Claude с поиском |
| Claude-User | Anthropic | заходит на страницу по запросу пользователя | Claude не сможет открыть страницу по просьбе человека |
| ClaudeBot | Anthropic | сбор данных для обучения | новые материалы исключаются из обучения |
| YandexBot | Яндекс | основной поисковый робот | сайт выпадает из поиска Яндекса и, значит, из ответов Алисы |
| YandexAdditional | Яндекс | токен для robots.txt, а не отдельный обходчик | содержимое страниц не показывается в ответах Алисы AI |
Источники: документация OpenAI, справка Anthropic, справка Яндекс Вебмастера. Состав ботов меняется, сверяйтесь с ними перед правкой.
Что открыть, если хотите в ответы
Минимум для бизнеса, которому нужны рекомендации нейросетей:
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Yandex
Allow: /
Если у вас нет отдельных правил для этих ботов и общий User-agent: * не закрывает сайт, они и так могут его читать. Тогда отдельные секции не нужны. Проверьте главное: нет ли где-то Disallow: / для всех или для этих ботов.
Учтите важную деталь: бот, для которого есть своя секция, читает только её и игнорирует правила из User-agent: *. Если заводите отдельную секцию, повторите в ней запреты на служебные разделы: корзину, личный кабинет, поиск по сайту, страницы с персональными данными.
Что можно закрыть без потери видимости
Если не хотите, чтобы тексты сайта шли в обучение моделей, закройте ботов для обучения:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
По документации OpenAI и Anthropic, это сигнал не использовать контент для обучения, а за показ в поиске отвечают другие боты из таблицы выше.
Алиса и YandexAdditional
Отдельного «бота Алисы», которого надо пустить, нет: Алиса AI использует страницы, которые проиндексировал поиск Яндекса. Поэтому для Алисы главное — чтобы сайт индексировался и стоял высоко по вопросу клиента (подробнее).
Наоборот, запретить показ содержимого в ответах Алисы можно правилом для YandexAdditional или YandexAdditionalBot. По справке Яндекса, изменение учитывается за 2–14 дней. Бизнесу, который хочет попадать в ответы, этот запрет ставить не нужно. Проверьте, что его нет в вашем robots.txt по ошибке.
Сайт должен быть виден без JavaScript
Многие боты не исполняют JavaScript или делают это ограниченно. Если цены, адрес и описание услуги подгружаются скриптом, бот может увидеть пустую страницу. Проверьте: откройте исходный код страницы (Ctrl+U) и найдите в нём цену и адрес. Если их там нет, нужен серверный рендеринг или статическая версия ключевых страниц.
Что такое llms.txt
llms.txt — текстовый файл в корне сайта (/llms.txt) с кратким описанием проекта и списком ссылок на главные страницы в формате Markdown. Его предложил Джереми Говард в сентябре 2024 года (llmstxt.org). Это не стандарт и не директива доступа: он ничего не разрешает и не запрещает, а лишь подсказывает ИИ-агентам, что на сайте главное.
Нужен ли он? Вреда нет, делается за полчаса. Но не ждите, что сам файл поднимет вас в ответах: модели цитируют страницы, а не llms.txt. Пример — наш llms.txt. Минимальная структура:
# Название компании
> Одно-два предложения: кто вы, что делаете, где работаете.
- Услуги и цены: https://example.ru/uslugi
- Контакты и адреса: https://example.ru/kontakty
## Услуги
- [Имплантация зубов в Казани](https://example.ru/implantaciya-kazan): цена от, сроки, гарантия
Чеклист
- В robots.txt нет
Disallow: /для всех и для OAI-SearchBot, Claude-SearchBot, Yandex. - Нет случайного запрета для YandexAdditional.
- Ключевые страницы отдают текст без JavaScript.
- Боты для обучения закрыты или открыты осознанно.
- В корне есть sitemap.xml, и он указан в robots.txt.
- llms.txt по желанию.
Частые вопросы
Если закрыть GPTBot, ChatGPT перестанет нас советовать?
По документации OpenAI, нет: GPTBot собирает данные для обучения, а за показ в поиске ChatGPT отвечает OAI-SearchBot. Но модель без поиска опирается на то, чему её обучили, поэтому закрытие GPTBot может со временем уменьшить знания модели о вас. Решайте осознанно.
Нужно ли регистрироваться где-то, чтобы попасть в ответы ChatGPT или Claude?
Нет. Достаточно, чтобы сайт был открыт их поисковым ботам и хорошо отвечал на вопросы клиентов.
Как проверить, заходят ли боты на сайт?
Посмотрите логи веб-сервера по user-agent: OAI-SearchBot, Claude-SearchBot, YandexBot. Если заходов нет совсем, проверьте robots.txt и правила защиты от ботов на хостинге или в CDN: их иногда блокируют там, а не в robots.txt.