llms.txt и robots.txt: в чём разница?
robots.txt сообщает соблюдающим его правила краулерам, какие URL можно запрашивать. llms.txt предлагает поддерживающим его инструментам отобранный список ресурсов для чтения. Эти файлы решают разные задачи, и ни один из них не защищает закрытые материалы.
Последнее обновление:
Это различие важно, когда вы решаете, что публиковать, что разрешать краулерам получать и что должно появляться в поиске. Ограничение обхода не позволяет надёжно удалить URL из Google. Список ресурсов не гарантирует, что сервис ИИ обнаружит или использует ваши материалы.
Краткое сравнение
| Вопрос | robots.txt | llms.txt |
|---|---|---|
| Что сообщает файл? | Правила обхода для определённых user-agent. | Отобранные ресурсы и контекст для инструментов, поддерживающих предложение. |
| Какой формат используется? | Обычный текст с директивами, например User-agent и Disallow. | Markdown с заголовком и необязательными дополнительными разделами. |
| Где размещается файл? | /robots.txt в корне соответствующего origin. | /llms.txt или в определённой области пути, например /docs/llms.txt. |
| Стандартизирован ли он? | Протокол исключения роботов описан в IETF RFC 9309. | Это предложение сообщества, опубликованное на llmstxt.org. |
| Обеспечивает ли он принудительное ограничение доступа? | Нет. Краулер должен сам соблюдать правила. | Нет. Это не документ, определяющий разрешения. |
Более широкое сравнение, включающее карты сайта, приведено в материале о ролях llms.txt, robots.txt, sitemap.xml и llms-full.txt.
Что на самом деле регулирует robots.txt
robots.txt задаёт правила обхода. RFC 9309, опубликованный в сентябре 2022 года в категории IETF Standards Track, определяет протокол и прямо отделяет эти правила от авторизации доступа.
Например, такой файл предписывает Googlebot не обходить URL с префиксом /archive/:
User-agent: Googlebot
Disallow: /archive/
Остальные пути для этого user-agent остаются без ограничений. Это инструкции для краулера, а не серверные правила, препятствующие посетителю или другому клиенту получать страницу.
У файла также есть определённая область действия. https://example.com/robots.txt не устанавливает
автоматически правила для всех поддоменов и протоколов. Google определяет область действия по хосту,
протоколу и порту. Его парсер поддерживает user-agent, allow, disallow и sitemap, но не поддерживает crawl-delay. Проверяйте документацию нужного краулера, а не предполагайте, что
каждая директива работает везде. См. спецификацию robots.txt для Google.
Блокировка обхода не равна запрету индексации
Google может обнаружить заблокированный URL по ссылке и включить его в индекс, не обходя содержимое страницы. Поэтому руководство Google по robots.txt не считает блокировку обхода надёжным способом исключить страницу из результатов поиска.
Для общедоступной страницы, которая не должна появляться в Google Поиске, используйте подходящий
механизм управления индексацией, например noindex. Google должен иметь возможность обойти страницу, чтобы увидеть её правило noindex. Блокировка того же URL в robots.txt может этому помешать. Google поддерживает noindex в HTML страницы или в заголовке HTTP-ответа, но не как директиву robots.txt. Удаление зависит от
получения и обработки правила Google; его добавление не вызывает мгновенного обновления. См. инструкции Google по noindex.
Для конфиденциальных материалов используйте аутентификацию или другой механизм контроля доступа
на сервере. Ни robots.txt, ни noindex не делают общедоступный документ закрытым.
Что добавляет llms.txt
llms.txt представляет собой необязательную карту ресурсов для инструментов, которые его поддерживают. Предложение llms.txt описывает файл Markdown с обязательным заголовком H1; описание и остальные разделы необязательны.
Например, этот иллюстративный файл ссылается на два руководства нашего сайта:
# llmtxt.info
> Руководства по llms.txt, его формату и ограничениям.
## Руководства
- [Создание файла llms.txt](https://llmtxt.info/ru/how-to-create/): практическое руководство по настройке.
- [Сравнение файлов для обнаружения ресурсов](https://llmtxt.info/ru/comparison/): разные роли четырёх веб-файлов.
Пример показывает структуру с использованием существующих веб-страниц. Предложение рекомендует ссылаться на материалы, удобные для агентов, например на очищенные версии Markdown, когда они доступны.
Текст предложения v2, обновлённый 10 августа 2026 года, допускает файлы с областью действия по
пути: /docs/llms.txt охватывает страницы внутри /docs/, причём
применяется наиболее специфичный файл. Это описание предполагаемого поведения, а не
доказательство того, что конкретный клиент его реализует.
Публикация файла не доказывает, что агент нашёл его, прочитал связанные страницы или использовал их в ответе. Для полезного внедрения определите целевой клиент и проверьте соответствующий сценарий. Сам файл не предоставляет доступ и не отменяет robots.txt.
Улучшает ли llms.txt позиции в Google?
Google заявляет, что не использует llms.txt в Поиске и что этот файл не повышает видимость или позиции, в том числе в генеративных функциях ИИ. См. руководство Google по оптимизации для генеративных функций. Это утверждение касается Google Поиска; оно не определяет, как с файлом работает любой другой инструмент ИИ.
Поиск ИИ, обучение и запросы пользователей имеют разные правила
Учитывайте название и назначение краулера при принятии решения. Документация OpenAI о краулерах различает OAI-SearchBot для поиска и GPTBot для возможного обучения моделей.
Их настройки robots.txt независимы.
Правило robots.txt, выражающее просьбу к GPTBot не обходить сайт, выглядит так:
User-agent: GPTBot
Disallow: /
Оно адресовано GPTBot и не блокирует все взаимодействия с ИИ. OpenAI также указывает, что
правила robots.txt могут не применяться к запросам, инициированным пользователем через ChatGPT-User. Поэтому утверждение, что robots.txt блокирует любой доступ со стороны ИИ, было бы слишком
широким. Подробнее о трактовке таких правил читайте в материале о краулерах ИИ.
Как использовать оба файла вместе
Начните с нужного результата. Задавайте предпочтения по обходу в robots.txt, управляйте исключением из поиска через документированные средства поисковой системы, а закрытые материалы защищайте на сервере.
Добавляйте llms.txt, когда определён его потребитель или сценарий использования. Ограничьте список чтения до объёма, который сможете поддерживать, ссылайтесь на точную общедоступную документацию и проверяйте доступность файла и связанных ресурсов для целевого клиента. Наше руководство по созданию llms.txt описывает подготовку и размещение.
После изменения проверяйте фактические ответы сервера и поведение клиента. Проверка синтаксиса помогает оценить файл, но не доказывает, что внешний сервис использует его или что ответ верен. Валидатор llmtxt.info может стать отправной точкой такой проверки; обнаружение, получение и последующее использование по-прежнему требуют собственных доказательств.