- [ Главная ](/ru/) / - [ Блог ](/ru/blog/) / - В одном исследовании ИИ-боты не запрашивали отсутствующие файлы llms.txt # В одном исследовании ИИ-боты не запрашивали отсутствующие файлы `llms.txt` Журналы Ahrefs за 05.2026 содержат полезный отрицательный результат: боты ИИ не запрашивали отсутствующие файлы llms.txt в этой выборке. Если вы публикуете такой файл, вам всё равно нужен путь обнаружения. Последнее обновление: 12 августа 2026 г. На этой странице - [ Результат исследования ](#the-finding) - [ Почему это меняет задачу ](#why-it-matters) - [ Как направлять агентов к файлу ](#how-to-route) - [ Чего не следует заключать ](#what-not-to-conclude) ## Результат Ahrefs проанализировали журналы серверов 137,210 доменов, получавших трафик в 05.2026, а затем классифицировали каждый User-Agent, запросивший путь `/llms.txt`. Один результат заметно отличается от остальных, и это не самый очевидный результат. Они отдельно рассмотрели запросы, вернувшие **404** , то есть клиент запросил отсутствующий `llms.txt`. В выборке за 05.2026 доля таких запросов от идентифицированных AI-ботов составила **ноль** . На отсутствующие файлы пришлось 98% трафика людей, а на принятые файлы — 96% трафика ботов. Журналы не объясняют, почему каждый человек запрашивал URL. Иными словами, исследование не обнаружило AI-бота, проверяющего отсутствующий корневой файл. Это свидетельство о данной панели и данном месяце, а не доказательство того, что ни одна система никогда не выполняет обнаружение. Это переосмысливает главный вывод того же исследования: **97% примерно из 38,000 найденных ими корректных файлов llms.txt вообще не получили запросов** в течение месяца — ни от клиента, ни от бота, ни от человека. ## Почему это меняет задачу Большинство представляет неявную модель `robots.txt`: разместить файл в корне, и сканеры, применяющие протокол исключения роботов, знают его стандартное расположение. Этот протокол формализован в [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html), но остаётся соглашением для сканеров, а не средством контроля доступа. Для `llms.txt` это небезопасное предположение. Как изложено в материале [что на самом деле делает llms.txt](/ru/does-llms-txt-work/), соглашение было [предложено Джереми Ховардом из Answer.AI в 09.2024](https://www.answer.ai/posts/2024-09-03-llmstxt.html). [Спецификация v2](https://llmstxt.org/) определяет связи обнаружения и файлы для путей, но не обязывает каждый клиент загружать их. Ahrefs не обнаружили в своей выборке спекулятивных AI-запросов к отсутствующим корневым файлам. Таким образом, публикация файла — примерно половина работы, причём сама по себе эта половина не создаёт ни одного обращения. Вторая половина — сделать так, чтобы кто-то сообщил агенту о существовании файла. ## Как направить агентов к файлу Начните с механизмов обнаружения, определённых в v2, а затем добавьте видимые людям маршруты там, где они помогают: **Объявите связь.** На HTML-странице добавьте ` ` для применимого файла, а при наличии аналога в Markdown — ` `. Те же связи можно передать через заголовки HTTP `Link`. Файл в подпути может описывать этот раздел, причём применяется самый конкретный путь. **Сошлитесь на него из HTML.** Обычный ` ` в подвале или навигации документации помещает URL в обычный граф ссылок и даёт людям видимый запасной вариант. **Сошлитесь на него в документации.** Если у вашего продукта есть сайт документации, страница «для AI-ассистентов» или «для агентов» с явным указанием URL даёт кодирующему агенту то, с чем можно работать, когда разработчик спрашивает его о вашем API. Ahrefs обнаружили, что AI-агенты и агентная инфраструктура — крупнейшая категория AI, загружающая эти файлы: 10.5% запросов, намного больше, чем у AI-ботов извлечения — 1.1%. Claude-Code загружал их чаще каждого бота извлечения, каждого ассистента и каждого сканера обучения в их данных. Это инструменты, которым разработчик указывает URL. **Разместите его там, где находятся инструкции.** Везде, где пользователь или интеграция передаёт агенту контекст о вашем сайте, например в README, на странице онбординга или в описании MCP-сервера, указание URL `llms.txt` может превратить публикацию в обнаруживаемый маршрут. Ни для чего из этого не нужно менять сам файл. Если вы ещё не создавали его, материал [как создать llms.txt](/ru/how-to-create/) описывает формат и развёртывание для разных стеков, а [валидатор](/ru/validator/) проверяет его по спецификации. ## Чего не следует заключать Две честные оговорки, обе сформулированные самими Ahrefs. Их совокупность технически ориентирована и хорошо знакома с SEO, поскольку взята из собственных аналитических клиентов. Они называют показатель внедрения 28% **верхней границей** , а не показателем всего веба. Наша [панель внедрения](/ru/llms-txt-adoption/), отслеживающая фиксированный список заметных хостов, измеряет другую совокупность и не должна напрямую сравниваться с ней. И «загружен» не значит «прочитан». Запрос в журнале сервера доказывает, что клиент получил байты. Он ничего не доказывает о том, использовала ли их затем модель. Поэтому каждое число в этом исследовании — верхняя граница реального потребления, а не его оценка. Практический вывод сохраняется несмотря на обе оговорки. Если вы публикуете `llms.txt` без объявленной связи, ссылки или другого маршрута к нему, выборка Ahrefs не даёт оснований считать, что агент обнаружит его сам. Добавление сигнала обнаружения на основе стандарта — небольшое и проверяемое исправление. ## Источники - [ Ahrefs: мы проанализировали 137K сайтов: 97% файлов llms.txt никогда не читаются (06.2026) ](https://ahrefs.com/blog/llmstxt-study/) - [ Chrome for Developers, аудиты агентного просмотра Lighthouse: llms.txt ](https://developer.chrome.com/docs/lighthouse/agentic-browsing/llms-txt) - [ llmstxt.org, спецификация ](https://llmstxt.org/)