В одном исследовании ИИ-боты не запрашивали отсутствующие файлы llms.txt

Результат

Ahrefs проанализировали журналы серверов 137,210 доменов, получавших трафик в 05.2026, а затем классифицировали каждый User-Agent, запросивший путь /llms.txt. Один результат заметно отличается от остальных, и это не самый очевидный результат.

Они отдельно рассмотрели запросы, вернувшие 404 , то есть клиент запросил отсутствующий llms.txt. В выборке за 05.2026 доля таких запросов от идентифицированных AI-ботов составила ноль . На отсутствующие файлы пришлось 98% трафика людей, а на принятые файлы — 96% трафика ботов. Журналы не объясняют, почему каждый человек запрашивал URL.

Иными словами, исследование не обнаружило AI-бота, проверяющего отсутствующий корневой файл. Это свидетельство о данной панели и данном месяце, а не доказательство того, что ни одна система никогда не выполняет обнаружение.

Это переосмысливает главный вывод того же исследования: 97% примерно из 38,000 найденных ими корректных файлов llms.txt вообще не получили запросов в течение месяца — ни от клиента, ни от бота, ни от человека.

Почему это меняет задачу

Большинство представляет неявную модель robots.txt: разместить файл в корне, и сканеры, применяющие протокол исключения роботов, знают его стандартное расположение. Этот протокол формализован в RFC 9309, но остаётся соглашением для сканеров, а не средством контроля доступа.

Для llms.txt это небезопасное предположение. Как изложено в материале что на самом деле делает llms.txt, соглашение было предложено Джереми Ховардом из Answer.AI в 09.2024. Спецификация v2 определяет связи обнаружения и файлы для путей, но не обязывает каждый клиент загружать их. Ahrefs не обнаружили в своей выборке спекулятивных AI-запросов к отсутствующим корневым файлам.

Таким образом, публикация файла — примерно половина работы, причём сама по себе эта половина не создаёт ни одного обращения. Вторая половина — сделать так, чтобы кто-то сообщил агенту о существовании файла.

Как направить агентов к файлу

Начните с механизмов обнаружения, определённых в v2, а затем добавьте видимые людям маршруты там, где они помогают:

Объявите связь. На HTML-странице добавьте <link rel="describedby" href="/llms.txt"> для применимого файла, а при наличии аналога в Markdown — <link rel="alternate" type="text/markdown" href="...">. Те же связи можно передать через заголовки HTTP Link. Файл в подпути может описывать этот раздел, причём применяется самый конкретный путь.

Сошлитесь на него из HTML. Обычный <a href="/llms.txt"> в подвале или навигации документации помещает URL в обычный граф ссылок и даёт людям видимый запасной вариант.

Сошлитесь на него в документации. Если у вашего продукта есть сайт документации, страница «для AI-ассистентов» или «для агентов» с явным указанием URL даёт кодирующему агенту то, с чем можно работать, когда разработчик спрашивает его о вашем API. Ahrefs обнаружили, что AI-агенты и агентная инфраструктура — крупнейшая категория AI, загружающая эти файлы: 10.5% запросов, намного больше, чем у AI-ботов извлечения — 1.1%. Claude-Code загружал их чаще каждого бота извлечения, каждого ассистента и каждого сканера обучения в их данных. Это инструменты, которым разработчик указывает URL.

Разместите его там, где находятся инструкции. Везде, где пользователь или интеграция передаёт агенту контекст о вашем сайте, например в README, на странице онбординга или в описании MCP-сервера, указание URL llms.txt может превратить публикацию в обнаруживаемый маршрут.

Ни для чего из этого не нужно менять сам файл. Если вы ещё не создавали его, материал как создать llms.txt описывает формат и развёртывание для разных стеков, а валидатор проверяет его по спецификации.

Чего не следует заключать

Две честные оговорки, обе сформулированные самими Ahrefs.

Их совокупность технически ориентирована и хорошо знакома с SEO, поскольку взята из собственных аналитических клиентов. Они называют показатель внедрения 28% верхней границей , а не показателем всего веба. Наша панель внедрения, отслеживающая фиксированный список заметных хостов, измеряет другую совокупность и не должна напрямую сравниваться с ней.

И «загружен» не значит «прочитан». Запрос в журнале сервера доказывает, что клиент получил байты. Он ничего не доказывает о том, использовала ли их затем модель. Поэтому каждое число в этом исследовании — верхняя граница реального потребления, а не его оценка.

Практический вывод сохраняется несмотря на обе оговорки. Если вы публикуете llms.txt без объявленной связи, ссылки или другого маршрута к нему, выборка Ahrefs не даёт оснований считать, что агент обнаружит его сам. Добавление сигнала обнаружения на основе стандарта — небольшое и проверяемое исправление.