Кто получает llms.txt? Агенты, а не роботы поиска ИИ
Многие файлы llms.txt публикуются в надежде попасть в ответы ChatGPT или Perplexity. Измеренные запросы указывают на другое, и это меняет состав файла.
Последнее обновление:
Измеренная разбивка
Ahrefs классифицировали каждый User-Agent, запросивший /llms.txt в 137,210 доменах в течение 05.2026, разделив их на двенадцать категорий. Лишь 3% из примерно 38,000 принятых файлов получили хотя бы один запрос — около 1,100 файлов в этой технической панели. Приведённая ниже разбивка описывает эти запросы, а не всю совокупность и не то, что в итоге использовала модель.
Над каждой отдельной AI-категорией находятся четыре категории:
| Категория | Доля запросов | | ––––––––––– | ––––––– | | Инструменты SEO-аудита | 21.7% | | Прочие и неидентифицированные | 14.9% | | Общие веб-сканеры | 13.1% | | Инструменты профилирования технологий | 11.6% |
В совокупности именованные AI-боты составляют 19.5% . Если разделить их по назначению, картина становится значительно яснее:
| Тип AI-бота | Доля | | ———————————— | —– | | AI-агенты и агентная инфраструктура | 10.5% | | Сканеры обучения AI | 5.3% | | AI-ассистенты | 2.5% | | AI-боты извлечения | 1.1% |
Ещё 12% приходится на отрасль, изучающую соглашение, а не потребляющую его: инструменты оценки GEO и AEO — 5.8%, специализированные сканеры и каталоги llms.txt — 3.6%, исследовательские сканеры — 2.7%.
Один пример помогает понять масштаб: Slackbot, бот предварительного просмотра ссылок, загружал файлы llms.txt чаще, чем PerplexityBot.
Агенты лидируют среди измеренных AI-загрузок
Последняя строка второй таблицы заслуживает внимания. AI-боты извлечения — сканеры, загружающие страницы для ответа на текущий запрос пользователя в AI-поиске, например OAI-SearchBot и PerplexityBot, — выполнили 1.1% всех измеренных запросов . Ahrefs сообщают, что OAI-SearchBot, PerplexityBot и поисковый сканер Claude вместе выполнили лишь несколько сотен загрузок.
Тем временем AI-агенты и обслуживающая их инфраструктура составили 10.5%, а Claude-Code загружал данные чаще каждого бота извлечения, каждого ассистента и каждого сканера обучения в наборе данных.
Это согласуется с высказываниями Google, а не противоречит им. Как мы рассказываем в материале использует ли Google llms.txt, публичная позиция Джона Мюллера такова: ни один AI-сервис не заявлял, что использует файл, и он сравнил его с метатегом keywords — с заявлением владельца сайта о самом себе, которое система может дешевле проверить, просто прочитав сайт.
Сканеры обучения — вторая AI-категория с 5.3%; они загружают llms.txt почти в пять раз чаще, чем боты извлечения. Если файл на что-то влияет, данные указывают на этап формирования корпуса, а не на момент составления ответа.
Что это означает для написания текста
Если предполагаемый потребитель — кодирующий агент, работающий от имени разработчика, многие обычные инстинкты ошибочны.
Маркетинговые страницы — неправильные записи. Агенту, которому задан вопрос «как пройти аутентификацию в этом API», нужны справочная страница, коды ошибок и рабочий пример. Страница с ценами ему не поможет. Наши лучшие практики формулируют общий случай, а данные о читателях делают его конкретным.
Структура важнее широты. Спецификация задаёт отобранный индекс, а не карту сайта. Файл с сорока страницами ничего не экономит агенту, поскольку ему всё равно приходится выбирать. Двенадцать хорошо описанных записей решают задачу.
Сигнал несут описания. Описание каждой ссылки — единственное, что агент видит, прежде чем решить, стоит ли тратить загрузку. «Справочник API» почти бесполезен. «REST-конечные точки, заголовки аутентификации, ограничения частоты и коды ошибок» — это решение о маршрутизации.
Рассмотрите llms-full.txt, если документация — это продукт. Если главная цель — передать агенту содержимое, а не карту, для этого существует дополнительный файл; см. что такое llms-full.txt.
И согласно выводу, разобранному в материале ни один AI-агент не ищет ваш llms.txt, всё это не имеет значения, пока кто-то не сообщит агенту о существовании файла.
Каждое приведённое здесь число — верхняя граница
Ahrefs прямо говорят об этом, и это стоит повторить, а не прятать: запрос в журнале доказывает, что клиент получил байты. Он ничего не доказывает о том, прочитала ли их модель, использовала или отбросила. Поэтому их доля AI в 19.5% — максимально благоприятное толкование потребления AI, а не его оценка.
Их совокупность также технически смещена, поскольку сформирована из собственных аналитических клиентов, поэтому показатель внедрения 28% они представляют как верхнюю границу. Наша панель внедрения измеряет совсем другую совокупность и несопоставима с ней.