Совместное исследование · Сентябрь 2026
Обнаружение файлов llms.txt: результаты анализа 2 000 доменов
Исследование с Firecrawl выявило 192 распознаваемых файла на 2 000 доменах и показывает, почему успешный HTTP-ответ всё равно требует проверки содержимого.
· llmtxt.info
Что измеряет исследование
Сайт может публиковать текстовый файл llms.txt, чтобы представить свои материалы и направить инструменты на основе языковых моделей к полезным страницам. Публикация файла не гарантирует, что система ИИ его обнаружит или использует.
Запрос к /llms.txt может завершиться успешно, не вернув ожидаемый файл. Это исследование совместно с Firecrawl рассматривает такое различие на 2 000 доменах, выбранных из Tranco, рейтинга популярности доменов, разработанного для исследований. Основные наблюдения собраны 2 сентября 2026 года.
Сочетание извлечения через Firecrawl и прямой HTTP-проверки позволило распознать 192 файла, или 9,60 % выборки, по проверяемому адресу каждого домена. Это измерение обнаружения файлов, а не их чтения системами ИИ или влияния на поисковую видимость и ответы. Все приведённые количества предоставлены исследовательским партнёром; источники и вклад сторон описаны в конце страницы.
Это отдельное исследование, не связанное с регулярными измерениями отобранной панели Обсерватории. Совокупность сайтов и правила распознавания различаются. Проценты двух исследований нельзя объединять или считать временной тенденцией.
Три результата для 2 000 доменов
Посмотреть значения графика в таблице
| Результат | Количество | Доля |
|---|---|---|
| Распознанные файлы | 192 | 9,60 % |
| Проверены, файл не распознан | 1 226 | 61,30 % |
| Непроверяемые адреса | 582 | 29,10 % |
На 192 доменах распознан файл. Ещё 1 226 адресов удалось проверить, но файл не был распознан: 965 вернули HTTP 404, означающий отсутствие ресурса, а 261 попал в другие категории.
Оставшиеся 582 адреса проверить не удалось. Блокировка или превышение времени ожидания не доказывают отсутствие файла. Поэтому все 1 808 доменов без распознанного файла нельзя считать подтверждёнными случаями его отсутствия.
Результат можно выразить двумя способами, явно указав основание расчёта:
| Основание расчёта | Распознанные файлы | Доля |
|---|---|---|
| Все домены выборки | 192 / 2 000 | 9,60 % |
| Только проверяемые адреса | 192 / 1 418 | 13,54 % |
Вторая доля выше, поскольку из расчёта исключены 582 недоступных адреса. Они могут систематически отличаться от доступных, а количество распознанных файлов остаётся прежним. Рассчитанные 95%-ные интервалы Уилсона составляют от 8,39 % до 10,97 % для всех 2 000 доменов и от 11,86 % до 15,42 % для 1 418 проверяемых адресов. Они описывают статистическую неопределённость в рамках биномиальной модели, но не учитывают ошибки классификации и смещения отбора или доступа. Это не оценка для всего интернета.
Почему ответа HTTP 200 недостаточно
Статус HTTP 200 означает, что сервер успешно ответил. Он не подтверждает, что содержимое является файлом llms.txt.
Среди 405 прямых ответов HTTP 200 в пилоте распознано 177 файлов. Остальные 228 ответов, или 56,30 %, относятся к четырём категориям. Эти числа касаются только прямой HTTP-проверки; общий результат в 192 файла объединяет оба метода.
Посмотреть значения графика в таблице
| Результат | Количество | Доля |
|---|---|---|
| Распознанные файлы | 177 | 43,70 % |
| Аномалии перенаправления | 154 | 38,02 % |
| Мягкие ошибки 404 | 60 | 14,81 % |
| Типовые HTML-оболочки | 7 | 1,73 % |
| Недопустимые форматы | 7 | 1,73 % |
- 154 аномалии перенаправления: конечный путь не соответствует правилу пилота об окончании на
.txt,.mdили.markdown. Это классификация адреса, а не самостоятельное доказательство неисправности конечной страницы. - 60 мягких ошибок 404: страницы ошибок со статусом успешного ответа.
- 7 типовых HTML-оболочек приложений: ответ приложения вместо ожидаемого текстового файла.
- 7 недопустимых форматов: отдельная категория нераспознанного содержимого.
Эти категории требуют разных проверок. Изучение конечного адреса, содержимого и структуры ответа полезнее простого подсчёта кодов успеха. Проценты на графике округлены независимо.
Что даёт сравнение двух методов
Посмотреть значения графика в таблице
| Результат | Количество | Доля |
|---|---|---|
| Оба источника | 176 | 91,67 % |
| Только Firecrawl | 15 | 7,81 % |
| Только прямой HTTP | 1 | 0,52 % |
Из 192 файлов 176 распознаны обоими источниками, 15 только Firecrawl и один только прямой HTTP-проверкой. Основание этого графика, 192 файла, а не 2 000 доменов первого графика и не 405 ответов графика HTTP.
Из 16 файлов, распознанных лишь одним источником, 15 связаны с блокировкой или недоступностью адреса для другого источника. Это не противоположные трактовки одного содержимого: у одного метода нет ответа для оценки. В оставшемся случае Firecrawl распознаёт файл, а прямая HTTP-проверка классифицирует свой ответ как мягкую ошибку 404; в пилоте этот случай рассмотрен вручную.
Предельное время ожидания составляло 30 секунд для Firecrawl и 10 секунд для прямого HTTP. Это известное ограничение применённого метода. Его влияние не установлено ни в одном направлении. Firecrawl сообщает, что планируется повторная проверка с одинаковым временем ожидания.
Что проверить на своём сайте
Используйте результаты как руководство для собственных проверок. Следующие действия, практические рекомендации, а не измеренные эффекты пилота.
Адрес возвращает HTTP 200
Прочитайте тело ответа: содержит ли оно ожидаемый текстовый или Markdown-файл, оболочку приложения или сообщение об ошибке? Затем изучите заголовки и ссылки, чтобы оценить сам файл.
Запрос перенаправляется
Проверьте конечный адрес и возвращаемое содержимое. Правило расширений в пилоте служит обнаружению файлов, а не универсальной проверке полезности перенаправления или работоспособности страницы.
Запрос заблокирован или превышает время ожидания
Отделяйте такой результат от «файл отсутствует». Запишите ошибку доступа и при необходимости повторите проверку. Позднейший ответ может прояснить доступность, но не восстанавливает историческое состояние сайта.
Файл распознан
Проверьте полезность и точность содержимого и ссылок. Обнаружение файла не доказывает его использование агентом. Утверждения о цитировании, поисковой видимости и качестве ответов требуют отдельных измерений.
Получите публичный файл для изучения ответа или проверьте уже имеющийся текст. Инструменты сайта выполняют собственные проверки, а не повторяют исторический пилот. Подробнее о различии между публикацией и использованием: Публикация не означает использование.
Метод и ограничения
Выборка сформирована детерминированно из списка Tranco с миллионом доменов. Те же правила для того же списка воспроизводят отбор. Каждый запрос обращается к точному выбранному хосту по HTTPS по пути /llms.txt. Дополнительный поиск вариантов www, HTTP, поддоменов документации или других путей не выполняется.
Для распознавания нужен успешный текстовый или Markdown-ответ, не HTML, хотя бы с одним заголовком H1 вне блока кода. В Markdown H1, заголовок верхнего уровня вида # Заголовок; блок кода отображает пример кода или буквальный текст. Это критерий обнаружения в исследовании, а не полная сертификация формата.
Исходный детектор мог принять H1 внутри блока кода за заголовок файла. Firecrawl повторно проверил соответствующую логику и подтвердил, что ни один из 192 распознанных файлов не был затронут. По данным Firecrawl, 189 файлов удалось проверить по сохранённым данным. Остальные три получили повторно, подтвердили контрольными суммами их побайтовую идентичность ответам от 2 сентября и переклассифицировали без изменения результатов. По данным Firecrawl, отдельный случай текстовой страницы ошибки, начинавшейся с # Page not found, также не затронул положительные результаты.
Пилот также фиксирует H1 в начале 174 из 192 файлов (90,63 %). Структурные показатели основаны на извлечённом Firecrawl представлении для 191 файла и прямом HTTP-содержимом для одного. Они не измеряют качество содержимого или полезность для агента.
Разное время ожидания не позволяет утверждать превосходство одного инструмента. Наблюдения также не устанавливают определённого влияния на поисковую видимость, цитирование или качество ответов. Эти вопросы требуют других измерений и могут стать основой будущих отчётов.
Источники и вклад сторон
Результаты пилота llms.txt на 2 000 доменах, сентябрь 2026 года, предоставлены Firecrawl. Основные наблюдения от 2 сентября. Firecrawl выступает исследовательским партнёром и предоставляет количества, классификации и сведения об их проверке, включая подтверждение от 16 сентября 2026 года. llmtxt.info отвечает за анализ и интерпретацию, включая рассчитанные доли. Указание партнёра не означает одобрения Firecrawl каждой формулировки.
На странице представлены результаты и метод расчёта. Подробные наблюдения хранятся в рамках партнёрства и не публикуются; по этой публикации нельзя проверить каждую классификацию отдельно.
- Tranco: рейтинг доменов для исследований. Ссылка поясняет основу отбора, а не ведёт к набору данных пилота.
Вопросы по результатам можно направить через страницу исправлений.
Как цитировать исследование: llmtxt.info, Обнаружение файлов llms.txt: результаты анализа 2 000 доменов. Исследовательский партнёр: Firecrawl. Наблюдения: 2 сентября 2026 года. При цитировании чисел сохраняйте основание расчёта и ограничения классификации.