Как найти файл llms.txt на сайте

Найдите файл известного вам сайта или откройте сайты, публикующие llms.txt, с помощью каталогов и примеров. Ниже приведены шаги для конкретного сайта.

Последнее обновление:

Просматривать общедоступные каталоги

Чтобы находить сайты, уже публикующие llms.txt, каталоги сообщества поддерживают постоянно обновляемые списки: directory.llmstxt.cloud и llmstxt.site. Для размеченных и проверенных вручную примеров с пояснениями того, что делает каждый из них хорошим, см. примеры из реального мира.

Самый быстрый способ

Самый быстрый надёжный способ — проверить HTML страницы и HTTP Link заголовок для rel="describedby". Если связь не объявлена, попробуйте наиболее специфичный путь, содержащий страницу, а затем вернитесь к корню источника:

https://example.com/llms.txt

Если сайт публикует такой файл, он загружается в браузере как обычный текст. Если вы получаете 404, сайт не опубликовал его в корне (варианты обхода приведены ниже).

Пошагово

  1. Проверьте связи обнаружения. Просмотрите исходный код страницы и заголовки ответа для rel="describedby". Также отметьте любые rel="alternate" type="text/markdown", который обозначает Markdown-представление страницы, а не её карту.
  2. Попробуйте наиболее конкретный путь. Для https://example.com/docs/api/auth, проверьте https://example.com/docs/api/llms.txt и затем https://example.com/docs/llms.txt.
  3. Вернитесь к корню исходного сервера. Проверить https://example.com/llms.txt когда отсутствует объявленный файл или файл на уровне пути. Ответ 404 означает только отсутствие этого корневого файла.
  4. При необходимости просмотрите исходный код. Файл является Markdown и отдаётся как текст. Если браузер пытается отобразить его необычно, используйте «Просмотреть исходный код» или получите его с помощью curl -s https://example.com/llms.txt.

Если файла llms.txt нет

Ответ 404 по проверенному URL не исключает наличия файла в другом месте сайта. Если объявленный файл или файл на уровне пути не найден, варианты следующие:

  • Подтвердите связь обнаружения, кандидатов на уровне пути и корневого URL именно в таком порядке.
  • Проверьте поддомен или подпуть документации, если сайт насыщен документацией.
  • Если это ваш собственный сайт, создать файл можно за несколько минут: вставьте URL в наш генератор для создания черновика на основе вашей карты сайта или перехода по как создать файл llms.txt.

Проверьте найденное

Нашли файл и хотите узнать, правильно ли он сформирован? Вставьте его в наш валидатор для проверки по спецификации: обязательный H1, необязательное резюме, структура разделов и синтаксис ссылок. Он построчно отмечает ошибки и предупреждения.

FAQ

Где находится файл llms.txt? Обычно в корне источника, но v2 также допускает файл по любому пути, например https://yourdomain.com/docs/llms.txt.

Что такое llms-full.txt? Дополнительный файл с полным содержимым перечисленных страниц, объединённым в один Markdown-файл для загрузки. См. что такое llms-full.txt.

Есть ли такой файл у каждого сайта? Нет. Принятие растёт, но файл всё ещё необязателен; ответ 404 по одному URL не позволяет установить, существует ли файл в другом месте сайта.

Следующие шаги

Источники