Проверка ссылок llms.txt: протестировано 294 URL

Одного корректного списка Markdown недостаточно. Если связанные страницы не отвечают вовремя, неожиданно перенаправляют или возвращают ошибки, файл перестаёт быть надёжным маршрутом по сайту. В нашей базовой проверке были доступны 286 из 294 URL выборки, то есть наблюдаемый показатель успеха за этот запуск составил 97.3%.

Ключевые выводы

• 286 из 294 URL выборки были доступны 12 08.2026.
• Доступность не равна релевантности, актуальности или использованию агентом.
• Внешние сбои следует повторно проверять до того, как они заблокируют выпуск.

Насколько надёжными были проверенные ссылки?

Исследовательское сканирование v2 выбрало до трёх ссылок списка из каждого из 113 корневых ответов, соответствовавших правилу отбора ответов с H1 в начале. Было запрошено 294 URL, успешный ответ получен от 286. Восемь URL оказались недоступны в условиях теста.

Это выборка, а не полный аудит каждой перечисленной ссылки. Медианный проверенный файл содержит 76 ссылок списка, поэтому проверка трёх ссылок на файл даёт широту по хостам, а не исчерпывающую глубину внутри одной большой карты.

Что измеряет тест доступности

Скрипт следует перенаправлениям, применяет тайм-аут в семь секунд и записывает, был ли конечный ответ успешным. Он не выполняет вход, не запускает браузерную сессию, не оценивает качество текста и не утверждает, что назначение соответствует описанию ссылки.

Даже успешный ответ может скрывать мягкую ошибку 404 или общую оболочку приложения. Сбой может быть временным, вызванным ограничением частоты, географическим ограничением или защитой от ботов. Поэтому результат публикуется как наблюдение с датой и методикой.

Используйте проверенный каталог как фиксированный набор входных данных, а валидатор — для синтаксиса файла. Ни то ни другое не заменяет проверку человеком важных назначений.

Безопасная политика проверки ссылок для CI

Проверяйте внутренние ссылки при каждой сборке, поскольку вы контролируете оба конца. Для внешних ссылок запускайте плановую задачу, повторяйте неудачные проверки и считайте убедительным свидетельством удаления только устойчивые ответы 404 или 410. Не делайте каждую публикацию в продакшен зависимым от сотен сторонних хостов.

Записывайте исходный URL, конечный URL, статус и временную метку. Цепочки перенаправлений отмечайте отдельно от ошибок. Когда каноническая страница перемещается, обновляйте файл, а не полагайтесь на перенаправление бесконечно.

Для больших файлов при каждом запуске отбирайте выборку и меняйте её состав либо реже выполняйте полное сканирование. В руководстве по лучшим практикам объясняется, почему меньший отобранный список часто дешевле в сопровождении.

Ограничения результата HTTP

HTTP 200 означает, что сервер ответил. Это не значит, что страница актуальна, полна, безопасна или полезна агенту. И наоборот, один тайм-аут не доказывает неработоспособность ссылки. Сохраняйте необработанный результат достаточно долго, чтобы сравнить повторные запуски до автоматического удаления записи.

Бенчмарк также ничего не говорит о позициях Google. Гигиена ссылок повышает надёжность файла для клиентов, которые его читают; Поиск использует собственные системы сканирования и ранжирования.

Изучите как работает llms.txt и согласуйте область с руководством по миграции v2.

Должна ли одна сломанная внешняя ссылка блокировать выпуск?

Обычно нет. Повторите проверку по расписанию и считайте её неудачной только по контролируемому вами правилу, например при устойчивых ответах 404 или 410.

Недействительны ли перенаправления в llms.txt?

Нет, но прямые канонические назначения уменьшают задержку и неоднозначность. Обновляйте стабильные перенаправления при сопровождении.

Как часто следует проверять ссылки?

Сопоставляйте частоту проверок с темпом изменений содержимого. Еженедельные проверки подходят для активного каталога, а стабильной документации может быть достаточно полного сканирования реже.