Глоссарий
Краткие определения терминов, которые встретятся вам вокруг llms.txt, со ссылками на связанные материалы.
Последнее обновление:
Условия
- AEO, оптимизация под поисковые системы ответов
- Оптимизация контента, чтобы его выбирали и цитировали ИИ-ассистенты и поисковые системы ответов (Perplexity, ChatGPT, Claude). Сильно пересекается с GEO.
- Краулер
- Программа, которая загружает страницы из интернета. Поисковые краулеры (Googlebot, Bingbot) создают поисковые индексы. ИИ-краулеры (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot) собирают содержимое для обучения или заземления.
- GEO, оптимизация под генеративные системы
- Практика структурирования содержимого, чтобы генеративные системы точно ссылались на него и цитировали его. К приёмам относятся чистый Markdown, явные заголовки, структурированные данные и (да) llms.txt.
- Заземление
- Когда LLM основывает ответ на найденных источниках, а не на параметрической памяти. llms.txt — это подсказка для заземления: «если вы формируете ответы о нас на основе источников, отдавайте предпочтение этим страницам».
- llms.txt
- Карта ресурсов Markdown в корне сайта или по более конкретному пути для совместимых агентов. Предложена Джереми Ховардом (Answer.AI) в 09.2024, текущая версия предложения опубликована на llmstxt.org. Подробнее: llms.txt .
- llms-full.txt
- Смежное соглашение: один файл Markdown с фактическим содержимым релевантных страниц, объединённым в один текст. Предназначен для загрузки одним запросом. Популяризирован Mintlify совместно с Anthropic. Подробнее: llms-full.txt .
- MCP, протокол контекста модели
- Открытый протокол Anthropic для подключения LLM к инструментам и источникам данных. MCP сам по себе не требует поддержки llms.txt и не означает её наличия.
- Необязательно (раздел)
- Обычная метка H2 для второстепенных ссылок, таких как ресурсы бренда, архивы или пресса. Предложение 08.2026 не приписывает ей специальной машинной семантики.
- RAG, генерация с дополнением поиска
- Подход, при котором модель извлекает релевантные документы во время запроса и использует их как контекст. llms.txt и llms-full.txt — удобные входные данные для RAG конкретного сайта.
- REP, протокол исключения роботов
- Грамматика robots.txt (User-agent / Disallow / Allow / Sitemap). Стандартизирована как IETF RFC 9309 в 2022 году. По назначению и синтаксису отличается от llms.txt.
- robots.txt
- Текстовый файл по адресу /robots.txt, в котором публикуются правила сканирования для соблюдающих их клиентов. Это не контроль доступа. Его назначение и грамматика отличаются от llms.txt. Подробнее: robots.txt .
- Schema.org
- Словарь для разметки смысла отдельных страниц с помощью JSON-LD или микроданных (Product, Article, FAQ и т. д.). Обогащение каждой страницы, тогда как llms.txt — карта всего сайта.
- sitemap.xml
- XML-файл со списком всех URL, о которых должен знать поисковик, и метаданными (lastmod, priority). Ориентирован на полноту; llms.txt — на отбор. Подробнее: sitemap.xml .
- Статический сайт
- Сайт, страницы которого предварительно преобразуются в HTML/Markdown во время сборки и предоставляются как файлы. Astro, Eleventy, Hugo и Jekyll являются генераторами статических сайтов. llms.txt подходит для них естественным образом.
- Кратко
- «Слишком длинно; не читал». Краткое резюме в начале раздела. Подходит для цитаты в llms.txt.
- User-agent
- Строка, которую клиент отправляет для идентификации. ИИ-краулеры используют такие имена, как GPTBot, ClaudeBot, PerplexityBot, Google-Extended и OAI-SearchBot; это полезно при фильтрации журналов сервера.