llms.txt-Verbreitung: wer setzt sie ein?

Überblick

Seit Jeremy Howard llms.txt im September 2024 bei Answer.AI vorgeschlagen hat, ist aus einer Handvoll früher Experimente eine Konvention geworden, die viele der bekanntesten Unternehmen mit Entwicklerpublikum ausliefern. Beschleunigt hat sich das 2025, als Plattformen für Dokumentations-Hosting die automatische Generierung ergänzten.

Das deutlichste Erfolgssignal für ein Format ist, wenn die Infrastruktur es übernimmt: Eine Plattform bedient Tausende Sites auf einmal, ohne dass einzelne Teams etwas tun müssen.

Gemessene Verbreitung (unser Tracker)

Behauptungen wie „Zehntausende Sites nutzen llms.txt“ kursieren ohne Quelle. Also messen wir selbst: ein festes Panel aus 219 bekannten Hosts über acht Branchen, jede Woche von einem automatischen Checker abgerufen und geparst. Letzter Lauf: 2026-10-05.

Methodik

Das Panel ist eine feste, kuratierte Liste von 219 Hosts (veröffentlicht unter /adoption-panel.json); die Zusammensetzung ändert sich zwischen zwei Läufen nur durch eine dokumentierte Ergänzung. Für jeden Host fragt der Checker https://<host>/llms.txt ab, folgt Weiterleitungen und wertet den Host nur dann als ausliefernd, wenn die Antwort HTTP 200 ist, aus Klartext besteht (keine HTML-App-Hülle) und mit einem gültigen Markdown-H1 beginnt. Nicht erreichbare Hosts (2 im letzten Lauf) fallen aus der Basis heraus. Rohdaten: /adoption-stats.json. Die 125 positiven Einträge stehen im verifizierten Verzeichnis.

Grenzen: Das Panel neigt zu Unternehmen mit Entwicklerpublikum (dort konzentriert sich die Verbreitung, und dort nützt die Datei am meisten). Die Kennzahl ist deshalb keine Aussage über das gesamte Web, sondern über eine verfolgte Kohorte, vergleichbar von Lauf zu Lauf.

Dokumentationsplattformen

Die grössten Verstärker der Verbreitung sind Plattformen für Dokumentations-Hosting, die die Datei für jedes Projekt automatisch erzeugen:

• Mintlify dokumentiert die automatische Bereitstellung von llms.txt und llms-full.txt auf unterstützten Dokumentationsprojekten.
• GitBook, ergänzte die automatische Generierung 2025. GitBook hostet die Dokumentation hunderter Tech-Unternehmen, die die Datei nun alle automatisch ausliefern.
• Read the Docs, die weit verbreitete Open-Source-Plattform für Dokumentations-Hosting unterstützt llms.txt und deckt damit einen grossen Teil des Python-Ökosystems ab.
• Docusaurus (Meta), ein verbreitetes Plugin erzeugt llms.txt für Docusaurus-Sites. Viele der grössten Open-Source-Dokumentationen (React, Babel, Jest …) setzen auf Docusaurus.
• VitePress / VuePress, Community-Plugins ergänzen die llms.txt-Generierung für diese statischen Generatoren, die im Vue.js-Ökosystem verbreitet sind.

Unternehmen und Projekte

Bemerkenswerte frühe Anwender aus Developer-Tooling, KI und Infrastruktur:

• Anthropic, anthropic.com/llms.txt und docs.anthropic.com/llms.txt bieten strukturierten Zugang zur Claude-Dokumentation.
• Cloudflare, Entwicklerdokumentation unter developers.cloudflare.com/llms.txt mit vollständigem Index zu Workers, Pages und AI Gateway.
• Vercel, vercel.com/docs/llms.txt liefert einen Index der Plattformdokumentation für KI-Coding-Assistenten.
• Supabase, supabase.com/docs/llms.txt mit Datenbank, Auth, Storage und Edge Functions.
• PlanetScale, Neon, Turso, Database-as-a-Service-Anbieter mit KI-Publikum haben früh übernommen.
• FastAPI, Pydantic, Ruff, führende Projekte des Python-Ökosystems liefern llms.txt aus, damit KI-Assistenten ihre APIs besser verstehen.
• Tailwind CSS, tailwindcss.com/llms.txt hilft KI-Coding-Assistenten bei korrekten Klassenvorschlägen.

Was auf Empfängerseite belegt ist

Vier Belegklassen dürfen nicht vermischt werden:

• Dokumentierte Anbieterfunktion: Der Anbieter beschreibt ausdrücklich, ob und wie sein Produkt llms.txt verarbeitet.
• Nutzerausgelöste Konfiguration: Ein Agent oder eine Retrieval-Pipeline kann auf die Datei oder ihre Links gesetzt werden. Das beweist nur diesen konfigurierten Ablauf.
• Community-Integration: Ein Loader oder Reader in einem Ökosystem ist nicht automatisch eine native Funktion des Hauptprodukts.
• Unbestätigt: Eine veröffentlichte Datei oder ein Bot-Abruf beweist weder Parsing, Priorisierung noch Nutzung in einer Antwort.

Warum die Verbreitung zunimmt

Drei Faktoren treiben das:

1. Plattform-Multiplikatoren: Automatische Generierung kann viele gehostete Sites technisch zur Veröffentlichung befähigen. Der Tracker misst die tatsächlich erreichbaren Dateien.
2. Bedarf an portabler Dokumentation: Eine kurze, stabile Leseliste kann in ausdrücklich konfigurierten Entwicklungs- und Retrieval-Workflows praktisch sein.
3. Niedrige technische Hürde, laufende Pflege: Die Datei ist einfach auszuliefern, muss aber aktuell gehalten und gegen den vorgesehenen Client getestet werden.

Ob eine Site eine llms.txt hat, sehen Sie über https://<domain>/llms.txt oder indem Sie die Datei durch den Validator schicken.

Verwandte Seiten

• Beispiele aus der Praxis, das verifizierte Verzeichnis.
• llms.txt erstellen, in wenigen Minuten auf Ihrer Site.
• Validator · Generator.