Partnerstudie · September 2026
llms.txt-Dateien erkennen: Ergebnisse einer Analyse von 2.000 Domains
Diese Studie mit Firecrawl erkannte 192 Dateien auf 2.000 Domains und untersucht, warum selbst eine erfolgreiche HTTP-Antwort eine Inhaltsprüfung erfordert.
· llmtxt.info
Was die Studie misst
Eine Website kann eine Textdatei llms.txt veröffentlichen, die ihre Inhalte vorstellt und Werkzeuge für Sprachmodelle auf nützliche Seiten verweist. Die Veröffentlichung garantiert jedoch nicht, dass ein KI-System die Datei findet oder verwendet.
Eine Anfrage an /llms.txt kann erfolgreich sein, ohne die erwartete Datei zurückzugeben. Diese Studie mit Firecrawl untersucht diesen Unterschied anhand von 2.000 aus Tranco ausgewählten Domains. Tranco ist eine Rangliste zur Popularität von Domains, die für Forschungszwecke entwickelt wurde. Die wichtigsten Beobachtungen stammen vom 2. September 2026.
Die Kombination einer Firecrawl-Extraktion mit einer direkten HTTP-Prüfung ergab 192 erkannte Dateien, also 9,60 % der Stichprobe, an der jeweils geprüften Adresse. Gemessen wird die Erkennung von Dateien, nicht ihre Nutzung durch KI-Systeme oder ihre Wirkung auf Suchsichtbarkeit und Antworten. Alle nachstehenden Fallzahlen stammen vom Forschungspartner; die jeweiligen Beiträge werden im Abschnitt Quellen und Beiträge erläutert.
Die Studie ist vom regelmäßig untersuchten, kuratierten Panel des Observatoriums getrennt. Grundgesamtheit und Erkennungsregeln unterscheiden sich. Die Prozentwerte dürfen weder zusammengeführt noch als Zeitreihe interpretiert werden.
Drei Ergebnisse für 2.000 Domains
Diagrammwerte als Tabelle lesen
| Ergebnis | Anzahl | Anteil |
|---|---|---|
| Erkannte Dateien | 192 | 9,60 % |
| Prüfbar, keine Datei erkannt | 1.226 | 61,30 % |
| Nicht prüfbare Adressen | 582 | 29,10 % |
Bei 192 Domains wurde eine Datei erkannt. Weitere 1.226 Adressen konnten geprüft werden, ohne dass eine Datei erkannt wurde: 965 lieferten HTTP 404, also „Ressource nicht gefunden“, und 261 entfielen auf andere Kategorien.
Die übrigen 582 Adressen waren nicht prüfbar. Eine Blockierung oder Zeitüberschreitung beweist nicht, dass eine Datei fehlt. Die 1.808 Domains ohne erkannte Datei sind deshalb nicht durchweg bestätigte Fälle fehlender Dateien.
Zwei Angaben sind sinnvoll, sofern ihre Berechnungsgrundlage ausdrücklich genannt wird:
| Berechnungsgrundlage | Erkannte Dateien | Anteil |
|---|---|---|
| Alle ausgewählten Domains | 192 / 2.000 | 9,60 % |
| Nur prüfbare Adressen | 192 / 1.418 | 13,54 % |
Der zweite Anteil ist höher, weil die 582 nicht erreichbaren Adressen aus der Berechnung ausgeschlossen werden. Sie können sich systematisch von den erreichbaren Adressen unterscheiden; die Zahl erkannter Dateien bleibt gleich. Die berechneten 95-%-Wilson-Intervalle betragen 8,39 % bis 10,97 % für alle 2.000 Domains und 11,86 % bis 15,42 % für die 1.418 prüfbaren Adressen. Sie beschreiben statistische Unsicherheit unter einem Binomialmodell, berücksichtigen aber weder Klassifikationsfehler noch Auswahl- und Zugangsverzerrungen. Sie sind keine Schätzung für das gesamte Web.
Warum HTTP 200 nicht ausreicht
Der Status HTTP 200 bedeutet, dass der Server erfolgreich geantwortet hat. Er weist den Inhalt nicht als llms.txt-Datei aus.
Unter 405 direkten HTTP-200-Antworten erkennt der Pilot 177 Dateien. Die übrigen 228 Antworten, also 56,30 %, verteilen sich auf vier Kategorien. Diese Zahlen beziehen sich nur auf die direkte HTTP-Prüfung; die insgesamt 192 Dateien ergeben sich aus beiden Methoden.
Diagrammwerte als Tabelle lesen
| Ergebnis | Anzahl | Anteil |
|---|---|---|
| Erkannte Dateien | 177 | 43,70 % |
| Weiterleitungsauffälligkeiten | 154 | 38,02 % |
| Soft 404 | 60 | 14,81 % |
| Generische HTML-Anwendungshüllen | 7 | 1,73 % |
| Ungültige Formate | 7 | 1,73 % |
- 154 Weiterleitungsauffälligkeiten: Der Zielpfad erfüllt nicht die Pilotregel einer Endung auf
.txt,.mdoder.markdown. Das klassifiziert die Adresse, beweist allein aber keinen Defekt des Ziels. - 60 Soft-404-Antworten: Fehlerseiten mit einem Erfolgsstatus.
- 7 generische HTML-Anwendungshüllen: eine Anwendungsantwort statt der erwarteten Textdatei.
- 7 ungültige Formate: eine eigene Kategorie nicht erkannter Inhalte.
Diese Kategorien erfordern unterschiedliche Untersuchungen. Zieladresse, Antwortinhalt und Struktur zu prüfen, ist aussagekräftiger, als nur Erfolgscodes zu zählen. Die Prozentwerte im Diagramm wurden einzeln gerundet.
Was der Vergleich der Methoden zeigt
Diagrammwerte als Tabelle lesen
| Ergebnis | Anzahl | Anteil |
|---|---|---|
| Beide Quellen | 176 | 91,67 % |
| Nur Firecrawl | 15 | 7,81 % |
| Nur direktes HTTP | 1 | 0,52 % |
Von den 192 Dateien werden 176 von beiden Quellen erkannt, 15 nur von Firecrawl und eine nur über direktes HTTP. Die Grundlage dieses Diagramms sind 192 Dateien, nicht die 2.000 Domains des ersten Diagramms oder die 405 Antworten des HTTP-Diagramms.
Von den 16 nur durch eine Quelle erkannten Dateien betreffen 15 einen blockierten oder nicht erreichbaren Zugang für die andere Quelle. Es handelt sich nicht um widersprüchliche Auslegungen desselben Inhalts: Einer Methode fehlt eine auswertbare Antwort. Im verbleibenden Fall erkennt Firecrawl eine Datei, während die direkte HTTP-Prüfung ihre Antwort als Soft 404 einstuft; dieser Fall wurde im Piloten manuell beurteilt.
Die Zeitlimits betrugen 30 Sekunden für Firecrawl und 10 Sekunden für direktes HTTP. Diese Asymmetrie ist eine bekannte Einschränkung der eingesetzten Methode. Ihre Wirkung wurde in keiner Richtung nachgewiesen. Firecrawl gibt an, dass eine Wiederholung mit identischen Zeitlimits geplant ist.
Was Sie auf Ihrer Website prüfen können
Nutzen Sie die Ergebnisse als Orientierung für eigene Prüfungen. Die folgenden Schritte sind praktische Empfehlungen, keine gemessenen Wirkungen des Piloten.
Die Adresse liefert HTTP 200
Prüfen Sie den Antwortinhalt: Ist es die erwartete Text- oder Markdown-Datei, eine Anwendungshülle oder eine Fehlermeldung? Untersuchen Sie anschließend Überschriften und Links, um die Datei selbst zu beurteilen.
Die Anfrage wird weitergeleitet
Prüfen Sie die endgültige Adresse und deren Inhalt. Die Dateiendungsregel des Piloten dient der Erkennung. Sie ist kein allgemeiner Test dafür, ob eine Weiterleitung sinnvoll ist oder eine Seite funktioniert.
Die Anfrage wird blockiert oder überschreitet das Zeitlimit
Trennen Sie dieses Ergebnis von „Datei fehlt“. Dokumentieren Sie den Zugriffsfehler und wiederholen Sie die Prüfung, wenn dies sinnvoll ist. Eine spätere Antwort kann die Erreichbarkeit klären, rekonstruiert aber nicht den historischen Zustand.
Die Datei wird erkannt
Prüfen Sie Inhalt und Links auf Nutzen und Richtigkeit. Die Erkennung allein belegt keine Nutzung durch einen Agenten. Aussagen zu Zitierungen, Suchsichtbarkeit und Antwortqualität benötigen eigene Messungen.
Rufen Sie eine öffentliche Datei ab (Tool auf Englisch), um ihre Antwort zu prüfen, oder validieren Sie einen vorhandenen Text. Diese Werkzeuge führen eigene Prüfungen durch; sie wiederholen den historischen Piloten nicht. Die Unterscheidung zwischen Veröffentlichung und Nutzung erläutert Adoption is not usage (auf Englisch).
Methode und Einschränkungen
Die Stichprobe wurde deterministisch aus einer Tranco-Liste mit einer Million Domains ausgewählt. Dieselben Regeln auf dieselbe Liste angewandt reproduzieren die Auswahl. Jede Anfrage prüft genau den ausgewählten Host über HTTPS unter /llms.txt. Zusätzliche Suchen nach www-Varianten, HTTP, Dokumentations-Subdomains oder anderen Pfaden finden nicht statt.
Als erkannt gilt eine erfolgreiche Text- oder Markdown-Antwort, kein HTML, mit mindestens einer H1-Überschrift außerhalb eines Codeblocks. In Markdown ist eine H1 eine Hauptüberschrift wie # Überschrift; ein Codeblock zeigt ein Codebeispiel oder wörtlichen Text an. Das ist das Erkennungskriterium der Studie, keine vollständige Formatprüfung.
Der ursprüngliche Detektor konnte eine H1 in einem Codeblock als Dateiüberschrift zählen. Firecrawl hat die betroffene Logik erneut geprüft und bestätigt, dass keine der 192 erkannten Dateien betroffen war. Nach Angaben von Firecrawl ließen sich 189 Dateien anhand gespeicherter Daten überprüfen. Die übrigen drei wurden erneut abgerufen, per Prüfsumme als byteidentisch mit den Antworten vom 2. September bestätigt und ohne Ergebnisänderung neu klassifiziert. Auch der separate Fehlerseitenfall mit # Page not found betraf laut Firecrawl keines der positiven Ergebnisse.
Der Pilot erfasst außerdem eine H1 am Anfang in 174 der 192 Dateien (90,63 %). Diese Strukturmerkmale beruhen bei 191 Dateien auf der von Firecrawl extrahierten Darstellung und bei einer Datei auf dem direkten HTTP-Inhalt. Sie messen weder Inhaltsqualität noch Nutzen für Agenten.
Die unterschiedlichen Zeitlimits erlauben keinen Schluss auf die Überlegenheit eines Werkzeugs. Auch eine gesicherte Wirkung auf Suchsichtbarkeit, Zitierungen oder Antwortqualität belegen die Beobachtungen nicht. Dafür sind weitere Messungen erforderlich, die Grundlage künftiger Berichte sein können.
Quellen und Beiträge
Ergebnisse des llms.txt-Piloten mit 2.000 Domains, September 2026, bereitgestellt von Firecrawl. Hauptbeobachtungen vom 2. September. Firecrawl ist Forschungspartner und liefert Fallzahlen, Klassifikationen und Angaben zu deren Prüfung, einschließlich der Bestätigung vom 16. September 2026. llmtxt.info verantwortet Analyse und Interpretation, einschließlich der berechneten Anteile. Die Nennung als Forschungspartner bedeutet nicht, dass Firecrawl jede Formulierung bestätigt.
Diese Seite stellt Ergebnisse und Berechnungsmethode bereit. Die Einzelbeobachtungen verbleiben im Rahmen der Partnerschaft und werden nicht veröffentlicht. Ihre Klassifikationen lassen sich daher anhand dieser Veröffentlichung nicht einzeln überprüfen.
- Tranco: eine Domain-Rangliste für die Forschung. Dieser Link erklärt den Auswahlrahmen; er führt nicht zum Datensatz des Piloten.
Fragen zu den Ergebnissen können Sie über die Korrekturseite (auf Englisch) stellen.
Zitiervorschlag: llmtxt.info, llms.txt-Dateien erkennen: Ergebnisse einer Analyse von 2.000 Domains. Forschungspartner: Firecrawl. Beobachtungen: 2. September 2026. Geben Sie bei jedem zitierten Wert die Berechnungsgrundlage und Klassifikationsgrenzen mit an.