Markdown für Agenten: Die Änderungen ab dem 9. Oktober

Die Konvertierungs-Engine wurde ausgetauscht, das Limit stieg auf 6 MiB, und die Token-Zähler verschwanden. Was das Update über Architekturentscheidungen und redaktionelle Verantwortung verrät.

Zuletzt aktualisiert:

Am 9. Oktober 2026 fügte Cloudflare seinem Entwickler-Changelog einen kurzen Eintrag über Markdown for Agents hinzu, jene Funktion, die eine HTML-Seite im laufenden Betrieb in Markdown umwandelt, wenn ein Client angibt, dieses Format zu bevorzugen. Der Eintrag beschreibt eine neue In-Process-Engine, die am Netzwerkrand (Edge) streamt: Sie verarbeitet Inhalte bereits beim Eintreffen, anstatt die HTML-Antwort zwischenzuspeichern und an einen separaten Konvertierungsdienst weiterzureichen. Zudem werden drei konkrete Änderungen angekündigt. Das Konvertierungslimit steigt von 2 MiB auf 6 MiB HTML, gemessen nach der Dekomprimierung. Die Header x-markdown-tokens und x-original-tokens werden nicht mehr generiert. Und Content-Length wird nun aus konvertierten Antworten entfernt, statt neu berechnet zu werden, da der Rumpf (Body) gestreamt wird.

Die Referenzdokumentation, die am selben Tag aktualisiert wurde, ergänzt, dass Header, die den ursprünglichen Rumpf beschreiben, aus der konvertierten Repräsentation entfernt werden, da sie nicht mehr zu dieser passen. Darunter befinden sich ETag und Last-Modified, und die genannte Begründung ist eindeutig: Bedingte Anfragen (Conditional Requests) können für eine konvertierte Antwort nicht erfüllt werden.

Flüchtig gelesen ist dies eine Infrastrukturnotiz. Gelesen von jemandem, der für das redaktionelle Angebot einer Website verantwortlich ist, bietet sie Anlass, eine Frage neu aufzurollen, die viele Websites zu vorschnell abgehakt haben. Braucht eine Website, um für Agenten lesbar zu sein, eine llms.txt-Datei, parallel zu ihren HTML-Seiten veröffentlichte Markdown-Seiten, einen vollständigen Export ihrer Inhalte, oder reicht es aus, das bestehende HTML von einem Vermittler konvertieren zu lassen? Diese Optionen beantworten nicht dasselbe Bedürfnis. Die Änderung vom 9. Oktober entfernt die Token-Zähler; die aktuelle Dokumentation hält außerdem fest, dass die Validatoren des Ursprungsservers (Origin) nicht durchgereicht werden. Zusammen entziehen diese Feststellungen zwei Stützen, die eine automatische Konvertierung wie eine eigenständige Strategie aussehen ließen.

Dieser Beitrag ist keine Konfigurationsanleitung. Die praktischen Verfahren existieren bereits: Unser französischsprachiges Rezept für HTML/Markdown-Parität behandelt Inhaltsprüfungen, und unser Leitfaden zum Testen von Markdown-Repräsentationen im Cache deckt Varianten und Bereinigungen (Purges) ab. Das Ziel hier ist es, die architektonische Entscheidung zu untersuchen, die durch diese Änderung in den Fokus rückt, die unzulässigen Vereinfachungen, die sie offenlegt, und die redaktionelle Verantwortung, die sie unberührt lässt. Durchgehend trennt der Text zwischen dem, was der Anbieter dokumentiert, dem, was llmtxt.info in seinem Panel vom 19. Oktober beobachtet hat, und unserer eigenen Analyse. Er verspricht weder eine bessere Zitierung noch ein besseres Ranking: Keine der konsultierten Quellen belegt eines von beiden.

Was das Changelog vom 9. Oktober tatsächlich besagt

Der erste Schritt besteht darin, das Geschriebene von dem zu trennen, was oft daraus abgeleitet wird. Das Changelog beschreibt einen Wechsel der Engine und drei sichtbare Konsequenzen. Cloudflare erwartet einen geringeren Konvertierungsaufwand und einen niedrigeren Speicherverbrauch, ohne Zahlen zu veröffentlichen. Nichts in dem Eintrag besagt, dass die Markdown-Ausgabe originalgetreuer, vollständiger oder für Modelle besser verständlich sei als zuvor. Es handelt sich um einen Effizienzgewinn für den Netzwerkbetreiber, der vom Betreiber geltend gemacht wird, nicht um eine nachgewiesene Verbesserung der redaktionellen Qualität der Ausgabe.

Jede der drei Konsequenzen verdient eine sorgfältige Lektüre. Die erste ist eine höhere Obergrenze: 6.291.456 Bytes dekomprimiertes HTML, gegenüber zuvor 2.097.152. Der Zusatz „nach der Dekomprimierung“ ist entscheidend. Eine Seite, die komprimiert bei der Übertragung leichtgewichtig wirkt, kann nach der Dekomprimierung wesentlich größer sein, und gemessen wird die dekomprimierte Größe. Die zweite ist das Verschwinden der beiden Header, die eine Token-Anzahl ausdrückten; das Changelog besagt schlicht, dass Clients, die sich auf diese Werte verlassen haben, die Token-Anzahl nun selbst berechnen müssen. Die dritte, die Entfernung von Content-Length, folgt aus dem Streaming: Die endgültige Größe ist noch nicht bekannt, wenn die Header gesendet werden.

Die Dokumentation ergänzt die vollständige Liste der Transformationen. Der Inhaltstyp (Content-Type) wird zu text/markdown; charset=utf-8. Der Vary-Header enthält Accept, während alle Dimensionen, die der Ursprungsserver bereits deklariert hat, erhalten bleiben, sodass Caches die HTML- und Markdown-Varianten getrennt speichern. Content-Length, Content-Encoding, Content-Range, Transfer-Encoding, ETag und Last-Modified werden entfernt. Umgekehrt werden die Sicherheits- und Caching-Header des Ursprungsservers als erhalten beschrieben: Strict-Transport-Security, Content-Security-Policy, X-Frame-Options, Set-Cookie, CORS-Header sowie Cache-Control, Expires und Age.

Zwei Einschränkungen werden im Klartext genannt. Nur HTML wird konvertiert, wobei andere Dokumenttypen möglicherweise später unterstützt werden, und die Obergrenze von 6 MiB gilt für dekomprimiertes HTML. Zur Verfügbarkeit heißt es auf der am 21. Oktober abgerufenen Seite, dass die Funktion in den Tarifen Pro, Business und Enterprise sowie für Kunden von SSL for SaaS ohne Zusatzkosten angeboten wird. Kommerzielle Bedingungen ändern sich und sollten zum Zeitpunkt der Integration erneut geprüft werden; dieser Artikel setzt keinen Kauf voraus.

Abschließend noch ein methodischer Hinweis: Die Funktion wurde im Februar eingeführt, und Material aus dieser Zeit beschreibt Header, die nicht mehr existieren. Maßgeblich ist nun die auf den 9. Oktober datierte Dokumentation. Jedes interne Dashboard oder Skript, das auf einer früheren Beschreibung aufbaut, sollte anhand dieser überprüft werden.

Auffindbarkeit, Repräsentation, Korpus: drei unterschiedliche Bedürfnisse

Die häufigste Verwirrung rund um „Markdown für KI“ rührt daher, dass ein Wort für drei verschiedene Dinge verwendet wird. Das erste ist ein Objekt zur Auffindbarkeit (Discovery): ein Dokument, das einem Agenten hilft zu erfahren, was existiert und wo er anfangen soll. Das zweite ist eine Repräsentation: eine andere Form einer bestimmten Seite, gedacht für einen Client, der strukturierten Text gegenüber HTML bevorzugt. Das dritte ist ein Korpus: ein großer Bestand zusammengestellter Inhalte, der einem Werkzeug an einem Stück übergeben wird.

Die Datei llms.txt gehört in die erste Kategorie. Die aktuelle Version des auf llmstxt.org veröffentlichten Vorschlags beschreibt sie als eine Markdown-Datei, die im Stammverzeichnis einer Website oder unter einem beliebigen Pfad innerhalb dieser abgelegt wird, die Seiten unter diesem Pfad abdeckt und kurze Hintergrundinformationen, Orientierungshilfen sowie Links zu detaillierteren Dateien bietet. Die Datei bleibt klein genug, um in das Kontextfenster zu passen; die Details befinden sich hinter den Links und werden nur bei Bedarf abgerufen. Wo mehr als eine Datei zutrifft, soll der Agent die spezifischste verwenden. Nur der H1-Titel ist erforderlich. Eine Zusammenfassung als Blockzitat (Blockquote) und H2-Abschnitte mit Linklisten sind optional, einschließlich eines Abschnitts „Optional“ für Material, das ein Agent überspringen kann, wenn sein Kontext knapp ist.

Markdown for Agents gehört in die zweite Kategorie. Es sagt nichts darüber aus, wie die Website organisiert ist. Es beantwortet eine spezifische Anfrage nach einer spezifischen URL und gibt eine andere Form derselben Ressource zurück: Der Client fügt seinem Accept-Header text/markdown hinzu, und das Netzwerk ruft das HTML vom Ursprungsserver ab und konvertiert es vor der Auslieferung.

Der Entwurf zu llms.txt sieht ebenfalls Repräsentationen vor, allerdings in anderer Form: eine bereinigte Markdown-Version jeder relevanten Seite, veröffentlicht unter der ursprünglichen URL mit angehängtem oder statt der bisherigen Endung gesetztem .md, beziehungsweise index.html.md bei URLs ohne Dateinamen. Empfohlen wird, diese Versionen über standardisierte Link-Relationen bekannt zu machen, und zwar rel="alternate" type="text/markdown" für die Markdown-Fassung und rel="describedby" für die llms.txt-Datei, die die Seite abdeckt, ausgedrückt entweder als HTML-Elemente oder über einen HTTP-Header Link, also jenes Rahmenwerk, das in RFC 8288 definiert ist.

Das Korpus wiederum wird von keiner der beiden Quellen als Format definiert. Es handelt sich um eine Praxis: eine gesamte Dokumentation, zusammengefügt in einer einzigen Datei, ein Export für ein Entwicklerwerkzeug, ein Archiv, das einem Partner übergeben wird. Der llms.txt-Vorschlag erläutert, warum ein solches Korpus keinen Index ersetzen kann: Kontextfenster sind zwar größer als früher, für die meisten Websites in ihrer Gesamtheit aber immer noch zu klein, und jedes verschwendete Token kostet Zeit und Geld. Dasselbe Argument führt der Entwurf gegen Sitemaps ins Feld, die im Allgemeinen zu viel abdecken und vieles enthalten, was für das Verständnis einer Website nicht erforderlich ist.

Diese drei Objekte befinden sich auf verschiedenen Etagen desselben Gebäudes. Ein Index hilft einem Agenten bei der Auswahl; eine Repräsentation hilft ihm, das Ausgewählte zu lesen; ein Korpus bedient jene, die alles wollen und wissen, was sie damit anfangen werden. Der Fehler besteht darin, von einer Konvertierung die Kuratierungsarbeit eines Index zu verlangen oder von einem Index zu erwarten, dass er lesbare Seiten ersetzt. Die für diesen Artikel konsultierten Dokumentationsseiten von Cloudflare kombinieren tatsächlich einen Verweis auf einen llms.txt-Index, einen Link “View as Markdown” und eine Aushandlung über Accept; die Seite von OpenAI über seine Crawler verweist auf die eigene llms.txt sowie auf Markdown-Versionen, die durch Anhängen von .md an die URL erreichbar sind. Dies sind einzelne Beobachtungen auf technischen Dokumentationsseiten, kein Webstandard.

Content Negotiation: Eine alte Idee, die Verantwortung verlagert

Markdown for Agents stützt sich auf einen Mechanismus, der so alt ist wie HTTP/1.1. RFC 9110, worin die aktuelle HTTP-Semantik definiert ist, unterscheidet die durch eine URL identifizierte Ressource von ihren Repräsentationen, die ihren Zustand in einer übertragbaren Form abbilden. Eine Ressource kann mehrere Repräsentationen haben, und die in Abschnitt 12 beschriebene Content Negotiation (Inhaltsaushandlung) wählt diejenige aus, die am besten zu einer Anfrage passt. Diese ausgewählte Repräsentation liefert die Daten und Metadaten, auf die sich bedingte Anfragen stützen.

Markdown unter derselben URL wie das HTML auszuliefern, ist daher vollkommen orthodox und sogar elegant: eine einzige Adresse zum Zitieren, Teilen und Korrigieren. Doch diese Eleganz hat ihren Preis. Bei der Aushandlung hängt die Repräsentation, die ein Agent erhält, von einem Anfrage-Header ab, den der Seitenbetreiber in seinen Protokollen nicht immer sieht, von einer Konfiguration in einem Drittnetzwerk und von einer Konvertierung, deren Regeln der Betreiber nicht selbst schreibt. Bei einer neben der Seite veröffentlichten .md-Datei ist die Repräsentation hingegen ein Objekt, das das Team selbst erzeugt, versioniert und Korrektur lesen kann.

Das ist die erste Verlagerung von Verantwortung. Die Konvertierung einzuschalten läuft auf die Aussage hinaus: Die Markdown-Version unserer Seiten ist das, was auch immer dieser Algorithmus aus unserem HTML erzeugt. Das Veröffentlichen von .md-Dateien bedeutet hingegen: Es ist das, was wir bewusst geschrieben haben. Beide Positionen sind vertretbar, aber sie nehmen einen Betreiber nicht in derselben Weise in die Pflicht. Im ersten Fall hängt die Qualität von der Semantik des HTML ab, davon, wie gut das Template den Hauptinhalt isoliert, und von den Entscheidungen des Konverters. Im zweiten Fall hängt sie von einer Publikations-Pipeline ab, die gepflegt und überprüft werden muss.

Die Aushandlung wirft zudem eine Frage des Cachings auf. Eine ausgehandelte Antwort muss im Header Vary diejenigen Anfrage-Header deklarieren, die die Auswahl beeinflusst haben, andernfalls liefert ein gemeinsam genutzter Cache möglicherweise die HTML-Variante an einen Client aus, der Markdown angefordert hat, oder umgekehrt. Abschnitt 4.1 von RFC 9111 untersagt die Wiederverwendung einer gespeicherten Antwort ohne erneute Validierung, wenn die in Vary benannten Header nicht übereinstimmen. Cloudflare gibt an, bei der konvertierten Antwort Accept zu Vary hinzuzufügen. Zu prüfen bleibt auf jeder Auslieferungskette, ob zwischengeschaltete Caches dies beachten und ob die HTML-Antwort dieselbe Dimension deklariert. Dies ist Gegenstand unseres bestehenden Leitfadens für Cache-Tests, den dieser Artikel nicht neu aufrollt.

Was der Konverter behält und was er verwirft

Die Dokumentation beschreibt eine Ausgabe mit stabiler Struktur, die so angelegt ist, dass KI-Systeme sich ohne seitenspezifische Parsing-Logik darauf verlassen können. Sie besteht aus drei Blöcken in der folgenden Reihenfolge.

Der erste Block ist ein YAML-Frontmatter, das nur ausgegeben wird, wenn die Seite mindestens ein unterstütztes Meta-Tag enthält. Es umfasst drei Felder. Der Titel stammt aus <meta name="title">, mit og:title als Rückfalloption. Die Beschreibung stammt aus <meta name="description">, mit og:description als Rückfalloption. Das Bild stammt aus og:image. Die Standardform hat unabhängig von der Reihenfolge der Tags immer Vorrang vor Open Graph, und es werden nur Felder ausgegeben, die einen Wert enthalten.

Der zweite Block ist der Hauptteil, konvertiert aus dem Dokumentkörper. Elemente, die als Nicht-Inhalt eingestuft werden, wie Kopf- und Fußzeilen, Navigation, Skripte und Stylesheets, werden in einem Vorverarbeitungsschritt entfernt, für den die Dokumentation auf die Beschreibung des Konvertierungsdienstes von Workers AI verweist. Der dritte Block, der nur ausgegeben wird, sofern entsprechende Daten auf der Seite vorhanden sind, fasst strukturierte JSON-LD-Daten am Ende in einem einzigen abgegrenzten json-Codeblock zusammen, wobei mehrere Skripte jeweils in einer eigenen Zeile aneinandergehängt werden. JSON-LD ist der einzige Inhalt aus <script>-Elementen, der erhalten bleibt.

Anhand dieser Beschreibung lässt sich auflisten, was nicht in strukturierter Form übertragen wird. Das Frontmatter enthält keinen Autor, kein Veröffentlichungs- oder Aktualisierungsdatum, keine Sprache, keine kanonische URL und keine alternativen Sprachversionen. Diese Informationen können im sichtbaren Fließtext überdauern, sofern das Template sie dort anzeigt, oder im JSON-LD, sofern die Seite sie dort ausgibt. In den dokumentierten Feldern tauchen sie nicht auf. Dies ist eine Schlussfolgerung aus der veröffentlichten Liste, keine Beobachtung an einer bestimmten Seite, und sie sollte anhand der eigenen Templates überprüft werden.

Das Entfernen von Kopfzeilen, Fußzeilen und Navigation ist für einen Agenten meist eine gute Nachricht: Das auf jeder Seite wiederholte Rauschen fällt weg. Für einen Seitenbetreiber bedeutet es einen potenziellen Verlust. Viele Websites platzieren in diesen Bereichen Angaben, die für das Verständnis eines Textes wichtig sind: den Namen der Rubrik, die Breadcrumb-Navigation, die einen Artikel in eine Serie einordnet, einen als Banner eingeblendeten Korrekturhinweis oder eine Warnung, dass eine Seite eine veraltete Softwareversion dokumentiert. Nichts garantiert, dass solche Informationen die konvertierte Repräsentation erreichen. Um dies herauszufinden, bleibt nur der Vergleich, Template für Template, zwischen dem, was das HTML anzeigt, und dem, was das Markdown enthält.

Die Qualität einer automatischen Konvertierung entscheidet sich daher vorgelagert im Template. HTML, das seinen Hauptinhalt mit echten Überschriften, echten Listen und echten Tabellen auszeichnet, wird plausiblerweise brauchbareres Markdown liefern als eine Seite, die aus generischen Blöcken aufgebaut ist. Das ist kein Ergebnisversprechen, sondern lediglich die normale Konsequenz eines Konverters, der mit der Struktur arbeitet, die er vorfindet. Die neue Engine ändert an dieser Abhängigkeit nichts.

Das Ende der Token-Zähler: Messen, ohne Zahlen zu erfinden

Die Entfernung von x-markdown-tokens und x-original-tokens verdient besondere Aufmerksamkeit. Diese Header lieferten eine fertige Kennzahl, sichtbar in einer einzigen Anfrage, die sich direkt in eine Präsentationsfolie übernehmen ließ, um den vermeintlichen Gewinn von Markdown gegenüber HTML zu veranschaulichen.

Genau diese Bequemlichkeit verlangt nach einer genauen Prüfung. Eine Token-Anzahl ist keine Eigenschaft eines Textes. Sie ist das Ergebnis der Segmentierung durch einen bestimmten Tokenizer, wobei mehrere Modelle denselben Tokenizer nutzen können. Die Anzahl für dasselbe Dokument kann daher je nach verwendetem Tokenizer variieren. Ein von einem Netzwerk-Intermediär veröffentlichter Header konnte folglich nur eine Schätzung unter einer bestimmten Konvention ausdrücken: nützlich als Größenordnung, irreführend, sobald sie zu einem Leistungsindikator gemacht wird. Das Changelog begründet die Entfernung zwar nicht mit diesen Argumenten, doch das praktische Ergebnis ist dasselbe. Jede bezifferte Aussage über Token-Einsparungen muss nun angeben, welcher Tokenizer, welcher Text und welche Methode ihr zugrunde liegen.

Dieser Artikel nennt daher kein Verhältnis zwischen HTML und Markdown, und die konsultierten Quellen liefern keines, das sich verallgemeinern ließe. Die Dokumentation von Cloudflare hält fest, dass die explizite Struktur von Markdown die Token-Verschwendung reduziert und zu besseren Ergebnissen führt; das ist die Position des Anbieters, ohne stützende Messung auf der Seite. Der Entwurf zu llms.txt führt dasselbe allgemeine Argument an. Keiner von beiden quantifiziert einen Effekt auf die Antwortqualität, geschweige denn auf die Wahrscheinlichkeit, zitiert zu werden.

Was lässt sich also messen, ohne etwas zu erfinden? Die Größe in Bytes der dekomprimierten HTML-Antwort und der Markdown-Antwort für eine bestimmte Seite ist ein objektives Maß, das von keinem Modell abhängt. Die Anzahl der eingegangenen Anfragen mit text/markdown im Accept-Header ist messbar, sofern die Logs diesen Header aufzeichnen, was nicht überall die Standardeinstellung ist. Der Anteil konvertierter Antworten, Statuscodes, der aus dem Cache bediente Anteil und die Last auf dem Ursprungsserver sind gewöhnliche Betriebsmetriken. Inhaltliche Parität schließlich wird durch Vergleich gemessen: Ist dieser Absatz, diese Tabelle, dieses Datum in beiden Repräsentationen vorhanden?

Dies sind Messgrößen der Auslieferung, nicht der Wirkung. Sie geben Aufschluss darüber, was die Website an wen ausliefert, nicht darüber, was der Agent anschließend damit macht. Ein Aufkommen an Markdown-Anfragen beweist nicht die Nutzung durch ein bestimmtes Produkt, und eine kleinere Datei wird nicht zwangsläufig besser verstanden. Welchen Effekt eine Entscheidung auf die Sichtbarkeit innerhalb eines Assistenten hat, lässt sich nicht an Antwort-Headern ablesen.

Entfernte Validatoren: Aktualität, Korrekturen und Caching

Der Wegfall von ETag und Last-Modified ist weniger spektakulär, hat aber direktere redaktionelle Folgen. RFC 9110 definiert diese Header als Validatoren, Last-Modified in Abschnitt 8.8.2 und ETag in Abschnitt 8.8.3. Sie ermöglichen es einem Client, der bereits eine Kopie hält, über If-Modified-Since oder If-None-Match anzufragen, ob diese Kopie noch gültig ist; der Server kann dann mit 304 Not Modified antworten, ohne den Rumpf erneut zu senden. Abschnitt 13 beschreibt diesen Mechanismus bedingter Anfragen.

Die Argumentation von Cloudflare ist innerhalb dieses Rahmens schlüssig: Die Validatoren des Ursprungsservers beschreiben den HTML-Rumpf, nicht das durch Konvertierung erzeugte Markdown. Sie beizubehalten hätte nahegelegt, dass eine bedingte Anfrage für eine Repräsentation möglich sei, die das Netzwerk nicht vergleichen kann. Das erklärt ihr Fehlen in der dokumentierten Konvertierung, was drei Implikationen hat, die Redaktionen verstehen sollten.

Die erste betrifft die Aktualität. Ein Client kann diese Repräsentation nicht mehr über eine bedingte Anfrage auf Basis dieser Validatoren revalidieren. Andere Aktualitätsinformationen bleiben nutzbar; wenn ein neuer Abruf erforderlich ist, kann dieser nicht von dieser bedingten Validierung profitieren. Die Aktualität stützt sich dann auf Cache-Control, Expires und Age, die laut Dokumentation erhalten bleiben. Eine Website, die sich auf Revalidierung verlassen hat, um Korrekturen schnell an Agenten weiterzugeben, sollte die bekanntgegebenen Gültigkeitsdauern überprüfen: Eine lange Dauer spart Bandbreite, verzögert aber Korrekturen; eine kurze bewirkt das Gegenteil. Das ist ebenso sehr eine redaktionelle Abwägung wie eine technische.

Die zweite betrifft Datumsangaben. Last-Modified spiegelte oft eher ein Deployment als eine Überarbeitung des Textes wider, war aber dennoch ein an die Antwort geknüpftes Zeitsignal. Bei der konvertierten Repräsentation fehlt es. Wenn das Aktualisierungsdatum wichtig ist, wie bei versionierter Dokumentation, einer Preisseite oder einem Richtlinientext, muss es vom Inhalt selbst getragen werden: sichtbar im Haupttext oder deklariert in JSON-LD, beispielsweise über dateModified, was der Konverter am Ende des Dokuments wiedergibt. Das Frontmatter verfügt über kein Datumsfeld.

Die dritte betrifft Korrekturen. Wenn ein Fehler im HTML behoben wird, folgt die konvertierte Repräsentation, da sie aus dem Ursprung erzeugt wird. Doch die beiden Varianten werden in Caches getrennt gespeichert. Eine Cache-Bereinigung (Purge), die nur auf eine Variante abzielt, oder ein dazwischengeschalteter Cache, der die Dimension Accept ignoriert, kann dazu führen, dass eine alte Markdown-Version im Umlauf bleibt. Die konsultierten Abschnitte der Dokumentation beschreiben diesen Fall nicht im Detail; er muss in der eigenen Bereitstellungskette getestet werden, wofür sich die Methode in unserem Cache-Leitfaden eignet.

6 MiB: Eine Grenze, die etwas über Seiten aussagt

Die höhere Obergrenze wird für Websites willkommen sein, bei denen einige Seiten den alten Schwellenwert überschritten haben. Doch was lässt eine HTML-Seite nach dem Dekomprimieren mehrere Megabyte groß werden? Selten der redaktionelle Text. Häufiger sind es eingebettete Daten für die clientseitige Hydration, Inline-Styles, in das Dokument codierte Bilder, ausufernde Menüs und Skripte. Ein Großteil dieses Volumens wird durch die Vorverarbeitung entfernt, doch die Obergrenze gilt für das eingehende HTML, nicht für das ausgehende Markdown. Eine Seite, deren Nutztext in wenige Dutzend Kilobyte passen würde, kann daher wegen allem, was ihn umgibt, an die Grenze stoßen.

Für eine Redaktion lautet die zielführende Frage nicht “Liegen unsere Seiten unter 6 MiB?”, sondern “Warum kommen einige von ihnen in diese Nähe?”. Es gibt legitime Fälle: eine vollständige API-Referenz, ein langer Bericht, der als einzelne Seite veröffentlicht wird, oder eine Archivseite. Für solche Seiten dürfte eine gezielt erstellte Markdown-Repräsentation oder eine Aufteilung in Unterseiten, die über eine llms.txt-Datei indiziert werden, nützlicher sein als eine vollständige Konvertierung, selbst wenn diese gelingt. Ein Agent, der nach einem bestimmten Parameter sucht, muss nicht die gesamte Referenz erhalten.

Die konsultierte Dokumentation beschreibt in den gelesenen Abschnitten nicht, was ein Client erhält, wenn eine Seite das Limit überschreitet; dort heißt es lediglich, die Konvertierung erfolge, “wenn möglich”. Es wäre unklug anzunehmen, dass das ursprüngliche HTML zurückgegeben wird, dass ein Fehler gemeldet wird oder dass die Ausgabe abgeschnitten wird. Eine betroffene Website sollte das Verhalten in ihrer eigenen Zone anhand einer realen Seite beobachten und das Datum der Beobachtung festhalten.

Die Obergrenze betrifft zudem nur ein einziges Stockwerk des Gebäudes. Eine llms.txt-Datei ist darauf ausgelegt, kurz zu bleiben; das am 19. Oktober beobachtete Panel von llmtxt.info verzeichnet für die ausgelieferten Dateien einen Median von 14.542 Bytes, eine völlig andere Größenordnung als das Konvertierungslimit. Ein vollständiger Korpus wird im Allgemeinen als reine Textdatei außerhalb der HTML-Aushandlung erstellt. Der Wert von 6 MiB ist nur für HTML-Seiten relevant, die im laufenden Betrieb konvertiert werden.

Versionen, Sprachen, Daten und Bilder: Die Metadaten, die nicht durchkommen

Die Websites, die am schwierigsten zu konvertieren sind, sind nicht unbedingt die umfangreichsten, sondern jene, die mehrere Zustände desselben Inhalts veröffentlichen: Sprachen, Versionen, Aktualisierungen sowie Bilder, die Informationen tragen.

Auf einer gut aufgebauten mehrsprachigen Website hat jede Sprachfassung ihre eigene URL, das Attribut lang im Element html deklariert die Sprache, und der <head> enthält die kanonische URL sowie die Alternativen. Die Aushandlung über Accept lässt diese Struktur unangetastet: Die Markdown-Version einer französischen Seite wird unter der französischen URL ausgeliefert. Das ist ein echter Vorteil gegenüber separat erstellten .md-Dateien, welche die URL-Struktur und ihre Alternativ-Links nachbilden müssen. Das dokumentierte Frontmatter enthält jedoch weder die Sprache noch die Alternativen. Ein Agent weiß, was auf der Seite steht, aber nicht zwangsläufig, in welcher Sprache sie veröffentlicht wurde oder wo ihre Entsprechungen zu finden sind. Wenn das wichtig ist, muss die Information im Inhalt selbst oder in JSON-LD stehen, beispielsweise über inLanguage.

Versionen werfen ein verwandtes Problem auf. Dokumentationen mit mehreren Versionen platzieren den Versionsumschalter und den Warnhinweis “Sie betrachten eine ältere Version” häufig im Header oder in der Navigation, also genau in jenen Bereichen, die durch die Vorverarbeitung entfernt werden. Ein Agent könnte den Inhalt einer veralteten Version erhalten, ohne das Signal, das ihn als solchen kennzeichnet. Hier bietet der llms.txt-Vorschlag ein besser geeignetes Werkzeug: eine Datei pro Unterpfad, etwa /docs/v2/llms.txt, wobei die spezifischste Datei Vorrang hat. Unser Artikel über das Routing für versionierte und mehrsprachige Dokumentation behandelt diese Struktur im Detail. Der Zustand eines Inhalts, seine Version und seine Gültigkeit gehören in den Inhalt selbst.

Ein sichtbares Datum der “letzten Aktualisierung” ist überdies nur dann etwas wert, wenn es gepflegt wird. Ein Datum, das bei jedem Deployment neu generiert wird, erweckt den Eindruck von Aktualität, sagt aber nichts über Überarbeitungen des Textes aus. Die Konvertierung gibt es unverändert wieder; sie korrigiert es nicht.

Bilder sind der heikelste Punkt. Das einzige Bildfeld im Frontmatter ist og:image, das Vorschaubild für das Teilen, nicht die Abbildungen des Artikels. Die konsultierten Abschnitte führen nicht näher aus, wie Bilder im Fließtext behandelt werden. Man kann hier nur grundsätzlich argumentieren: Ein Konverter kann nur das weitergeben, was über ein Bild geschrieben steht, also seine Adresse, seinen Alt-Text und seine Bildunterschrift, sofern diese als Text ausgezeichnet ist. Ein Diagramm, dessen Aussage nur in Pixeln existiert, läuft Gefahr, seine Information für einen reinen Textleser zu verlieren. Ein Agent, der in der Lage ist, das Bild separat zu untersuchen, verfügt möglicherweise über andere Wege, es zu lesen. Dies ist die Anforderung, welche die Barrierefreiheit seit Jahren stellt: Wenn eine Abbildung Informationen trägt, müssen diese Informationen als Text vorliegen. Dekoration hingegen muss nicht beschrieben werden; für sie genügt ein leeres Alt-Attribut.

Zugriff und Rechte: Was die Konvertierung nicht regelt

Konvertierung ist eine Frage des Formats. Sie entscheidet weder darüber, wer auf Inhalte zugreifen darf, noch darüber, wofür diese verwendet werden dürfen. Diese Ebenen zu verwechseln, ist die kostspieligste Vereinfachung überhaupt, weil sie Rechte berührt.

Erstens wird standardmäßig ein Nutzungssignal hinzugefügt. Wenn die Antwort des Ursprungsservers keinen Header content-signal enthält, fügt Markdown for Agents Content-Signal: ai-train=yes, search=yes, ai-input=yes hinzu und signalisiert damit, dass der Inhalt für das KI-Training, für Suchergebnisse und als KI-Eingabe einschließlich agentischer Nutzung verwendet werden darf. Setzt der Ursprungsserver seinen eigenen Wert, bleibt dieser erhalten und ist maßgeblich. Das Rahmenwerk Content Signals drückt Präferenzen aus; es ist kein Durchsetzungsmechanismus. Ein Herausgeber jedoch, der die Konvertierung aktiviert, ohne eine eigene Richtlinie zu definieren, veröffentlicht faktisch ein Signal, das das Training mit seinen Markdown-Darstellungen begünstigt. Unser französischsprachiger Artikel über Veröffentlichungspolitik und Datennutzung erörtert diese Entscheidungen.

Dieser Punkt sollte zusammen mit einer weiteren Ankündigung gelesen werden. Am 15. September 2026 führte Cloudflare drei unabhängige Steuerungsoptionen für Suche, KI-Training und KI-Agenten ein, dazu eine Einstellung zum Untersagen von KI-Training (Disallow AI Training) sowie die Ablösung seiner verwalteten robots.txt-Funktion durch Bot Preference Sync. Die konsultierten Quellen beschreiben nicht, wie diese Einstellungen mit dem Header zusammenwirken, der konvertierten Antworten standardmäßig hinzugefügt wird. Einen Widerspruch zu behaupten, wäre ebenso riskant wie Stimmigkeit zu unterstellen. Jede Website sollte das tatsächlich in einer Markdown-Antwort ausgegebene Signal mit der Richtlinie abgleichen, die sie anzuwenden glaubt.

Zweitens ist die robots.txt keine Zugriffsautorisierung. RFC 9309, der das Robots Exclusion Protocol standardisiert, hält dies in seiner Einleitung fest und erinnert die Leser daran, dass die Zugriffskontrolle eine echte Sicherheitsmaßnahme auf der Anwendungsebene erfordert. Zudem unterliegt nicht jeder Client denselben Regeln. OpenAI unterscheidet zwischen OAI-SearchBot, der für die Suche verwendet wird, GPTBot, der an das Training gebunden ist, und ChatGPT-User, der bei nutzergesteuerten Aktionen aktiv wird und für den die Regeln der robots.txt nach Angaben des Unternehmens möglicherweise nicht gelten. Das Format der Antwort ändert daran nichts.

Drittens, und das ist noch heikler: Was das HTML enthält, ist nicht immer das, was der Leser sieht. Manche Websites liefern den vollständigen Text eines Artikels im HTML aus und blenden ihn anschließend mit einem Skript oder einem Stylesheet für eine Paywall oder eine Registrierungsschranke aus. Der Konverter verarbeitet das vom Ursprungsserver empfangene HTML und entfernt Skripte sowie Stylesheets. Konstruktionsbedingt kann Text, der im HTML vorhanden, aber clientseitig ausgeblendet ist, im Markdown landen. Das ist eine Schlussfolgerung aus dem dokumentierten Verhalten, keine Beobachtung einer bestimmten Website, reicht aber aus, um vor dem Aktivieren der Konvertierung für zugriffsbeschränkte Inhalte eine Überprüfung zu verlangen. Was nicht gelesen werden soll, sollte nicht gesendet werden. Da Set-Cookie erhalten bleibt, muss eine Website, die ihre Antworten personalisiert, ebenso sicherstellen, dass eine nutzerspezifische Darstellung nicht aus einem Cache an andere ausgeliefert werden kann.

Ein letzter Hinweis noch, da Cloudflare am 15. Oktober die ersten Ergebnisse eines im Juli gestarteten Discovery-Pilotprojekts mit OpenAI vorstellte: Laut Cloudflare erteilt ein Signal über eine Seite keine Berechtigung, auf sie zuzugreifen, und die Arbeit stützt sich auf Metadaten zur Auffindbarkeit statt auf die Weitergabe von Seiteninhalten für das Modelltraining. Dieselbe Überlegung gilt für Markdown. Eine lesbare Repräsentation anzubieten, ist weder eine Zustimmung zu jeder Nutzung noch eine Garantie, gefunden zu werden.

Was unsere Beobachtungen zeigen und was nicht

Daten von llmtxt.info llmtxt.info führt ein festes Panel öffentlicher Hosts, das zu festgelegten Terminen beobachtet wird. Die diesem Artikel beigefügte datierte Datenkopie, observatory-2026-10-19.json, entspricht der Erhebung vom 19. Oktober 2026. Das Panel umfasst 219 Hosts; 217 wurden getestet und 2 waren nicht erreichbar. 125 lieferten eine llms.txt-Datei aus, was 57,6 % der getesteten Hosts entspricht. Dieser Prozentsatz beschreibt nicht das Web: Das Panel ist kuratiert und bewusst zugunsten von Entwickler-Tools gewichtet, wie aus der Datendatei selbst hervorgeht. Die mittlere Größe (Median) der ausgelieferten Dateien beträgt 14.542 Bytes – und zwar Bytes, nicht Tokens.

Dieselbe Erhebung untersucht die Beziehungen zwischen Dateien und Seiten. Gemäß der Methode in den eingefrorenen Discovery-Daten wurden für jede verifizierte Stammdatei bis zu drei verlinkte Seiten und vier gängige Unterpfade getestet; zudem wurden die Discovery-Relationen sowohl im HTML als auch in den HTTP-Link-Headern geprüft. Von 330 geprüften Links waren zum jeweiligen Zeitpunkt 321 erreichbar. 46 Seiten wiesen eine alternate-Relation zu einer Markdown-Version aus, 18 eine describedby-Relation, und 23 Hosts veröffentlichten llms.txt-Dateien auf Unterpfaden.

Diese Zahlen treffen eine präzise und zugleich begrenzte Aussage. Die Mechanismen, die der llms.txt-Entwurf zur Verknüpfung von Index und Repräsentationen vorsieht, werden von einem Teil dieses Panels genutzt, und Dateien auf Unterpfaden – nützlich für Versionen und Sprachen – sind kein bloßes theoretisches Kuriosum. Neun der 330 Links waren zum Zeitpunkt der Prüfung nicht erreichbar. Diese Momentaufnahme belegt weder, ob sie zuvor funktionierten, noch wie lange sie bereits fehlerhaft waren. Andererseits geben die Daten keinen Aufschluss darüber, welcher Anteil der untersuchten Seiten diese Relationen aufwies: Die Datei liefert diesen Nenner nicht, und wir rekonstruieren auch keinen. Ebenso wenig besagt sie, dass ein Agent diese Seiten gelesen hat, dass sie zitiert wurden oder dass sie Traffic gewonnen haben; die Datei selbst schließt jegliche Schlussfolgerung über die Nutzung durch Agenten oder die Suchleistung aus.

Eine separate Studie, die am 2. September über 2.000 Domains hinweg durchgeführt und in unserem Observatorium veröffentlicht wurde, fand 192 erkennbare Dateien. Da sich Stichprobe und Methode unterscheiden, bilden die beiden Beobachtungen keine Zeitreihe. Keine von beiden misst Markdown for Agents, eine Netzwerkfunktion, die unsichtbar bleibt, solange sie nicht mit dem richtigen Header abgefragt wird.

Die wahren Kosten: vier zu wartende Architekturen

Debatten über Markdown für Agenten konzentrieren sich meist auf den vermeintlichen Gewinn und selten auf den Wartungsaufwand, der jedoch eine tragfähige Entscheidung von einer bloßen Ankündigung unterscheidet. Vier Architekturen stehen zur Auswahl, häufig auch in Kombination.

Architektur Was sie bietet Hauptkosten Worauf zu achten ist: Changelog vom 9. Oktober und aktuelle Dokumentation
Nur HTML Eine einzige, kanonische Repräsentation Nichts über die bestehende Website hinaus Agenten konvertieren selbst, nach ihren eigenen Regeln
On-the-fly-Konvertierung Eine Markdown-Repräsentation unter derselben URL Konfiguration, Paritätsprüfungen, Abhängigkeit von Anbieter und Tarif Keine Validatoren, standardmäßiges Nutzungssignal, Eingabelimit von 6 MiB
Veröffentlichte .md-Dateien Eine vom Herausgeber verfasste und versionierte Repräsentation Generierungs-Pipeline, alternate-Links, fortlaufende Paritätsprüfungen Von der Änderung nicht betroffen, muss aber mit dem HTML synchron bleiben
llms.txt-Index Eine selektive Karte der Website oder eines Unterpfads Kuratierung, Linkprüfung, Aktualisierung der Beschreibungen Von der Änderung nicht betroffen; Links zu Repräsentationen müssen geprüft werden

Nur HTML bereitzustellen ist nicht das Fehlen einer Entscheidung: Es bedeutet, jeden Client mit seinen eigenen Werkzeugen konvertieren zu lassen, ohne Kontrolle darüber, was er aus einer überladenen Seite extrahiert.

Die On-the-fly-Konvertierung ist günstig einzurichten, aber nicht günstig zu überprüfen. Sie erfordert es, die Parität für jedes Template zu prüfen, zu verstehen, wie Varianten zwischengespeichert werden, ein eigenes content-signal zu definieren und zu akzeptieren, dass ein Anbieter das Verhalten ändern kann, wie es am 9. Oktober geschah. Diese Abhängigkeit ist an sich kein Mangel, muss aber anerkannt und überwacht werden: Eine Header-Änderung in einem Changelog wird zu einem Ereignis, das wie ein Bibliotheks-Update verfolgt werden muss.

Veröffentlichte .md-Dateien bieten die größte Kontrolle und verursachen die dauerhaftesten Kosten. Sie müssen bei jeder Veröffentlichung und Korrektur erzeugt, über alternate-Relationen zugänglich gemacht, gegebenenfalls in einer llms.txt-Datei aufgeführt und überprüft werden, damit sie nicht vom HTML abweichen. Eine Markdown-Datei, die nach der Korrektur der Seite noch einen veralteten Preis oder eine überholte Anweisung enthält, ist schlimmer als gar keine Datei, da sie wie die Referenzversion wirkt. Im Gegenzug behält der Herausgeber die Kontrolle über seine Validatoren: Eine statische Datei, die vom eigenen Server ausgeliefert wird, kann ein ETag und ein Datum tragen, die tatsächlich zu ihr gehören.

Ein llms.txt-Index kostet vor allem redaktionelle Arbeitszeit: auswählen, beschreiben, gewichten, überprüfen. Der Umfang ist gering, lässt sich aber nicht vollständig automatisieren, ohne genau das zu verlieren, was den Wert der Datei ausmacht, nämlich die Auswahl. Ein mechanisch aus der Sitemap generierter Index bietet kaum mehr als die Sitemap selbst. Der Spezifikationsentwurf empfiehlt, eine Datei zu testen, indem man einem Agenten Fragen stellt, wobei ihm ausschließlich diese Datei als Ausgangspunkt dient: eine qualitative Methode, kein Benchmark, aber eine, die die Entscheidung an der richtigen Stelle ansetzt.

Der Gesamtkorpus ist nicht in der Tabelle aufgeführt, da er einer anderen Logik folgt: Es handelt sich um ein abgeleitetes Produkt für ein bestimmtes Publikum, etwa die Entwickler einer Bibliothek oder Partner, die genau wissen, was sie damit anfangen wollen. Der größte Kostenfaktor ist hier die Aktualität. Ein vollständiger Export veraltet auf einen Schlag und muss auch auf einen Schlag korrigiert werden.

Drei hypothetische Szenarien zum Durchspielen

Die folgenden Beispiele sind konstruiert, um die Argumentation zu veranschaulichen. Sie beschreiben keine realen Websites, beruhen auf keinem Test und enthalten keine Leistungsdaten.

Erster Fall: Ein Herausgeber technischer Dokumentation, der Cloudflare in einem berechtigten Tarif nutzt, veröffentlicht drei Versionen seines Produkts in zwei Sprachen für Entwickler, die Coding-Agenten einsetzen. Ein llms.txt-Index pro Unterpfad ist hier wahrscheinlich die nützlichste Ebene, da er es einem Agenten ermöglicht, direkt bei der richtigen Version und der richtigen Sprache anzusetzen. Für erklärende Textseiten mag die On-the-fly-Konvertierung ausreichen, sofern das Template den Hauptinhalt sauber auszeichnet; für die umfangreiche und präzise API-Referenz sind aus den Dokumentationsquellen generierte Dateien sicherer. Der Warnhinweis auf veraltete Versionen sollte aus der Navigation in den eigentlichen Textkörper der betreffenden Seiten verlagert werden.

Zweiter Fall: ein Nachrichtenverlag, bei dem ein Teil der Artikel Abonnenten vorbehalten ist. Hier steht die Rechtefrage vor der Formatfrage. Bevor der Verlag irgendetwas aktiviert, muss er wissen, ob sein HTML den Volltext der zugangsbeschränkten Artikel enthält, welches Nutzungssignal er senden will und welche Clients er akzeptiert. Laut Dokumentation kann eine Konfigurationsregel die Funktion auf bestimmte frei zugängliche Pfade beschränken, was umsichtiger ist als eine Aktivierung für die gesamte Zone. Eine llms.txt-Datei, sofern der Verlag eine führt, sollte auf das verweisen, was gelesen werden soll, nicht auf das gesamte Archiv.

Dritter Fall: ein kleines Dienstleistungsunternehmen mit rund zwanzig Seiten in einem nicht berechtigten Tarif. Die Funktion steht nicht zur Verfügung, und das ist kein Unglück. Eine kurze llms.txt-Datei, die das Unternehmen, seine Konditionen und seine Referenzseiten vorstellt, ergänzt durch sauberes HTML mit sichtbaren Überschriften und Datumsangaben, deckt das Wesentliche ab. Für zwanzig Seiten .md-Dateien zu erstellen ist machbar, vorausgesetzt, jemand ist dafür verantwortlich, sie aktuell zu halten.

Die drei Fälle münden in unterschiedliche Kombinationen. Die sinnvolle Frage lautet nicht: „Sollten wir Markdown for Agents einschalten?“, sondern: für welche Inhalte, auf welcher Ebene, unter wessen Verantwortung?

Redaktionelle Verantwortung: Wer steht für den Text ein, den der Agent liest?

Eine Frage bleibt, die der 9. Oktober zwar nicht ausdrücklich aufwirft, der man sich aber kaum entziehen kann. Wenn ein Agent die Markdown-Repräsentation einer Seite liest und daraus eine Antwort für einen Nutzer formuliert, für welchen Text ist der Herausgeber dann verantwortlich?

Rechtlich klärt dieser Artikel nichts; die Regeln unterscheiden sich je nach Land und Vertrag, und keine der herangezogenen Quellen geht darauf ein. Redaktionell ist die Antwort einfacher: Der Herausgeber steht für das ein, was er ausliefert. Ob die Konvertierung auf seinem eigenen Server, in einem Auslieferungsnetzwerk oder innerhalb des Agenten stattfindet, der Ausgangsinhalt stammt vom Herausgeber. Wenn eine Repräsentation einen einschränkenden Hinweis weglässt, der in einem Banner stand, einen an anderer Stelle korrigierten Preis beibehält oder eine Passage offenlegt, die auf der Seite ausgeblendet war, wird der Endleser nicht dem Konverter die Schuld geben.

Daraus folgen drei praktische Konsequenzen. Parität: Alles, was für das Verständnis eines Textes wesentlich ist, muss im Hauptinhalt stehen, nicht in den Randbereichen. Nachvollziehbarkeit: Ein Herausgeber sollte für eine bestimmte Seite und ein bestimmtes Datum angeben können, welche Repräsentation er über welchen Mechanismus ausgeliefert hat; bei einer Konvertierung im laufenden Betrieb bedeutet das zumindest, das Aktivierungsdatum und die dokumentierten Änderungen des Anbieters festzuhalten. Korrektur: Ein Verfahren, das alternative Repräsentationen nicht erfasst, ist unvollständig.

Verantwortung liegt auch darin, wie die Arbeit beschrieben wird. Es wäre verlockend anzukündigen, die Konvertierung führe dazu, dass eine Website von Assistenten zitiert werde oder ihr Ranking verbessere. Keine der herangezogenen Quellen belegt das. Cloudflare macht einen Vorteil bei Struktur und Tokens geltend. Das am 15. Oktober gemeinsam mit OpenAI vorgestellte Pilotprojekt betrifft die Seitenauffindbarkeit innerhalb einer Kohorte von laut Cloudflare rund 1 % des Netzwerks, ohne veröffentlichte Ergebnisse pro Herausgeber zu Umsatz oder Zitierungen und ohne nachgewiesene Verbindung zu Markdown for Agents. Der Vorschlag zu llms.txt beschreibt den Einsatz hauptsächlich zur Inferenzzeit, für Dokumentationen. Nichts davon stützt ein Versprechen über Sichtbarkeit, und eine Redaktionsleitung gewinnt an Glaubwürdigkeit, wenn sie das auch so benennt.

Die ehrlichste Einordnung ist Lesbarkeit: Ein klarer Index, originalgetreue Repräsentationen und sauber aufgebautes HTML machen eine Website für automatisierte Clients leichter lesbar. Das ist ein überprüfbares Ziel, unabhängig von den Entscheidungen einer Suchmaschine oder eines Assistenten.

Was der 9. Oktober über das aussagt, was als Nächstes kommt

Zurück zum Eintrag vom 9. Oktober: eine neue Engine, ein höheres Limit, zwei entfernte Zähler. Die aktuelle Dokumentation beschreibt zudem fehlende Validatoren, ohne diese Änderung zu datieren. Nichts davon ändert das Wesen von Markdown for Agents: Es bleibt eine aus HTML berechnete, über einen Header ausgehandelte und von einem Vermittler ausgelieferte Repräsentation. Doch die Änderung räumt mit zwei bequemen Illusionen auf.

Die erste war eine schlüsselfertige Kennzahl. Token-Zähler lieferten eine Zahl, keinen Beleg. Ihre Entfernung erzwingt die Rückkehr zu Messgrößen, die sich erklären lassen: Bytes, Anfragen, Statuscodes, Inhaltsvergleiche. Sie sind bescheidener und haben den Vorteil, nichts darüber zu behaupten, was Modelle tun.

Die zweite war eine Repräsentation, die keiner Pflege bedarf. Indem ETag und Last-Modified entfernt werden, stellt die Dokumentation klar, dass die Markdown-Version nicht das Originaldokument ist und dessen Metadaten nicht für sich beanspruchen kann. Sie muss ihre eigenen Signale im Inhalt mitführen: ihr Datum, ihre Sprache, ihre Version, ihre Vorbehalte. Diese Arbeit lässt sich nicht an einen Konverter delegieren.

Für eine Website, die für Agenten lesbar sein soll, wird die Entscheidung Schicht für Schicht aufgebaut. Ein Index, wenn die Website einen Pfad anzubieten hat. Repräsentationen, wenn bestimmte Seiten es verdienen, ohne das umgebende Rauschen gelesen zu werden, erzeugt durch Konvertierung oder durch direkte Veröffentlichung, je nach gewünschter Kontrolle. Ein Korpus nur für diejenigen, die dafür eine Verwendung haben. Und als Fundament unter alldem ein HTML, das klar benennt, was es enthält. Die Änderung vom 9. Oktober verschiebt diese Architektur nicht; sie macht deren Grundlagen sichtbarer, samt der Verantwortung, die mit ihnen einhergeht.

Quellen

Weiterlesen : Cloudflare und OpenAI: Gefunden werden reicht nicht · Wenn KI Artikel nutzt: Wer zahlt und wie belegt man es?

Quellen