Étude partenaire · Septembre 2026
Détecter les fichiers llms.txt : ce que montre l’analyse de 2 000 domaines
Cette étude avec Firecrawl a identifié 192 fichiers reconnaissables sur 2 000 domaines et examine pourquoi une réponse HTTP de succès exige encore une vérification du contenu.
· llmtxt.info
Ce que mesure l’étude
Un site peut publier un fichier texte llms.txt pour présenter son contenu et orienter les outils utilisant des modèles de langage vers des pages utiles, sans que cela garantisse sa découverte ou son utilisation par un système d’IA.
Une requête vers /llms.txt peut réussir sans renvoyer le fichier attendu. Cette étude menée avec Firecrawl examine cette distinction sur 2 000 domaines sélectionnés dans Tranco, un classement de domaines par popularité conçu pour la recherche. Les observations principales datent du 2 septembre 2026.
Le croisement d’une extraction Firecrawl et d’un contrôle HTTP direct a permis de reconnaître 192 fichiers, soit 9,60 % de l’échantillon, à l’adresse testée sur chaque domaine. Ce résultat mesure la détection de fichiers ; il ne démontre ni leur lecture par un système d’IA, ni leur effet sur le référencement ou les réponses. Les effectifs présentés ici sont fournis par notre partenaire de recherche ; la source et les contributions respectives sont précisées à la fin de cette page.
Cette étude est distincte du panel sélectionné et suivi régulièrement par l’Observatoire. Sa population et ses règles de reconnaissance diffèrent. Les deux séries de pourcentages ne doivent pas être combinées ni interprétées comme une évolution.
Trois résultats sur 2 000 domaines
Voir les chiffres du graphique en tableau
| Résultat | Nombre | Part de la base |
|---|---|---|
| Fichiers reconnus | 192 | 9,60 % |
| Adresses testables sans fichier reconnu | 1 226 | 61,30 % |
| Adresses non testables | 582 | 29,10 % |
Pour 192 domaines, un fichier a été reconnu. 1 226 autres adresses ont pu être examinées sans fichier reconnu : 965 renvoient une erreur HTTP 404, indiquant une ressource non trouvée, et 261 relèvent d’autres catégories.
Les 582 adresses restantes n’ont pas pu être testées. Un blocage ou un délai dépassé ne démontre pas l’absence d’un fichier. Les 1 808 domaines sans fichier reconnu ne peuvent donc pas tous être présentés comme des absences confirmées.
Deux façons de présenter le résultat sont utiles, à condition d’expliciter la base de calcul :
| Base de calcul | Fichiers reconnus | Proportion |
|---|---|---|
| Tous les domaines de l’échantillon | 192 / 2 000 | 9,60 % |
| Adresses testables uniquement | 192 / 1 418 | 13,54 % |
La seconde proportion est plus élevée parce que son calcul exclut les 582 adresses inaccessibles, qui peuvent différer systématiquement des adresses accessibles ; le nombre de fichiers reconnus reste le même. Les intervalles de Wilson à 95 % calculés sont de 8,39 % à 10,97 % pour les 2 000 domaines et de 11,86 % à 15,42 % pour les 1 418 adresses testables. Ils décrivent une incertitude statistique sous un modèle binomial. Ils ne couvrent ni les erreurs de classement, ni les biais de sélection ou d’accès, et ne doivent pas être lus comme une estimation pour l’ensemble du Web.
Pourquoi une réponse HTTP 200 ne suffit pas
Le statut HTTP 200 indique que le serveur a renvoyé une réponse de succès. Il ne permet pas de l’identifier comme un fichier llms.txt.
Sur 405 réponses HTTP 200 directes, le pilote reconnaît 177 fichiers. Les 228 autres réponses, soit 56,30 %, relèvent de quatre catégories différentes. Ce total concerne uniquement le contrôle HTTP direct ; le résultat global de 192 fichiers croise les deux méthodes.
Voir les chiffres du graphique en tableau
| Résultat | Nombre | Part de la base |
|---|---|---|
| Fichiers reconnus | 177 | 43,70 % |
| Anomalies de redirection | 154 | 38,02 % |
| Soft 404 | 60 | 14,81 % |
| Structures HTML génériques | 7 | 1,73 % |
| Formats invalides | 7 | 1,73 % |
- 154 anomalies de redirection : le chemin d’arrivée ne respecte pas la règle du pilote, qui attend une terminaison
.txt,.mdou.markdown. Ce classement porte sur l’adresse ; il ne prouve pas à lui seul que la destination est en panne. - 60 soft 404 : des pages d’erreur renvoyées avec un statut de succès.
- 7 structures génériques d’application HTML : une réponse d’application à la place du fichier texte attendu.
- 7 formats invalides : une catégorie distincte de contenu non reconnu.
Ces catégories appellent des investigations différentes. Vérifier l’adresse finale, le contenu de la réponse et sa structure est plus informatif que compter les seuls codes de succès. Les pourcentages du graphique sont arrondis indépendamment.
Ce qu’apporte le croisement des deux méthodes
Voir les chiffres du graphique en tableau
| Résultat | Nombre | Part de la base |
|---|---|---|
| Deux sources | 176 | 91,67 % |
| Firecrawl uniquement | 15 | 7,81 % |
| HTTP direct uniquement | 1 | 0,52 % |
Sur les 192 fichiers, 176 sont reconnus par les deux sources, 15 par Firecrawl uniquement et un par HTTP direct uniquement. Ce graphique prend 192 fichiers comme base, contrairement aux 2 000 domaines du premier graphique ou aux 405 réponses du graphique HTTP.
Parmi les 16 fichiers reconnus par une seule source, 15 correspondent à un accès bloqué ou injoignable pour l’autre source. Il ne s’agit pas de deux lectures opposées du même contenu : l’une des méthodes n’a pas de réponse qu’elle puisse évaluer. Dans le dernier cas, Firecrawl reconnaît un fichier tandis que HTTP direct classe sa réponse comme une soft 404 ; le pilote comprend un arbitrage manuel de ce cas.
Les délais maximaux étaient de 30 secondes pour Firecrawl et 10 secondes pour HTTP direct. Cette différence constitue une limite connue de la méthode utilisée dans le pilote. Son effet n’a été établi dans aucun des deux sens. Firecrawl indique qu’une réplication avec des délais identiques est prévue.
Ce que vous pouvez vérifier sur votre site
Utilisez ces résultats pour interpréter vos contrôles. Les actions suivantes sont des recommandations pratiques, pas des résultats mesurés dans le pilote.
Votre adresse renvoie HTTP 200
Lisez le corps de la réponse pour déterminer s’il contient le fichier texte ou Markdown attendu, une structure d’application ou un message d’erreur. Une fois le contenu identifié, examinez ses titres et ses liens pour évaluer le fichier lui-même.
Votre requête est redirigée
Examinez l’adresse finale et le contenu qui y est renvoyé. La règle d’extension du pilote est une règle de détection, pas un test universel de l’utilité d’une redirection ou du bon fonctionnement d’une page.
Votre requête est bloquée ou dépasse le délai
Conservez ce résultat séparément d’une absence de fichier. Notez l’échec d’accès et répétez le contrôle lorsque c’est pertinent. Une réponse ultérieure peut éclaircir l’accessibilité, mais ne reconstitue pas l’état historique du site.
Votre fichier est reconnu
Vérifiez l’utilité et l’exactitude du contenu et des liens. La détection du fichier ne démontre pas son utilisation par un agent. Une affirmation sur les citations, le référencement ou la qualité des réponses exige des mesures distinctes.
Interrogez un fichier public pour examiner sa réponse, ou validez un texte que vous possédez déjà. Ces outils du site appliquent leurs propres contrôles ; leurs résultats ne sont pas une réexécution du pilote historique. Pour approfondir la distinction entre publication et utilisation, lisez Adoption n’est pas usage.
Méthode et limites
L’échantillon est sélectionné de façon déterministe dans une liste Tranco d’un million de domaines. Les mêmes règles appliquées à la même liste reproduisent la sélection. Chaque requête vise l’hôte exact sélectionné en HTTPS, au chemin /llms.txt. Aucune recherche supplémentaire ne couvre les variantes www, HTTP, les sous-domaines documentaires ou les autres chemins.
La reconnaissance vise une réponse texte ou Markdown réussie, non HTML, avec au moins un titre H1 hors d’un bloc de code. En Markdown, un H1 est un titre principal écrit sous la forme # Titre ; un bloc de code est une zone affichée comme un exemple de code ou de texte littéral. Il s’agit du critère de détection de l’étude, pas d’une certification complète du format.
Le détecteur initial pouvait prendre un H1 présent dans un bloc de code pour un titre du fichier. Firecrawl a réexaminé la logique de détection concernée et confirmé qu’aucun des 192 fichiers reconnus n’était affecté. Firecrawl indique que 189 fichiers ont pu être vérifiés à partir des données conservées ; les trois autres ont été récupérés à nouveau, vérifiés par empreinte comme identiques octet par octet aux réponses originales du 2 septembre, puis reclassés sans changement des résultats. Selon Firecrawl, le cas distinct de page d’erreur textuelle commençant par # Page not found ne touchait lui non plus aucun résultat positif.
Le pilote relève aussi un H1 en ouverture dans 174 des 192 fichiers (90,63 %). Ces métriques de structure utilisent la représentation extraite par Firecrawl pour 191 fichiers et le contenu HTTP direct pour un fichier. Ce n’est pas une mesure de qualité du contenu ni d’utilité pour un agent.
Les délais différents des deux sources ne permettent pas de conclure à la supériorité d’un outil. Les observations ne démontrent pas non plus un effet certain sur le référencement, les citations ou la qualité des réponses. Ces questions demandent d’autres mesures et seront l’occasion de travailler à d’autres rapports.
Sources et contributions
Résultats du pilote llms.txt sur 2 000 domaines, septembre 2026, fournis par Firecrawl. Observations principales du 2 septembre. Firecrawl est le partenaire de recherche et fournit les effectifs, les classifications et les précisions sur les contrôles de classification, dont sa confirmation du 16 septembre 2026. llmtxt.info propose l’analyse et l’interprétation, dont il reste responsable, y compris les proportions calculées. Ce crédit de recherche ne signifie pas que Firecrawl approuve chaque formulation.
Cette page donne accès aux résultats et à leur méthode de calcul. Les observations détaillées sont conservées dans le cadre du partenariat et ne sont pas diffusées ; leur classement ne peut donc pas être vérifié individuellement à partir de cette publication.
- Tranco : un classement de domaines conçu pour la recherche. Ce lien explique la base de sélection ; ce n’est pas le jeu de données du pilote.
Pour une question sur ces résultats, utilisez la page de corrections du site.
Pour citer cette étude : llmtxt.info, Détecter les fichiers llms.txt : ce que montre l’analyse de 2 000 domaines. Partenaire de recherche : Firecrawl. Observations : 2 septembre 2026. Conservez la base de calcul et les limites de classification avec chaque chiffre repris.