Qui récupère llms.txt ? Les agents, pas la recherche IA

La répartition mesurée

Ahrefs a classé chaque user-agent ayant requêté /llms.txt sur 137 210 domaines en mai 2026, en douze catégories. Seuls 3 % des quelque 38 000 fichiers acceptés ont reçu la moindre requête, soit environ 1 100 fichiers dans ce panel technique. La répartition ci-dessous décrit ces requêtes, pas la population complète ni ce qu’un modèle a finalement utilisé.

Quatre catégories passent devant toutes les catégories IA prises individuellement :

Catégorie	Part des requêtes
Outils d’audit SEO	21,7 %
Autres et non identifiés	14,9 %
Crawlers web généralistes	13,1 %
Outils de profilage technique	11,6 %

Cumulés, les bots IA identifiés pèsent 19,5 %. Répartis selon leur fonction, l’image devient nettement plus nette :

Type de bot IA	Part
Agents IA et infrastructure agentique	10,5 %
Crawlers d’entraînement	5,3 %
Assistants IA	2,5 %
Bots de récupération pour la recherche IA	1,1 %

S’y ajoutent 12 % venant d’une industrie qui étudie la convention plutôt qu’elle ne la consomme : outils de scoring GEO et AEO à 5,8 %, scanners et annuaires dédiés à llms.txt à 3,6 %, crawlers de recherche académique à 2,7 %.

Une comparaison rend l’échelle lisible : Slackbot, un bot de prévisualisation de liens, a récupéré ces fichiers plus souvent que PerplexityBot.

Les agents dominent les récupérations IA mesurées

La dernière ligne du second tableau est celle sur laquelle il faut s’arrêter. Les bots de récupération IA, ceux qui vont chercher des pages pour répondre à une requête utilisateur en direct dans un produit de recherche IA, comme OAI-SearchBot et PerplexityBot, pèsent 1,1 % de toutes les requêtes mesurées. Ahrefs rapporte qu’OAI-SearchBot, PerplexityBot et le crawler de recherche de Claude cumulent à peine quelques centaines de récupérations.

Pendant ce temps, les agents IA et leur infrastructure pèsent 10,5 %, et Claude-Code y récupère plus de fichiers que n’importe quel bot de recherche, assistant ou crawler d’entraînement.

Cela rejoint, plutôt qu’il ne contredit, la position de Google. Comme nous le détaillons dans Google utilise-t-il llms.txt, John Mueller affirme publiquement qu’aucun service d’IA n’a déclaré utiliser le fichier, et il l’a comparé à la balise meta keywords : une déclaration d’un éditeur sur lui-même, qu’un système vérifie à moindre coût en lisant directement le site.

Les crawlers d’entraînement forment la deuxième catégorie IA à 5,3 %, soit près de cinq fois plus de récupérations que les bots de recherche. Si le fichier influence quelque chose, les données pointent vers l’amont, la constitution des corpus, plutôt que vers le moment où une réponse est assemblée.

Ce que ça change à ce qu’on écrit

Si l’un des destinataires visés est un agent de code travaillant pour un développeur, plusieurs réflexes habituels sont à revoir.

Les pages marketing sont les mauvaises entrées. Un agent à qui l’on demande « comment s’authentifier sur cette API » a besoin de la page de référence, des codes d’erreur et d’un exemple qui tourne. Votre page tarifs ne l’aide pas. Nos bonnes pratiques posent le principe ; les données de lectorat le rendent concret.

La structure vaut mieux que l’exhaustivité. La spécification décrit un index curé, pas un sitemap. Un fichier qui liste quarante pages ne fait gagner aucun temps à un agent, puisqu’il doit encore choisir. Douze entrées bien décrites font le travail.

Ce sont les descriptions qui portent le signal. La description de chaque lien est la seule chose qu’un agent voit avant de décider s’il dépense une récupération. « Référence API » ne sert presque à rien. « Endpoints REST, en-têtes d’authentification, limites de débit et codes d’erreur » est une décision de routage.

Envisagez llms-full.txt si votre documentation est le produit. Là où le but est de tendre le contenu à un agent plutôt qu’une carte, le fichier compagnon existe pour ça ; voir ce qu’est llms-full.txt.

Et, conformément au constat que nous avons couvert dans aucun agent IA ne va chercher votre llms.txt, rien de tout cela ne compte tant que quelque chose n’a pas signalé à l’agent que le fichier existe.

Tous ces chiffres sont des plafonds

Ahrefs le dit explicitement, et il faut le répéter plutôt que l’enterrer : une requête dans un log prouve qu’un client a rapatrié les octets. Elle ne prouve rien sur le fait que le modèle les ait lus, utilisés ou jetés. Leur part IA de 19,5 % est donc la lecture la plus généreuse possible de la consommation par les IA, pas une estimation de celle-ci.

Leur population penche par ailleurs vers le technique, puisqu’elle vient de leurs propres clients analytics, ce qui les conduit à présenter leur chiffre de 28 % d’adoption comme une borne haute. Notre propre panel d’adoption mesure une tout autre population et n’est pas comparable.