Studio in collaborazione · Settembre 2026
Rilevare i file llms.txt: che cosa mostra l’analisi di 2.000 domini
Questo studio con Firecrawl ha identificato 192 file riconoscibili su 2.000 domini e spiega perché una risposta HTTP riuscita richiede comunque una verifica del contenuto.
· llmtxt.info
Che cosa misura lo studio
Un sito può pubblicare un file di testo llms.txt per presentare i propri contenuti e indirizzare gli strumenti basati su modelli linguistici verso pagine utili. Pubblicarlo non garantisce che un sistema di IA lo trovi o lo utilizzi.
Una richiesta a /llms.txt può riuscire senza restituire il file atteso. Questo studio, condotto con Firecrawl, esamina tale differenza su 2.000 domini selezionati da Tranco, una classifica della popolarità dei domini progettata per la ricerca. Le osservazioni principali sono state raccolte il 2 settembre 2026.
Combinando un’estrazione con Firecrawl e una verifica HTTP diretta sono stati identificati 192 file, pari al 9,60 % del campione, all’indirizzo esaminato per ciascun dominio. Si misura il rilevamento dei file, non la loro lettura da parte di sistemi di IA né gli effetti sulla visibilità nei motori di ricerca o sulle risposte. Tutti i conteggi provengono dal partner di ricerca; fonti e contributi sono indicati alla fine della pagina.
Lo studio è distinto dal panel selezionato che l’Osservatorio esamina regolarmente. La popolazione e le regole di riconoscimento sono diverse. Le percentuali non vanno combinate né interpretate come una tendenza temporale.
Tre esiti su 2.000 domini
Leggere i valori del grafico in tabella
| Esito | Numero | Percentuale |
|---|---|---|
| File riconosciuti | 192 | 9,60 % |
| Verificabili, senza file riconosciuto | 1.226 | 61,30 % |
| Indirizzi non verificabili | 582 | 29,10 % |
Per 192 domini è stato riconosciuto un file. Altri 1.226 indirizzi erano verificabili, ma senza un file riconosciuto: 965 hanno restituito HTTP 404, cioè risorsa non trovata, e 261 rientravano in altre categorie.
I restanti 582 indirizzi non erano verificabili. Un blocco o un timeout non dimostra l’assenza del file. Per questo i 1.808 domini senza file riconosciuto non possono essere tutti descritti come assenze accertate.
Il risultato può essere espresso in due modi utili, purché la base di calcolo sia esplicita:
| Base di calcolo | File riconosciuti | Proporzione |
|---|---|---|
| Tutti i domini del campione | 192 / 2.000 | 9,60 % |
| Solo indirizzi verificabili | 192 / 1.418 | 13,54 % |
La seconda proporzione è maggiore perché esclude i 582 indirizzi inaccessibili, che potrebbero differire sistematicamente da quelli accessibili. Il numero di file riconosciuti resta invariato. Gli intervalli di Wilson calcolati al 95 % sono dall’8,39 % al 10,97 % per tutti i 2.000 domini e dall’11,86 % al 15,42 % per i 1.418 indirizzi verificabili. Descrivono l’incertezza statistica secondo un modello binomiale. Non includono errori di classificazione o distorsioni di selezione e accesso, e non sono una stima dell’intero web.
Perché una risposta HTTP 200 non basta
Lo stato HTTP 200 indica una risposta riuscita del server. Non identifica il contenuto come un file llms.txt.
Tra 405 risposte HTTP 200 dirette, il progetto pilota riconosce 177 file. Le altre 228 risposte, pari al 56,30 %, appartengono a quattro categorie. Il totale riguarda solo HTTP diretto; i 192 file complessivi derivano dalla combinazione dei due metodi.
Leggere i valori del grafico in tabella
| Esito | Numero | Percentuale |
|---|---|---|
| File riconosciuti | 177 | 43,70 % |
| Anomalie di reindirizzamento | 154 | 38,02 % |
| Soft 404 | 60 | 14,81 % |
| Strutture HTML generiche | 7 | 1,73 % |
| Formati non validi | 7 | 1,73 % |
- 154 anomalie di reindirizzamento: il percorso di destinazione non rispetta la regola del pilota che richiede un’estensione
.txt,.mdo.markdown. È una classificazione dell’indirizzo, non una prova che la destinazione non funzioni. - 60 soft 404: pagine di errore restituite con uno stato di successo.
- 7 strutture HTML generiche di applicazioni: una risposta applicativa al posto del file di testo atteso.
- 7 formati non validi: una categoria distinta di contenuti non riconosciuti.
Queste categorie richiedono verifiche diverse. Esaminare indirizzo finale, contenuto e struttura è più informativo che contare soltanto i codici di successo. Le percentuali del grafico sono arrotondate separatamente.
Che cosa aggiunge il confronto dei metodi
Leggere i valori del grafico in tabella
| Esito | Numero | Percentuale |
|---|---|---|
| Entrambe le fonti | 176 | 91,67 % |
| Solo Firecrawl | 15 | 7,81 % |
| Solo HTTP diretto | 1 | 0,52 % |
Dei 192 file, 176 sono riconosciuti da entrambe le fonti, 15 solo da Firecrawl e uno solo da HTTP diretto. La base di questo grafico è costituita da 192 file, non dai 2.000 domini del primo grafico né dalle 405 risposte del grafico HTTP.
Dei 16 file riconosciuti da una sola fonte, 15 riguardano accessi bloccati o irraggiungibili per l’altra fonte. Non sono interpretazioni opposte dello stesso contenuto: uno dei metodi non dispone di una risposta valutabile. Nel caso restante Firecrawl riconosce un file, mentre HTTP diretto classifica la propria risposta come soft 404; il pilota comprende una valutazione manuale del caso.
I limiti di attesa erano di 30 secondi per Firecrawl e 10 secondi per HTTP diretto. Questa asimmetria è un limite noto del metodo applicato. Il suo effetto non è stato accertato in nessuna delle due direzioni. Firecrawl dichiara che è prevista una replica con timeout identici.
Che cosa verificare sul proprio sito
Usa i risultati come guida per le tue verifiche. Le azioni seguenti sono raccomandazioni pratiche, non effetti misurati nel pilota.
L’indirizzo restituisce HTTP 200
Leggi il corpo della risposta per capire se contiene il file di testo o Markdown atteso, una struttura applicativa o un messaggio di errore. Poi esamina titoli e link per valutare il file stesso.
La richiesta viene reindirizzata
Esamina l’indirizzo finale e il contenuto restituito. La regola sulle estensioni è un criterio di rilevamento del pilota, non una verifica universale dell’utilità di un reindirizzamento o del funzionamento di una pagina.
La richiesta viene bloccata o supera il timeout
Tieni questo risultato distinto da «file assente». Registra l’errore di accesso e ripeti la verifica quando opportuno. Una risposta successiva può chiarire l’accessibilità, ma non ricostruisce lo stato storico del sito.
Il file viene riconosciuto
Verifica utilità e accuratezza di contenuti e link. Il rilevamento non dimostra l’uso da parte di un agente. Affermazioni su citazioni, visibilità nei motori di ricerca o qualità delle risposte richiedono misurazioni separate.
Recupera un file pubblico (strumento in inglese) per esaminarne la risposta oppure valida un testo già disponibile. Questi strumenti eseguono controlli propri e non ripetono il pilota storico. Per la distinzione tra pubblicazione e uso, leggi Adoption is not usage (in inglese).
Metodo e limiti
Il campione è stato selezionato in modo deterministico da una lista Tranco di un milione di domini. Le stesse regole applicate alla stessa lista riproducono la selezione. Ogni richiesta riguarda l’esatto host selezionato, tramite HTTPS al percorso /llms.txt. Non vengono cercate ulteriori varianti www, HTTP, sottodomini di documentazione o altri percorsi.
Il riconoscimento richiede una risposta riuscita in testo o Markdown, non HTML, con almeno un titolo H1 fuori da un blocco di codice. In Markdown, un H1 è un titolo principale come # Titolo; un blocco di codice mostra codice di esempio o testo letterale. È il criterio di rilevamento dello studio, non una certificazione completa del formato.
Il rilevatore iniziale poteva scambiare un H1 in un blocco di codice per un titolo del file. Firecrawl ha riesaminato la logica interessata e confermato che nessuno dei 192 file riconosciuti era stato influenzato. Secondo Firecrawl, 189 file erano verificabili dai dati conservati. Gli altri tre sono stati recuperati nuovamente, verificati tramite checksum come identici byte per byte alle risposte originali del 2 settembre e riclassificati senza cambiamenti. Sempre secondo Firecrawl, il caso distinto di una pagina di errore testuale che iniziava con # Page not found non riguardava alcun risultato positivo.
Il pilota registra inoltre un H1 iniziale in 174 dei 192 file (90,63 %). Queste metriche strutturali utilizzano la rappresentazione estratta da Firecrawl per 191 file e il contenuto HTTP diretto per un file. Non misurano la qualità dei contenuti né l’utilità per un agente.
I diversi timeout non consentono di concludere che uno strumento sia superiore. Le osservazioni non dimostrano neppure un effetto certo su visibilità nei motori di ricerca, citazioni o qualità delle risposte. Servono altre misurazioni, che potranno alimentare rapporti futuri.
Fonti e contributi
Risultati del pilota llms.txt su 2.000 domini, settembre 2026, forniti da Firecrawl. Osservazioni principali del 2 settembre. Firecrawl è il partner di ricerca e fornisce conteggi, classificazioni e informazioni sulle verifiche, compresa la conferma del 16 settembre 2026. llmtxt.info è responsabile dell’analisi e dell’interpretazione, incluse le proporzioni calcolate. Il riconoscimento del contributo non implica che Firecrawl approvi ogni formulazione.
Questa pagina presenta risultati e metodo di calcolo. Le osservazioni dettagliate restano nell’ambito della collaborazione e non vengono diffuse; le singole classificazioni non sono quindi verificabili da questa pubblicazione.
- Tranco: una classifica di domini per la ricerca. Il link descrive la base di selezione; non è il dataset del pilota.
Per domande sui risultati usa la pagina delle correzioni (in inglese).
Come citare lo studio: llmtxt.info, Rilevare i file llms.txt: che cosa mostra l’analisi di 2.000 domini. Partner di ricerca: Firecrawl. Osservazioni: 2 settembre 2026. Mantieni la base di calcolo e i limiti di classificazione quando citi una cifra.