Estudio en colaboración · Septiembre de 2026
Detectar archivos llms.txt: qué muestra el análisis de 2.000 dominios
Este estudio con Firecrawl identificó 192 archivos reconocibles en 2.000 dominios y examina por qué una respuesta HTTP exitosa aún exige verificar el contenido.
· llmtxt.info
Qué mide el estudio
Un sitio web puede publicar un archivo de texto llms.txt para presentar sus contenidos y orientar las herramientas basadas en modelos de lenguaje hacia páginas útiles. Publicarlo no garantiza que un sistema de IA lo encuentre o lo utilice.
Una solicitud a /llms.txt puede completarse con éxito sin devolver el archivo esperado. Este estudio, realizado con Firecrawl, examina esa diferencia en 2.000 dominios seleccionados de Tranco, una clasificación de popularidad de dominios diseñada para investigación. Las observaciones principales se recogieron el 2 de septiembre de 2026.
La combinación de una extracción con Firecrawl y una comprobación HTTP directa identificó 192 archivos, el 9,60 % de la muestra, en la dirección examinada de cada dominio. Se mide la detección de archivos, no su lectura por sistemas de IA ni su efecto sobre la visibilidad en buscadores o las respuestas. Todos los recuentos del estudio proceden de nuestro socio de investigación; las fuentes y contribuciones se detallan al final.
Este estudio es independiente del panel seleccionado que el Observatorio analiza periódicamente. La población y las reglas de reconocimiento son distintas. Sus porcentajes no deben combinarse ni interpretarse como una tendencia.
Tres resultados entre 2.000 dominios
Ver los valores del gráfico en una tabla
| Resultado | Cantidad | Proporción |
|---|---|---|
| Archivos reconocidos | 192 | 9,60 % |
| Comprobables, sin archivo reconocido | 1.226 | 61,30 % |
| Direcciones no comprobables | 582 | 29,10 % |
En 192 dominios se reconoció un archivo. Otras 1.226 direcciones pudieron examinarse sin reconocer ningún archivo: 965 devolvieron HTTP 404, que indica un recurso no encontrado, y 261 correspondieron a otras categorías.
Las 582 direcciones restantes no pudieron comprobarse. Un bloqueo o un tiempo de espera agotado no demuestra que el archivo no exista. Por eso, los 1.808 dominios sin archivo reconocido no pueden describirse en su totalidad como ausencias confirmadas.
Hay dos maneras útiles de expresar el resultado, siempre que se indique la base de cálculo:
| Base de cálculo | Archivos reconocidos | Proporción |
|---|---|---|
| Todos los dominios de la muestra | 192 / 2.000 | 9,60 % |
| Solo direcciones comprobables | 192 / 1.418 | 13,54 % |
La segunda proporción es mayor porque excluye las 582 direcciones inaccesibles, que pueden diferir sistemáticamente de las accesibles. El número de archivos reconocidos no cambia. Los intervalos de Wilson calculados al 95 % son del 8,39 % al 10,97 % para los 2.000 dominios y del 11,86 % al 15,42 % para las 1.418 direcciones comprobables. Describen la incertidumbre estadística bajo un modelo binomial. No incluyen errores de clasificación ni sesgos de selección o acceso, y no deben interpretarse como una estimación de toda la web.
Por qué una respuesta HTTP 200 no basta
El estado HTTP 200 indica que el servidor ha respondido con éxito. No identifica el contenido como un archivo llms.txt.
Entre 405 respuestas HTTP 200 directas, el piloto reconoce 177 archivos. Las otras 228 respuestas, el 56,30 %, pertenecen a cuatro categorías. Este total corresponde a la comprobación HTTP directa; el resultado global de 192 archivos combina los dos métodos.
Ver los valores del gráfico en una tabla
| Resultado | Cantidad | Proporción |
|---|---|---|
| Archivos reconocidos | 177 | 43,70 % |
| Anomalías de redirección | 154 | 38,02 % |
| Errores 404 suaves | 60 | 14,81 % |
| Estructuras HTML genéricas | 7 | 1,73 % |
| Formatos no válidos | 7 | 1,73 % |
- 154 anomalías de redirección: la ruta de destino no cumple la regla del piloto que exige terminar en
.txt,.mdo.markdown. Esto clasifica la dirección; por sí solo no demuestra que el destino falle. - 60 errores 404 suaves: páginas de error devueltas con un estado de éxito.
- 7 estructuras HTML genéricas de aplicaciones: una respuesta de aplicación en lugar del archivo de texto esperado.
- 7 formatos no válidos: una categoría distinta de contenido no reconocido.
Cada categoría requiere comprobaciones diferentes. Examinar la dirección final, el contenido y su estructura informa más que contar únicamente los códigos de éxito. Los porcentajes del gráfico se redondean por separado.
Qué aporta comparar los dos métodos
Ver los valores del gráfico en una tabla
| Resultado | Cantidad | Proporción |
|---|---|---|
| Ambas fuentes | 176 | 91,67 % |
| Solo Firecrawl | 15 | 7,81 % |
| Solo HTTP directo | 1 | 0,52 % |
De los 192 archivos, 176 son reconocidos por ambas fuentes, 15 solo por Firecrawl y uno solo por HTTP directo. La base de este gráfico son 192 archivos, no los 2.000 dominios del primero ni las 405 respuestas del gráfico HTTP.
De los 16 archivos reconocidos por una sola fuente, 15 corresponden a accesos bloqueados o inalcanzables para la otra fuente. No son interpretaciones contradictorias del mismo contenido: un método carece de una respuesta que pueda evaluar. En el caso restante, Firecrawl reconoce un archivo mientras HTTP directo clasifica su respuesta como un error 404 suave; el piloto incluye una evaluación manual de ese caso.
Los límites de espera fueron de 30 segundos para Firecrawl y 10 segundos para HTTP directo. Esta asimetría es una limitación conocida del método aplicado. Su efecto no se ha establecido en ninguna dirección. Firecrawl indica que está prevista una réplica con tiempos de espera iguales.
Qué puedes comprobar en tu sitio
Utiliza los resultados para orientar tus comprobaciones. Estas acciones son recomendaciones prácticas, no efectos medidos por el piloto.
La dirección devuelve HTTP 200
Lee el contenido de la respuesta para determinar si contiene el archivo de texto o Markdown esperado, una estructura de aplicación o un mensaje de error. Después examina sus encabezados y enlaces para evaluar el archivo.
La solicitud se redirige
Comprueba la dirección final y el contenido devuelto. La regla de extensión del piloto sirve para detectar archivos; no es una prueba universal de que una redirección sea útil o una página funcione.
La solicitud se bloquea o agota el tiempo de espera
Conserva este resultado separado de «archivo ausente». Registra el fallo de acceso y repite la comprobación cuando proceda. Una respuesta posterior puede aclarar la accesibilidad, pero no reconstruye el estado histórico del sitio.
El archivo es reconocido
Comprueba la utilidad y exactitud del contenido y los enlaces. La detección no demuestra su uso por un agente. Las afirmaciones sobre citas, visibilidad en buscadores o calidad de respuestas requieren mediciones independientes.
Consulta un archivo público (herramienta en inglés) para examinar su respuesta o valida un texto que ya tengas. Estas herramientas realizan sus propias comprobaciones; no repiten el piloto histórico. Para profundizar en la diferencia entre publicación y uso, consulta Adoption is not usage (en inglés).
Método y limitaciones
La muestra se seleccionó de forma determinista a partir de una lista Tranco de un millón de dominios. Aplicar las mismas reglas a la misma lista reproduce la selección. Cada solicitud examina el host exacto seleccionado, mediante HTTPS y en la ruta /llms.txt. No se buscan adicionalmente variantes www, HTTP, subdominios de documentación u otras rutas.
El reconocimiento exige una respuesta de texto o Markdown satisfactoria, no HTML, con al menos un encabezado H1 fuera de un bloque de código. En Markdown, un H1 es un encabezado principal como # Título; un bloque de código muestra un ejemplo de código o texto literal. Es el criterio de detección del estudio, no una certificación completa del formato.
El detector inicial podía confundir un H1 dentro de un bloque de código con un encabezado del archivo. Firecrawl revisó la lógica afectada y confirmó que ninguno de los 192 archivos reconocidos se vio afectado. Según Firecrawl, 189 pudieron verificarse con los datos almacenados. Los otros tres se recuperaron de nuevo, se verificó mediante sumas de comprobación que eran idénticos byte a byte a las respuestas originales del 2 de septiembre y se reclasificaron sin cambios. Según Firecrawl, el caso separado de una página de error de texto que comenzaba por # Page not found tampoco afectó a ningún resultado positivo.
El piloto también registra un H1 al inicio en 174 de los 192 archivos (90,63 %). Estas métricas estructurales utilizan la representación extraída por Firecrawl para 191 archivos y el contenido HTTP directo para uno. No miden la calidad del contenido ni su utilidad para un agente.
Los distintos tiempos de espera no permiten concluir que una herramienta sea superior. Las observaciones tampoco establecen un efecto cierto sobre la visibilidad en buscadores, las citas o la calidad de las respuestas. Estas cuestiones requieren otras mediciones y podrán dar lugar a futuros informes.
Fuentes y contribuciones
Resultados del piloto llms.txt sobre 2.000 dominios, septiembre de 2026, proporcionados por Firecrawl. Observaciones principales del 2 de septiembre. Firecrawl es el socio de investigación y facilita recuentos, clasificaciones e información sobre sus comprobaciones, incluida su confirmación del 16 de septiembre de 2026. llmtxt.info aporta y asume la responsabilidad del análisis y la interpretación, incluidas las proporciones calculadas. Este reconocimiento no significa que Firecrawl respalde cada formulación.
Esta página ofrece los resultados y su método de cálculo. Las observaciones detalladas se conservan dentro de la colaboración y no se difunden; por tanto, sus clasificaciones no pueden verificarse individualmente a partir de esta publicación.
- Tranco: una clasificación de dominios para investigación. Este enlace explica el marco de selección; no es el conjunto de datos del piloto.
Para preguntas sobre los resultados, utiliza la página de correcciones (en inglés).
Cómo citar este estudio: llmtxt.info, Detectar archivos llms.txt: qué muestra el análisis de 2.000 dominios. Socio de investigación: Firecrawl. Observaciones: 2 de septiembre de 2026. Conserva la base de cálculo y los límites de clasificación al citar cualquier cifra.