John Mueller de Google respondió una pregunta sobre LLMS.TXT, un estándar propuesto para mostrar contenido del sitio web a agentes de IA y rastreadores, minimizando su utilidad y comparándolo con la meta etiqueta de palabras clave inútiles, confirmando la experiencia de otros que lo han usado.
Llms.txt
LLMS.TXT se ha comparado con como robots.txt para modelos de idiomas grandes, pero eso es 100% incorrecto. El objetivo principal de un robots.txt es controlar cómo los bots rastrean un sitio web. La propuesta para LLMS.TXT no se trata de controlar bots. Eso sería superfluo porque un estándar para eso ya existe con robots.txt.
La propuesta para LLMS.TXT generalmente se trata de mostrar contenido a LLM con un archivo de texto que utiliza el formato de Markdown para que puedan consumir solo el contenido principal de una página web, completamente desprovista de publicidad y navegación del sitio. El lenguaje de Markdown es un formato humano y legible a máquina que indica encabezados con el signo de libra (#) y listas con el signo menos (-). LLMS.TXT hace algunas otras cosas similares a esa funcionalidad y de eso se trata.
Lo que llms.txt es:
- LLMS.TXT no es una forma de controlar los bots AI.
- LLMS.TXT es una forma de mostrar el contenido principal a los bots de IA.
- LLMS.TXT es solo una propuesta y no un estándar ampliamente utilizado y aceptado.
Esa última parte es importante porque se relaciona con lo que dijo John Mueller de Google:
Llms.txt es comparable a las palabras clave meta etiqueta
Alguien comenzó una discusión sobre Reddit sobre LLMS.txt para preguntar si alguien más compartió su experiencia que los bots de IA no estaban revisando sus archivos LLMS.txt.
Ellos escribieron:
«He enviado al archivo Root An LLM.Txt de mi blog a principios de este mes, pero aún no puedo ver ningún impacto en mis registros de rastreo. Solo por curiosidad por saber si alguien tenía un sistema de seguimiento en su lugar, E o simplemente si eligió algo que continúe después de la implementación.
Si aún no lo ha implementado, tengo curiosidad por escuchar sus pensamientos sobre eso ”.
Una persona en esa discusión compartió que alojan más de 20,000 dominios y que no hay agentes o bots de IA descargando los archivos LLMS.txt, solo bots de nicho como uno de Builtwith está tomando esos archivos.
El comentarista escribió:
«Actualmente alberga unos 20k dominios. Puede confirmar que ningún bots realmente los está agarrando de algunos agentes de usuarios de nicho …»
John Mueller respondió:
«AFAIK Ninguno de los servicios de IA ha dicho que están usando LLMS.txt (y puede saber cuándo observa los registros de su servidor que ni siquiera lo verifican). Para mí, es comparable a las palabras clave meta etiqueta: esto es lo que un sitio-propietario afirma que su sitio está sobre … (¿es realmente así? Bueno, bueno, puede verificarlo. En ese momento, ¿por qué no verificar el sitio directamente?)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») «)») ¡?) «)») «)») «)») «)») «)») «)») «)») «)»)
Tiene razón, ninguno de los principales servicios de IA, Anthrope, OpenAI y Google, ha anunciado soporte para el estándar propuesto de LLMS.TXT. Entonces, si ninguno de ellos lo está usando, ¿cuál es el punto?
Mueller también plantea el punto de que un archivo llms.txt es redundante porque ¿por qué usar ese archivo de markdown si el contenido original (y los datos estructurados) ya se han descargado? Un bot que usa el LLMS.txt tendrá que verificar el otro contenido para asegurarse de que no sea spam, entonces, ¿por qué molestarse?
Por último, ¿qué debe evitar que un editor o SEO muestre un conjunto de contenido en LLMS.txt a agentes de IA spam y otro conjunto de contenido para usuarios y motores de búsqueda? Es demasiado fácil generar spam de esta manera, esencialmente encubrir para LLM.
En ese sentido, es muy similar a las palabras clave metaets que ningún motor de búsqueda usa porque sería demasiado incompleto para confiar en un sitio de que realmente se trata de esas palabras clave y los motores de búsqueda son mejores y más sofisticados hoy en día acerca de analizar el contenido para comprender de qué se trata.
Lea la discusión de LinkedIn aquí:
Imagen destacada de Shutterstock/Jemastock
Fuente: Google dice llms.txt comparable a las palabras clave meta etiqueta
