M谩s

    Bardo Vs ChatGPT Vs Claude

    - Advertisement -

    Los investigadores probaron la idea de que un modelo de IA puede tener una ventaja en la autodetecci贸n de su propio contenido porque la detecci贸n aprovechaba el mismo entrenamiento y conjuntos de datos. Lo que no esperaban encontrar era que de los tres modelos de IA que probaron, el contenido generado por uno de ellos era tan indetectable que ni siquiera la IA que lo gener贸 pod铆a detectarlo.

    El estudio fue realizado por investigadores del Departamento de Ciencias de la Computaci贸n de la Escuela de Ingenier铆a Lyle de la Universidad Metodista del Sur.

    Detecci贸n de contenido de IA

    Muchos detectores de IA est谩n entrenados para buscar se帽ales reveladoras de contenido generado por IA. Estas se帽ales se denominan 芦artefactos禄 y se generan debido a la tecnolog铆a de transformador subyacente. Pero otros artefactos son exclusivos de cada modelo b谩sico (el modelo de lenguaje grande en el que se basa la IA).

    Estos artefactos son 煤nicos para cada IA 鈥嬧媦 surgen de datos de entrenamiento distintivos y ajustes finos que siempre son diferentes de un modelo de IA a otro.

    Los investigadores descubrieron evidencia de que es esta singularidad la que permite a una IA tener un mayor 茅xito en la autoidentificaci贸n de su propio contenido, significativamente mejor que intentar identificar el contenido generado por una IA diferente.

    Bard tiene m谩s posibilidades de identificar contenido generado por Bard y ChatGPT tiene una mayor tasa de 茅xito al identificar contenido generado por ChatGPT, pero…

    Los investigadores descubrieron que esto no era cierto para el contenido generado por Claude. Claude tuvo dificultades para detectar el contenido que generaba. Los investigadores compartieron una idea de por qu茅 Claude no pudo detectar su propio contenido y este art铆culo lo analiza m谩s adelante.

    Esta es la idea detr谩s de las pruebas de investigaci贸n:

    鈥淒ado que cada modelo se puede entrenar de manera diferente, es dif铆cil crear una herramienta detectora para detectar los artefactos creados por todas las posibles herramientas de IA generativa.

    Aqu铆, desarrollamos un enfoque diferente llamado autodetecci贸n, donde utilizamos el propio modelo generativo para detectar sus propios artefactos y distinguir su propio texto generado del texto escrito por humanos.

    Esto tendr铆a la ventaja de que no necesitamos aprender a detectar todos los modelos de IA generativa, sino que solo necesitamos acceder a un modelo de IA generativa para la detecci贸n.

    Esta es una gran ventaja en un mundo donde continuamente se desarrollan y entrenan nuevos modelos鈥.

    Metodolog铆a

    Los investigadores probaron tres modelos de IA:

  • ChatGPT-3.5 de OpenAI
  • Bardo de Google
  • Claude de Anthropic
  • Todos los modelos utilizados fueron las versiones de septiembre de 2023.

    Se cre贸 un conjunto de datos de cincuenta temas diferentes. A cada modelo de IA se le dieron exactamente las mismas indicaciones para crear ensayos de aproximadamente 250 palabras para cada uno de los cincuenta temas que generaron cincuenta ensayos para cada uno de los tres modelos de IA.

    Luego, a cada modelo de IA se le pidi贸 de manera id茅ntica que parafraseara su propio contenido y generara un ensayo adicional que era una reescritura de cada ensayo original.

    Tambi茅n recopilaron cincuenta ensayos generados por humanos sobre cada uno de los cincuenta temas. Todos los ensayos generados por humanos fueron seleccionados de la BBC.

    Luego, los investigadores utilizaron indicaciones de disparo cero para autodetectar el contenido generado por la IA.

    La indicaci贸n de disparo cero es un tipo de indicaci贸n que se basa en la capacidad de los modelos de IA para completar tareas para las que no han sido entrenados espec铆ficamente.

    Los investigadores explicaron adem谩s su metodolog铆a:

    鈥淐reamos una nueva instancia de cada sistema de IA iniciado y planteamos una consulta espec铆fica: ‘Si el siguiente texto coincide con su patr贸n de escritura y elecci贸n de palabras’. El procedimiento es
    Se repite para los ensayos originales, parafraseados y humanos, y se registran los resultados.

    Tambi茅n agregamos el resultado de la herramienta de detecci贸n de IA ZeroGPT. No utilizamos este resultado para comparar el rendimiento, sino como punto de referencia para mostrar cu谩n desafiante es la tarea de detecci贸n鈥.

    Tambi茅n observaron que una tasa de precisi贸n del 50% equivale a adivinar, lo que puede considerarse esencialmente como un nivel de precisi贸n que es un fracaso.

    Resultados: Autodetecci贸n

    Cabe se帽alar que los investigadores reconocieron que su tasa de muestreo fue baja y dijeron que no afirmaban que los resultados fueran definitivos.

    A continuaci贸n se muestra un gr谩fico que muestra las tasas de 茅xito de la autodetecci贸n de IA del primer lote de ensayos. Los valores rojos representan la autodetecci贸n de IA y el azul representa qu茅 tan bien se desempe帽贸 la herramienta de detecci贸n de IA ZeroGPT.

    Resultados de la autodetecci贸n por IA de contenido de texto propio

    Detecci贸n de contenido mediante IA: Bard, ChatGPT y Claude

    Bard tuvo un desempe帽o bastante bueno en la detecci贸n de su propio contenido y ChatGPT tambi茅n tuvo un desempe帽o similar en la detecci贸n de su propio contenido.

    ZeroGPT, la herramienta de detecci贸n de IA, detect贸 muy bien el contenido de Bard y tuvo un rendimiento ligeramente menor en la detecci贸n de contenido de ChatGPT.

    B谩sicamente, ZeroGPT no pudo detectar el contenido generado por Claude y tuvo un desempe帽o peor que el umbral del 50%.

    Claude fue el caso at铆pico del grupo porque no pudo autodetectar su propio contenido, con un desempe帽o significativamente peor que Bard y ChatGPT.

    Los investigadores plantearon la hip贸tesis de que puede ser que la producci贸n de Claude contenga artefactos menos detectables, lo que explica por qu茅 tanto Claude como ZeroGPT no pudieron detectar los ensayos de Claude como generados por IA.

    Entonces, aunque Claude no pudo autodetectar de manera confiable su propio contenido, eso result贸 ser una se帽al de que la producci贸n de Claude era de mayor calidad en t茅rminos de producir menos artefactos de IA.

    ZeroGPT tuvo un mejor desempe帽o en la detecci贸n de contenido generado por Bard que en la detecci贸n de contenido de ChatGPT y Claude. Los investigadores plantearon la hip贸tesis de que podr铆a ser que Bard genere artefactos m谩s detectables, lo que hace que Bard sea m谩s f谩cil de detectar.

    Entonces, en t茅rminos de contenido de autodetecci贸n, Bard puede estar generando m谩s artefactos detectables y Claude est谩 generando menos artefactos.

    Resultados: contenido parafraseado autodetectable

    Los investigadores plantearon la hip贸tesis de que los modelos de IA podr铆an autodetectar su propio texto parafraseado porque los artefactos creados por el modelo (como se detecta en los ensayos originales) tambi茅n deber铆an estar presentes en el texto reescrito.

    Sin embargo, los investigadores reconocieron que las indicaciones para escribir el texto y parafrasear son diferentes porque cada reescritura es diferente del texto original, lo que en consecuencia podr铆a conducir a resultados de autodetecci贸n diferentes para la autodetecci贸n del texto parafraseado.

    Los resultados de la autodetecci贸n del texto parafraseado fueron de hecho diferentes de la autodetecci贸n de la prueba de ensayo original.

    • Bard pudo autodetectar el contenido parafraseado a un ritmo similar.
    • ChatGPT no pudo autodetectar el contenido parafraseado a una tasa mucho mayor que la tasa del 50% (que equivale a adivinar).
    • El rendimiento de ZeroGPT fue similar a los resultados de la prueba anterior, con un rendimiento ligeramente peor.

    Quiz谩s el resultado m谩s interesante lo obtuvo Claude de Anthropic.

    Claude pudo autodetectar el contenido parafraseado (pero no pudo detectar el ensayo original en la prueba anterior).

    Es un resultado interesante que los ensayos originales de Claude aparentemente tuvieran tan pocos artefactos para indicar que se trataba de IA generada que ni siquiera Claude pudo detectarlo.

    Sin embargo, pudo autodetectar la par谩frasis, mientras que ZeroGPT no pudo.

    Los investigadores comentaron sobre esta prueba:

    芦El hallazgo de que la parafraseo impide que ChatGPT se autodetecte y al mismo tiempo aumenta la capacidad de autodetecci贸n de Claude es muy interesante y puede ser el resultado del funcionamiento interno de estos dos modelos de transformadores禄.

    Captura de pantalla de la autodetecci贸n de contenido parafraseado por IA

    Detecci贸n de contenido mediante IA: Bard, ChatGPT y ClaudeDetecci贸n de contenido mediante IA: Bard, ChatGPT y Claude

    Estas pruebas arrojaron resultados casi impredecibles, particularmente con respecto a Claude de Anthropic y esta tendencia continu贸 con la prueba de qu茅 tan bien los modelos de IA detectaban el contenido de los dem谩s, lo que ten铆a un aspecto interesante.

    Resultados: modelos de IA que detectan el contenido de cada uno

    La siguiente prueba mostr贸 qu茅 tan bien cada modelo de IA detectaba el contenido generado por los otros modelos de IA.

    Si es cierto que Bard genera m谩s artefactos que los otros modelos, 驴podr谩n los otros modelos detectar f谩cilmente el contenido generado por Bard?

    Los resultados muestran que s铆, el contenido generado por Bard es el m谩s f谩cil de detectar mediante los otros modelos de IA.

    Con respecto a la detecci贸n de contenido generado por ChatGPT, tanto Claude como Bard no pudieron detectarlo como generado por IA (al igual que Claude no pudo detectarlo).

    ChatGPT pudo detectar contenido generado por Claude a un ritmo m谩s alto que Bard y Claude, pero ese ritmo m谩s alto no fue mucho mejor que adivinar.

    El hallazgo aqu铆 es que no todos eran tan buenos para detectar el contenido de los dem谩s, lo que, seg煤n los investigadores, puede mostrar que la autodetecci贸n era un 谩rea de estudio prometedora.

    Aqu铆 est谩 el gr谩fico que muestra los resultados de esta prueba espec铆fica:

    Detecci贸n de contenido mediante IA: Bard, ChatGPT y ClaudeDetecci贸n de contenido mediante IA: Bard, ChatGPT y Claude

    En este punto cabe se帽alar que los investigadores no afirman que estos resultados sean concluyentes sobre la detecci贸n de IA en general. El objetivo de la investigaci贸n era probar si los modelos de IA pod铆an lograr autodetectar su propio contenido generado. La respuesta es mayoritariamente s铆, hacen un mejor trabajo en la autodetecci贸n, pero los resultados son similares a los encontrados con ZEROGpt.

    Los investigadores comentaron:

    鈥淟a autodetecci贸n muestra un poder de detecci贸n similar en comparaci贸n con ZeroGPT, pero tenga en cuenta que el objetivo de este estudio no es afirmar que la autodetecci贸n sea superior a otros m茅todos, lo que requerir铆a un gran estudio para compararlo con muchos m茅todos de 煤ltima generaci贸n. Herramientas de detecci贸n de contenido de IA de 煤ltima generaci贸n. Aqu铆 s贸lo investigamos la capacidad b谩sica de autodetecci贸n de los modelos鈥.

    Conclusiones y conclusiones

    Los resultados de la prueba confirman que detectar contenido generado por IA no es una tarea f谩cil. Bard es capaz de detectar su propio contenido y el contenido parafraseado.

    ChatGPT puede detectar su propio contenido pero no funciona tan bien con su contenido parafraseado.

    Claude se destaca porque no es capaz de autodetectar de manera confiable su propio contenido, pero s铆 pudo detectar el contenido parafraseado, lo cual fue algo extra帽o e inesperado.

    Detectar los ensayos originales de Claude y los ensayos parafraseados fue un desaf铆o para ZeroGPT y para los otros modelos de IA.

    Los investigadores observaron sobre los resultados de Claude:

    鈥淓ste resultado aparentemente no concluyente necesita m谩s consideraci贸n ya que est谩 impulsado por dos causas combinadas.

    1) La capacidad del modelo para crear texto con muy pocos artefactos detectables. Dado que el objetivo de estos sistemas es generar texto similar al humano, menos artefactos que sean m谩s dif铆ciles de detectar significa que el modelo se acerca a ese objetivo.

    2) La capacidad inherente del modelo para autodetectar puede verse afectada por la arquitectura utilizada, el aviso y el ajuste aplicado 芦.

    Los investigadores hicieron esta observaci贸n adicional sobre Claude:

    鈥淪olo Claude no puede ser detectado. Esto indica que Claude podr铆a producir menos artefactos detectables que los otros modelos.

    La tasa de detecci贸n de la autodetecci贸n sigue la misma tendencia, lo que indica que Claude crea texto con menos artefactos, lo que hace que sea m谩s dif铆cil distinguirlo de la escritura humana鈥.

    Pero, por supuesto, lo extra帽o es que Claude tampoco pudo autodetectar su propio contenido original, a diferencia de los otros dos modelos que tuvieron una mayor tasa de 茅xito.

    Los investigadores indicaron que la autodetecci贸n sigue siendo un 谩rea interesante para la investigaci贸n continua y proponen que estudios adicionales puedan centrarse en conjuntos de datos m谩s grandes con una mayor diversidad de texto generado por IA, probar modelos de IA adicionales, una comparaci贸n con m谩s detectores de IA y, por 煤ltimo, sugirieron estudiar c贸mo la ingenier铆a r谩pida puede influir en los niveles de detecci贸n.

    Lea el art铆culo de investigaci贸n original y el resumen aqu铆:

    Autodetecci贸n de contenido de IA para modelos de lenguaje grande basados 鈥嬧媏n transformadores

    Imagen destacada de Shutterstock/SObeR 9426

    Fuente: Bardo Vs ChatGPT Vs Claude

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.