M谩s

    Alucinaciones, plagio y ChatGPT

    - Advertisement -

    ChatGPT se present贸 hace tan solo siete semanas, pero la IA ya ha ganado toda una vida de entusiasmo. Cualquiera puede adivinar si esta tecnolog铆a en particular abre el kimono de IA para siempre o es solo un problema antes de que comience el pr贸ximo invierno de IA, pero una cosa es cierta: inici贸 una conversaci贸n importante sobre IA, incluido el nivel de transparencia que debemos esperar cuando trabajamos. con IA y c贸mo saber cu谩ndo est谩 mintiendo.

    Desde su lanzamiento el 30 de noviembre, el modelo de lenguaje m谩s nuevo de OpenAI, que se entren贸 en un corpus muy grande de conocimiento humano, ha demostrado una asombrosa capacidad para generar respuestas convincentes a indicaciones basadas en texto. no solo rapea como Snoop Dogg y rimas como Nick Cave (a gusto del compositor) gran disgusto), pero tambi茅n resuelve problemas matem谩ticos complejos y escribe c贸digo de computadora.

    Ahora que ChatGPT puede producir una escritura mediocre y (en su mayor铆a) correcta, la era del ensayo de los estudiantes se ha declarado oficialmente terminada. 鈥淣adie est谩 preparado para saber c贸mo la IA transformar谩 la academia鈥, escribe Stephen Marche en 芦El ensayo universitario ha muerto禄 publicado el mes pasado. Marche escribe: 鈥淪eg煤n mi experiencia como exprofesor de Shakespeare, calculo que la academia tardar谩 10 a帽os en enfrentar esta nueva realidad: dos a帽os para que los estudiantes descubran la tecnolog铆a, tres a帽os m谩s para que los profesores reconozcan que los estudiantes est谩n usando la tecnolog铆a, y luego cinco a帽os para que los administradores universitarios decidan qu茅 hacer al respecto, si es que hay algo. Los maestros ya son algunas de las personas con m谩s exceso de trabajo y mal pagadas del mundo. Ya est谩n lidiando con unas humanidades en crisis. Y ahora esto. Lo siento por ellos鈥.

    Es posible que Marche se haya equivocado un poco en su tiempo. Para empezar, las escuelas ya han comenzado a responder a la amenaza de plagio planteada por ChatGPT, con prohibiciones vigentes en los distritos escolares p煤blicos de Seattle, Washington y la ciudad de Nueva York. Y gracias a la misma marcha incesante de la tecnolog铆a que nos dio ChatGPT, estamos adquiriendo la capacidad de detectar cu谩ndo se usa la IA generativa.

    Durante el fin de semana, comenzaron a filtrarse noticias sobre una herramienta que puede detectar cu谩ndo se us贸 ChatGPT para generar un fragmento de texto determinado. Apodada GPTZero, la herramienta fue escrita por Edward Tian, 鈥嬧媞uien se especializa en inform谩tica en la Universidad de Princeton en Nueva Jersey.

    鈥淧as茅 el A帽o Nuevo creando GPTZero, una aplicaci贸n que puede detectar r谩pida y eficientemente si un ensayo es ChatGPT o escrito por humanos鈥, Tian escribi贸 en Twitter. 鈥淸T]La motivaci贸n aqu铆 es aumentar el plagio de la IA. [T]驴Piensas que los profesores de secundaria van a querer que los estudiantes usen ChatGPT para escribir sus ensayos de historia? [L]Probablemente no.

    La herramienta funciona analizando dos caracter铆sticas del texto: el nivel de 鈥減erplejidad鈥 y el nivel de 鈥渞谩faga鈥, seg煤n un art铆culo sobre NPR. Tian determin贸 que ChatGPT tiende a generar texto que tiene un nivel de complejidad m谩s bajo que el texto generado por humanos. Tambi茅n descubri贸 que ChatGPT genera constantemente oraciones que son m谩s consistentes en longitud y menos 芦explosivas禄 que las de los humanos.

    鉂 Tambi茅n te interesa:馃摲 El Reino Unido pone la IA en el centro deEl Reino Unido pone la IA en el centro de su presupuesto

    GPTZero no es perfecto (ninguna IA lo es), pero en las demostraciones parece funcionar. El domingo, Tian anunci贸 en su subpila que est谩 en conversaciones con juntas escolares y fondos de becas para proporcionar una nueva versi贸n de la herramienta, llamada GPTZeroX, a 300 000 escuelas y fondos de becas. 鈥淪i su organizaci贸n pudiera estar interesada, h谩ganoslo saber鈥, escribe.

    Rastreando alucinaciones

    Mientras tanto, otros desarrolladores est谩n creando herramientas adicionales para ayudar con otro problema que ha salido a la luz con el mete贸rico ascenso a la fama de ChatGPT: las alucinaciones.

    鈥淐ualquier modelo de lenguaje grande al que se le proporcione una entrada o una indicaci贸n, no es una opci贸n, va a alucinar鈥, dice Peter Relan, cofundador y presidente de Lo tengo IAuna empresa de Silicon Valley que desarrolla soluciones de inteligencia artificial conversacional personalizadas para los clientes.

    Internet est谩 lleno de ejemplos de ChatGPT que se descarrilan. El modelo le dar谩 un texto exquisitamente escrito, y equivocado, sobre el registro de caminando por el canal de la Mancha a pie, o escribir谩 un ensayo convincente sobre por qu茅 la mayonesa es un condimento racistasi se le solicita correctamente.

    En t茅rminos generales, la tasa de alucinaciones de ChatGPT es del 15% al 鈥嬧20%, dice Relan. 鈥淓ntonces, el 80 % de las veces, funciona bien, y el 20 % de las veces, inventa cosas鈥, dice. datanami. 鈥淟a clave aqu铆 es averiguar cu谩ndo es [hallucinating]y aseg煤rese de tener una respuesta alternativa o una respuesta que entregue al usuario, frente a su alucinaci贸n鈥.

    Got It AI anunci贸 la semana pasada una vista previa privada de un nuevo componente de verificaci贸n de la verdad de Autonomous Articlebot, uno de los dos productos de la empresa. Al igual que ChatGPT, el verificador de la verdad de la compa帽铆a tambi茅n se basa en un modelo de lenguaje extenso que est谩 capacitado para detectar cu谩ndo ChatGPT (u otros modelos de lenguaje extenso) est谩n diciendo una mentira.

    El nuevo verificador de la verdad tiene una precisi贸n del 90% en este momento, seg煤n Relan. Entonces, si se usa ChatGPT u otro modelo de lenguaje grande para generar una respuesta 100 veces y 20 de ellas son incorrectas, el verificador de la verdad podr谩 detectar 18 de esas fabricaciones antes de enviar la respuesta al usuario. Eso aumenta efectivamente la tasa de precisi贸n de ChatGPT al 98%, dice Relan.

    鉂 Tambi茅n te interesa:馃摲 Los profesionales de IA buscan flexibilidad laboral y estabilidad enLos profesionales de IA buscan flexibilidad laboral y estabilidad en lugar de beneficios emocionantes

    鈥淎hora est谩s en el rango de lo aceptable. A continuaci贸n, apuntamos al 95 %鈥, dice. 鈥淪i puede detectar el 95% de esas alucinaciones, tiene una respuesta de cada 100 que sigue siendo inexacta. Ahora est谩s en un verdadero sistema de clase empresarial鈥.

    OpenAI, el creador de ChatGPT, a煤n tiene que lanzar una API para el gran modelo de lenguaje que ha captado la atenci贸n del mundo. Sin embargo, se sabe que el modelo subyacente utilizado por ChatGPT es GPT-3, que tiene una API disponible. El verificador de verdad de Got It AI se puede usar ahora con la 煤ltima versi贸n de GPT-3, denominada davinci-003, que se lanz贸 el 28 de noviembre.

    鈥淓l modelo m谩s cercano que hemos encontrado en una API es GPT-3 davinci鈥, dice Relan. 芦Eso es lo que creemos que est谩 cerca de lo que ChatGPT est谩 usando detr谩s de escena禄.

    El problema de las alucinaciones nunca desaparecer谩 por completo con los sistemas de IA conversacionales, dice Relan, pero se puede minimizar y OpenAI est谩 progresando en ese frente. Por ejemplo, la tasa de error para GPT-3.5 es cercana al 30 %, por lo que la tasa del 20 % con ChatGPT, que Relan atribuye a la adopci贸n de OpenAI del bucle de retroalimentaci贸n humana (RLHF) de aprendizaje reforzado, ya es una gran mejora.

    鈥淐reo que OpenAI鈥 resolver谩 parte de la tendencia de la plataforma principal a alucinar鈥, dice Relan. 鈥淧ero es un modelo estoc谩stico. Har谩 coincidir patrones y obtendr谩 algo, y ocasionalmente inventar谩 cosas. Ese no es nuestro desaf铆o. Ese es el desaf铆o de OpenAI: c贸mo reducir su tasa de alucinaciones del 20 % al 10 % al 5 % a muy poco con el tiempo鈥.

    (Nota del editor: este art铆culo est谩 asociado con Datanami)


    Fuente: Alucinaciones, plagio y ChatGPT

    鉂 Tambi茅n te interesa:馃摲 1679492618 Google juega a lo seguro con el lanzamiento inicial deGoogle juega a lo seguro con el lanzamiento inicial de Bard

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.