M谩s

    Una investigaci贸n muestra que el 谩rbol del pensamiento incita mejor que la cadena de pensamiento

    - Advertisement -

    Los investigadores descubrieron una manera de superar las barreras de seguridad en GPT4 y GPT4-Turbo, desbloqueando la capacidad de generar contenido da帽ino y t贸xico, esencialmente superando un modelo de lenguaje grande con otro modelo de lenguaje grande.

    Los investigadores descubrieron que el uso del razonamiento de 谩rbol de pensamiento (ToT) para repetir y refinar una l铆nea de ataque era 煤til para liberar otro modelo de lenguaje grande.

    Lo que descubrieron es que el enfoque ToT tuvo 茅xito contra GPT4, GPT4-Turbo y PaLM-2, utilizando un n煤mero notablemente bajo de consultas para obtener un jailbreak, en promedio menos de treinta consultas.

    Arbol De Los Pensamientos Razonamiento

    Un art铆culo de investigaci贸n de Google de alrededor de mayo de 2022 descubri贸 la cadena de est铆mulos del pensamiento.

    Chain of Thought (CoT) es una estrategia de estimulaci贸n utilizada en una IA generativa para hacer que siga una secuencia de pasos para resolver un problema y completar una tarea. El m茅todo CoT suele ir acompa帽ado de ejemplos para mostrar al LLM c贸mo funcionan los pasos en una tarea de razonamiento.

    Entonces, en lugar de simplemente pedirle a una IA generativa como Midjourney o ChatGPT que realice una tarea, el m茅todo de la cadena de pensamiento le indica a la IA c贸mo seguir un camino de razonamiento que se compone de una serie de pasos.

    El razonamiento del 脕rbol de Pensamientos (ToT), a veces denominado 脕rbol del Pensamiento (singular), es esencialmente una variaci贸n y mejora de CoT, pero son dos cosas diferentes.

    El razonamiento del 脕rbol de Pensamientos es similar al CoT. La diferencia es que, en lugar de entrenar una IA generativa para que siga un 煤nico camino de razonamiento, ToT se basa en un proceso que permite m煤ltiples caminos para que la IA pueda detenerse y autoevaluarse y luego proponer pasos alternativos.

    El razonamiento del 脕rbol de los pensamientos se desarroll贸 en mayo de 2023 en un art铆culo de investigaci贸n titulado 脕rbol de los pensamientos: resoluci贸n deliberada de problemas con modelos de lenguaje grandes (PDF)

    El art铆culo de investigaci贸n describe el 脕rbol del Pensamiento:

    鈥溾ntroducimos un nuevo marco para la inferencia de modelos de lenguaje, el 脕rbol de Pensamientos (ToT), que generaliza el popular enfoque de Cadena de Pensamiento para generar modelos de lenguaje y permite la exploraci贸n de unidades coherentes de texto (pensamientos) que sirven como pasos intermedios hacia resoluci贸n de problemas.

    ToT permite a los LM tomar decisiones deliberadas al considerar m煤ltiples caminos de razonamiento diferentes y opciones de autoevaluaci贸n para decidir el pr贸ximo curso de acci贸n, as铆 como mirar hacia adelante o retroceder cuando sea necesario para tomar decisiones globales.

    Nuestros experimentos muestran que ToT mejora significativamente las habilidades de resoluci贸n de problemas de los modelos ling眉铆sticos鈥︹

    脕rbol De Ataques Con Poda (TAP)

    Este nuevo m茅todo para liberar modelos de lenguaje grandes se llama 脕rbol de ataques con poda, TAP. TAP utiliza dos LLM, uno para atacar y otro para evaluar.

    TAP puede superar a otros m茅todos de jailbreak por m谩rgenes significativos y solo requiere acceso de caja negra al LLM.

    En inform谩tica, una caja negra es donde se puede ver lo que entra en un algoritmo y lo que sale. Pero se desconoce qu茅 sucede en el medio, por eso se dice que est谩 en una caja negra.

    El razonamiento del 谩rbol de pensamientos (TAP) se utiliza contra un LLM espec铆fico como GPT-4 para probar repetidamente diferentes indicaciones, evaluar los resultados y luego, si es necesario, cambiar de rumbo si ese intento no es prometedor.

    A esto se le llama proceso de iteraci贸n y poda. Cada intento de est铆mulo se analiza para determinar la probabilidad de 茅xito. Si se considera que el camino del ataque es un callej贸n sin salida, el LLM 鈥減odar谩鈥 ese camino de ataque y comenzar谩 otra y mejor serie de ataques motivadores.

    Por eso se llama 芦谩rbol芦En el sentido de que, en lugar de utilizar un proceso lineal de razonamiento que es el sello distintivo de las indicaciones en cadena de pensamiento (CoT), las indicaciones en 谩rbol de pensamiento no son lineales porque el proceso de razonamiento se bifurca a otras 谩reas del razonamiento, de forma muy similar a como lo har铆a un ser humano. .

    El atacante emite una serie de indicaciones, el evaluador eval煤a las respuestas a esas indicaciones y luego toma una decisi贸n sobre cu谩l ser谩 la siguiente ruta de ataque al hacer una llamada sobre si la ruta de ataque actual es irrelevante o no, adem谩s de Tambi茅n eval煤a los resultados para determinar el 茅xito probable de las indicaciones que a煤n no se han probado.

    Lo notable de este enfoque es que este proceso reduce la cantidad de indicaciones necesarias para hacer jailbreak a GPT-4. Adem谩s, con TAP se descubre una mayor cantidad de mensajes de jailbreak que con cualquier otro m茅todo de jailbreak.

    Los investigadores observan:

    鈥淓n este trabajo, presentamos Tree of Attacks with Pruning (TAP), un m茅todo automatizado para generar jailbreak que solo requiere acceso de caja negra al LLM objetivo.

    TAP utiliza un LLM para refinar de forma iterativa las indicaciones de los candidatos (de ataque) utilizando un razonamiento de 谩rbol de pensamientos hasta que una de las indicaciones generadas libera al objetivo.

    Fundamentalmente, antes de enviar mensajes al objetivo, TAP los eval煤a y elimina aquellos que probablemente no resulten en fugas.

    El uso del razonamiento de 谩rbol de pensamiento permite a TAP navegar en un gran espacio de b煤squeda de mensajes y la poda reduce la cantidad total de consultas enviadas al objetivo.

    En evaluaciones emp铆ricas, observamos que TAP genera mensajes que liberan LLM de 煤ltima generaci贸n (incluidos GPT4 y GPT4-Turbo) para m谩s del 80% de los mensajes utilizando solo una peque帽a cantidad de consultas. Esto mejora significativamente el m茅todo de caja negra de 煤ltima generaci贸n anterior para generar jailbreak鈥.

    El 谩rbol del pensamiento (ToT) supera al razonamiento de la cadena de pensamiento (CoT)

    Otra conclusi贸n interesante alcanzada en el art铆culo de investigaci贸n es que, para esta tarea en particular, el razonamiento ToT supera al razonamiento CoT, incluso cuando se agrega poda al m茅todo CoT, donde las indicaciones fuera de tema se podan y descartan.

    ToT tiene un rendimiento inferior al GPT 3.5 Turbo

    Los investigadores descubrieron que ChatGPT 3.5 Turbo no funcion贸 bien con CoT, revelando las limitaciones de GPT 3.5 Turbo. En realidad, GPT 3.5 tuvo un desempe帽o extremadamente pobre, pasando de una tasa de 茅xito del 84 % a solo una tasa de 茅xito del 4,2 %.

    Esta es su observaci贸n sobre por qu茅 GPT 3.5 tiene un rendimiento inferior:

    鈥淥bservamos que la elecci贸n del evaluador puede afectar el rendimiento de TAP: cambiar el atacante de GPT4 a GPT3.5-Turbo reduce la tasa de 茅xito del 84% al 4,2%.

    El motivo de la reducci贸n en la tasa de 茅xito es que GPT3.5-Turbo determina incorrectamente que el modelo objetivo tiene jailbreak (para el objetivo previsto) y, por lo tanto, detiene el m茅todo de forma preventiva.

    Como consecuencia, la variante env铆a muchas menos consultas que el m茅todo original鈥︹

    Lo que esto significa para ti

    Si bien es divertido que los investigadores utilicen el m茅todo ToT para superar a un LLM con otro LLM, tambi茅n resalta la utilidad de ToT para generar nuevas direcciones sorprendentes en las indicaciones con el fin de lograr niveles m谩s altos de rendimiento.

    • Conclusiones de TL/DR:
    • 脕rbol del pensamiento que provoc贸 m茅todos de cadena de pensamiento superados
    • GPT 3.5 funcion贸 significativamente mal en comparaci贸n con GPT 4 en ToT
    • La poda es una parte 煤til de una estrategia de est铆mulo.
    • La investigaci贸n demostr贸 que ToT es superior a CoT en una tarea de razonamiento intensivo como hacer jailbreak a un LLM

    Lea el art铆culo de investigaci贸n original:

    脕rbol de ataques: jailbreaking LLM de caja negra autom谩ticamente (PDF)

    Imagen destacada de Shutterstock/THE.STUDIO

    Fuente: Una investigaci贸n muestra que el 谩rbol del pensamiento incita mejor que la cadena de pensamiento

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.