M谩s

    Nuevo LLM de c贸digo abierto con Zero Guardrails rivaliza con el Palm 2 de Google

    - Advertisement -

    Hugging Face present贸 recientemente Falcon 180B, el modelo de lenguaje grande de c贸digo abierto m谩s grande que se dice que funciona tan bien como la IA de 煤ltima generaci贸n de Google, Palm 2. Y tampoco tiene barreras de seguridad que le impidan crear resultados inseguros o da帽inos.

    Falcon 180B logra un rendimiento de vanguardia

    La frase 芦estado del arte禄 significa que algo est谩 funcionando al m谩s alto nivel posible, igualando o superando el ejemplo actual de lo mejor.

    Es un gran problema cuando los investigadores anuncian que un algoritmo o un modelo de lenguaje grande logra un rendimiento de vanguardia.

    Y eso es exactamente lo que dice Hugging Face sobre el Falcon 180B.

    Falcon 180B logra un rendimiento de 煤ltima generaci贸n en tareas de lenguaje natural, supera a los modelos de c贸digo abierto anteriores y tambi茅n 芦rivaliza禄 con el Palm 2 de Google en rendimiento.

    Esos tampoco son s贸lo alardes.

    La afirmaci贸n de Hugging Face de que el Falcon 180B rivaliza con el Palm 2 est谩 respaldada por datos.

    Los datos muestran que Falcon 180B supera al modelo anterior de c贸digo abierto m谩s potente, Llama 270B, en una variedad de tareas utilizadas para medir qu茅 tan poderoso es un modelo de IA.

    Falcon 180B incluso supera al GPT-3.5 de OpenAI.

    Los datos de las pruebas tambi茅n muestran que el Falcon 180B funciona al mismo nivel que el Palm 2 de Google.

    Captura de pantalla de comparaci贸n de rendimiento

    El anuncio explicaba:

    鈥淔alcon 180B es el mejor LLM lanzado abiertamente en la actualidad, superando a Llama 2 70B y GPT-3.5 de OpenAI…

    Falcon 180B normalmente se ubica en alg煤n lugar entre GPT 3.5 y GPT4 dependiendo del punto de referencia de evaluaci贸n鈥︹

    El anuncio contin煤a implicando que un ajuste adicional del modelo por parte de los usuarios puede mejorar a煤n m谩s el rendimiento.

    Problemas t茅cnicos menores que enturbian la indexaci贸n, como activar redirecciones 301 mediante enlaces internos a URL antiguas que se han actualizado con una estructura de categor铆as.

    Conjunto de datos utilizado para entrenar Falcon 180B

    Hugging Face public贸 un art铆culo de investigaci贸n (Versi贸n PDF aqu铆) que contiene detalles del conjunto de datos utilizado para entrenar Falcon 180B.

    Se llama The RefinedWeb Dataset.

    Este conjunto de datos consta 煤nicamente de contenido de Internet, obtenido del Common Crawl de c贸digo abierto, un conjunto de datos de la web disponible p煤blicamente.

    Posteriormente, el conjunto de datos se filtra y se somete a un proceso de deduplicaci贸n (la eliminaci贸n de datos duplicados o redundantes) para mejorar la calidad de lo que queda.

    Lo que los investigadores est谩n tratando de lograr con el filtrado es eliminar el spam generado por m谩quinas, el contenido repetido, el contenido repetitivo, el contenido plagiado y los datos que no son representativos del lenguaje natural.

    El art铆culo de investigaci贸n explica:

    鈥淒ebido a errores de rastreo y fuentes de baja calidad, muchos documentos contienen secuencias repetidas: esto puede causar un comportamiento patol贸gico en el modelo final鈥

    鈥na fracci贸n significativa de las p谩ginas es spam generado autom谩ticamente, compuesto predominantemente de listas de palabras clave, texto repetitivo o secuencias de caracteres especiales.

    Estos documentos no son adecuados para el modelado del lenguaje…

    鈥doptamos una agresiva estrategia de deduplicaci贸n, combinando coincidencias inexactas de documentos y eliminaci贸n de secuencias exactas鈥.

    Aparentemente se vuelve imperativo filtrar y limpiar el conjunto de datos porque se compone exclusivamente de datos web, a diferencia de otros conjuntos de datos que agregan datos no web.

    Los esfuerzos de los investigadores por filtrar las tonter铆as dieron como resultado un conjunto de datos que, seg煤n afirman, es tan bueno como conjuntos de datos m谩s seleccionados que se componen de libros pirateados y otras fuentes de datos no web.

    Concluyen afirmando que su conjunto de datos es un 茅xito:

    芦Hemos demostrado que el filtrado y la deduplicaci贸n estrictos podr铆an dar como resultado un conjunto de datos web de cinco billones de tokens adecuado para producir modelos competitivos con la 煤ltima tecnolog铆a, superando incluso a los LLM formados en corpus seleccionados禄.

    Falcon 180B no tiene barandillas

    Lo notable del Falcon 180B es que no se ha realizado ning煤n ajuste de alineaci贸n para evitar que genere resultados da帽inos o inseguros ni nada para evitar que invente hechos y mienta abiertamente.

    Como consecuencia, el modelo se puede ajustar para generar el tipo de resultados que no se pueden generar con productos de OpenAI y Google.

    Esto aparece en una secci贸n del anuncio titulada limitaciones.

    Hugging Face aconseja:

    鈥淟imitaciones: el modelo puede producir y producir谩 informaci贸n objetivamente incorrecta, hechos y acciones alucinantes.

    Como no se ha sometido a ning煤n ajuste/alineaci贸n avanzada, puede producir resultados problem谩ticos, especialmente si se le solicita que lo haga鈥.

    Uso comercial del Falcon 180B

    Hugging Face permite el uso comercial del Falcon 180B.

    Sin embargo, se publica bajo un licencia restrictiva.

    Hugging Face recomienda a quienes deseen utilizar Falcon 180B que consulten primero con un abogado.

    Falcon 180B es como un punto de partida

    Por 煤ltimo, el modelo no ha recibido capacitaci贸n, lo que significa que debe ser entrenado para ser un chatbot de IA.

    Entonces es como un modelo base que necesita m谩s para convertirse en lo que los usuarios quieran que sea. Hugging Face tambi茅n lanz贸 un modelo de chat pero aparentemente es 鈥渟imple鈥.

    Abrazando la cara explica:

    鈥淓l modelo base no tiene formato de aviso. Recuerde que no es un modelo conversacional ni est谩 entrenado con instrucciones, as铆 que no espere que genere respuestas conversacionales: el modelo previamente entrenado es una excelente plataforma para realizar ajustes adicionales, pero probablemente no deber铆a usarlo directamente de inmediato.

    El modelo Chat tiene una estructura de conversaci贸n muy simple鈥.

    Lea el anuncio oficial:

    Extiende tus alas: Falcon 180B ya est谩 aqu铆

    Imagen destacada de Shutterstock/Giu Studios

    Fuente: Nuevo LLM de c贸digo abierto con Zero Guardrails rivaliza con el Palm 2 de Google

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.