M谩s

    Microsoft presenta el modelo de lenguaje de par谩metros Phi-2, con 2.700 millones de par谩metros

    - Advertisement -

    El modelo de 2.700 millones de par谩metros de Microsoft fi-2 muestra capacidades excepcionales de razonamiento y comprensi贸n del lenguaje, estableciendo un nuevo est谩ndar de rendimiento entre los modelos de lenguaje base con menos de 13 mil millones de par谩metros.

    Phi-2 se basa en el 茅xito de sus predecesores, Phi-1 y Phi-1.5, al igualar o superar modelos hasta 25 veces m谩s grandes, gracias a innovaciones en escalado de modelos y curaci贸n de datos de entrenamiento.

    El tama帽o compacto de Phi-2 lo convierte en un campo de juego ideal para los investigadores, ya que facilita la exploraci贸n de la interpretabilidad mecanicista, mejoras de seguridad y experimentaci贸n de ajuste en diversas tareas.

    Los logros de Phi-2 se basan en dos aspectos clave:

    • Calidad de los datos de entrenamiento: Microsoft enfatiza el papel fundamental de la calidad de los datos de entrenamiento en el rendimiento del modelo. Phi-2 aprovecha datos con 鈥渃alidad de libro de texto鈥, centr谩ndose en conjuntos de datos sint茅ticos dise帽ados para impartir razonamiento de sentido com煤n y conocimiento general. El corpus de capacitaci贸n se complementa con datos web cuidadosamente seleccionados, filtrados seg煤n el valor educativo y la calidad del contenido.
    • T茅cnicas de escalado innovadoras: Microsoft adopta t茅cnicas innovadoras para ampliar Phi-2 con respecto a su predecesor, Phi-1.5. La transferencia de conocimientos desde el modelo de 1.300 millones de par谩metros acelera la convergencia de la formaci贸n, lo que genera un claro aumento en las puntuaciones de los puntos de referencia.

    Evaluaci贸n del desempe帽o

    Phi-2 se ha sometido a una evaluaci贸n rigurosa en varios puntos de referencia, incluido Big Bench Hard, razonamiento de sentido com煤n, comprensi贸n del lenguaje, matem谩ticas y codificaci贸n.

    Con s贸lo 2.700 millones de par谩metros, Phi-2 supera a los modelos m谩s grandes, incluidos Mistral y Llama-2, y iguala o supera al recientemente anunciado Gemini Nano 2 de Google:

    鉂 Tambi茅n te interesa:Google Cloud anuncia el generador de texto a imagen Imagen 2Google Cloud anuncia el generador de texto a imagen Imagen 2

    M谩s all谩 de los puntos de referencia, Phi-2 muestra sus capacidades en escenarios del mundo real. Las pruebas que incluyen indicaciones com煤nmente utilizadas en la comunidad de investigaci贸n revelan la destreza de Phi-2 para resolver problemas de f铆sica y corregir errores de los estudiantes, mostrando su versatilidad m谩s all谩 de las evaluaciones est谩ndar:

    馃摲 Microsoft presenta el modelo de lenguaje de parametros Phi 2 con

    Phi-2 es un modelo basado en Transformer con un objetivo de predicci贸n de la siguiente palabra, entrenado en 1,4 billones de tokens de conjuntos de datos web y sint茅ticos. El proceso de capacitaci贸n, realizado en 96 GPU A100 durante 14 d铆as, se centra en mantener un alto nivel de seguridad y pretende superar los modelos de c贸digo abierto en t茅rminos de toxicidad y sesgo.

    Con el anuncio de Phi-2, Microsoft contin煤a superando los l铆mites de lo que pueden lograr los modelos de lenguaje base m谩s peque帽os.

    (Credito de imagen: microsoft)

    鉂 Tambi茅n te interesa:Liberar el potencial de la IA en dispositivos perimetralesLiberar el potencial de la IA en dispositivos perimetrales

    Ver tambi茅n: AI & Big Data Expo: Desmitificando la IA y superando las exageraciones

    馃摲 Google amplia su asociacion con Anthropic para mejorar la seguridad

    驴Quiere aprender m谩s sobre IA y big data de la mano de los l铆deres de la industria? Verificar Exposici贸n de IA y Big Data que tendr谩 lugar en Amsterdam, California y Londres. El evento integral comparte ubicaci贸n con Semana de la Transformaci贸n Digital.

    Explore otros pr贸ximos eventos y seminarios web de tecnolog铆a empresarial impulsados 鈥嬧媝or TechForge aqu铆.

    Etiquetas: ai, inteligencia artificial, punto de referencia, comparaci贸n, modelo de lenguaje, microsoft, modelo, phi 2, phi-2

    Fuente: Microsoft presenta el modelo de lenguaje de par谩metros Phi-2, con 2.700 millones de par谩metros

    鉂 Tambi茅n te interesa:Integraci贸n 茅tica de la IA y tendencias futurasIntegraci贸n 茅tica de la IA y tendencias futuras

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.