M谩s

    Microsoft presenta la familia Phi-3 de modelos de lenguaje compacto

    - Advertisement -

    Microsoft tiene Anunciado la familia Phi-3 de modelos abiertos de lenguaje peque帽o (SLM), promocion谩ndolos como los m谩s capaces y rentables de su tama帽o disponibles. El innovador enfoque de capacitaci贸n desarrollado por investigadores de Microsoft ha permitido que los modelos Phi-3 superen a los modelos m谩s grandes en t茅rminos de lenguaje, codificaci贸n y matem谩ticas.

    鈥淟o que vamos a empezar a ver no es un cambio de grande a peque帽o, sino un cambio de una categor铆a singular de modelos a una cartera de modelos donde los clientes tienen la capacidad de tomar una decisi贸n sobre cu谩l es el mejor modelo para sus necesidades. escenario鈥, dijo Sonali Yadav, directora principal de productos para IA generativa en Microsoft.

    El primer modelo Phi-3, Phi-3-mini con 3.800 millones de par谩metros, ya est谩 disponible p煤blicamente en Cat谩logo de modelos de IA de Azure, abrazando la cara, Ollamay como un NIM de NVIDIA microservicio. A pesar de su tama帽o compacto, Phi-3-mini supera a los modelos que duplican su tama帽o. Pronto llegar谩n modelos Phi-3 adicionales como Phi-3-small (par谩metros 7B) y Phi-3-medium (par谩metros 14B).

    芦Es posible que algunos clientes s贸lo necesiten modelos peque帽os, otros necesitar谩n modelos grandes y muchos querr谩n combinar ambos de diversas maneras禄, dijo Luis Vargas, vicepresidente de IA de Microsoft.

    La ventaja clave de los SLM es su tama帽o m谩s peque帽o, lo que permite la implementaci贸n en el dispositivo de experiencias de IA de baja latencia sin conectividad de red. Los posibles casos de uso incluyen sensores inteligentes, c谩maras, equipos agr铆colas y m谩s. La privacidad es otro beneficio al mantener los datos en el dispositivo.

    (Cr茅dito: Microsoft)

    Los modelos de lenguaje grande (LLM) sobresalen en el razonamiento complejo sobre vastos conjuntos de datos, puntos fuertes adecuados para aplicaciones como el descubrimiento de f谩rmacos al comprender las interacciones en la literatura cient铆fica. Sin embargo, los SLM ofrecen una alternativa convincente para responder consultas, resumir, generar contenido y similares de manera m谩s sencilla.

    芦En lugar de perseguir modelos cada vez m谩s grandes, Microsoft est谩 desarrollando herramientas con datos m谩s cuidadosamente seleccionados y capacitaci贸n especializada禄, coment贸 Victor Botev, CTO y cofundador de Iris.ai.

    鈥淓sto permite mejorar el rendimiento y la capacidad de razonamiento sin los enormes costes computacionales de los modelos con billones de par谩metros. Cumplir esta promesa significar铆a derribar una enorme barrera de adopci贸n para las empresas que buscan soluciones de IA鈥.

    鉂 Tambi茅n te interesa:Construyendo un futuro de IA responsableConstruyendo un futuro de IA responsable

    T茅cnica de entrenamiento innovadora

    Lo que permiti贸 el salto de calidad SLM de Microsoft fue un enfoque innovador de filtrado y generaci贸n de datos inspirado en los libros de cuentos para dormir.

    芦En lugar de entrenar solo con datos web sin procesar, 驴por qu茅 no buscar datos que sean de muy alta calidad?禄 pregunt贸 Sebastien Bubeck, vicepresidente de Microsoft que lidera la investigaci贸n de SLM.

    La rutina de lectura nocturna de Ronen Eldan con su hija gener贸 la idea de generar un conjunto de datos ‘TinyStories’ de millones de narrativas simples creadas al generar un modelo grande con combinaciones de palabras que un ni帽o de 4 a帽os conocer铆a. Sorprendentemente, un modelo de par谩metros de 10 millones entrenado en TinyStories podr铆a generar historias fluidas con una gram谩tica perfecta.

    Aprovechando ese 茅xito inicial, el equipo adquiri贸 datos web de alta calidad examinados por su valor educativo para crear el conjunto de datos ‘CodeTextbook’. Esto se sintetiz贸 a trav茅s de rondas de indicaciones, generaci贸n y filtrado tanto por humanos como por grandes modelos de IA.

    芦Se pone mucho cuidado en producir estos datos sint茅ticos禄, dijo Bubeck. 芦No tomamos todo lo que producimos禄.

    Los datos de capacitaci贸n de alta calidad resultaron transformadores. 芦Como se trata de leer material similar a un libro de texto… la tarea del modelo de lenguaje de leer y comprender este material es mucho m谩s f谩cil禄, explic贸 Bubeck.

    Mitigar los riesgos de seguridad de la IA

    A pesar de la cuidada selecci贸n de datos, Microsoft enfatiza la aplicaci贸n de pr谩cticas de seguridad adicionales a la versi贸n Phi-3 que reflejan sus procesos est谩ndar para todos los modelos de IA generativa.

    鉂 Tambi茅n te interesa:FT y OpenAI firman una asociaci贸n en medio de cr铆ticas por web scrapingFT y OpenAI firman una asociaci贸n en medio de cr铆ticas por web scraping

    芦Al igual que con todos los lanzamientos de modelos de IA generativa, los equipos responsables de IA y productos de Microsoft utilizaron un enfoque de m煤ltiples capas para gestionar y mitigar los riesgos en el desarrollo de modelos Phi-3禄, afirma una publicaci贸n de blog.

    Esto incluy贸 ejemplos de capacitaci贸n adicional para reforzar los comportamientos esperados, evaluaciones para identificar vulnerabilidades a trav茅s del equipo rojo y ofrecer herramientas de inteligencia artificial de Azure para que los clientes creen aplicaciones confiables sobre Phi-3.

    (Foto por Tadas Sar)

    Ver tambi茅n: Microsoft forjar谩 asociaciones de IA con l铆deres tecnol贸gicos de Corea del Sur

    馃摲 Microsoft presenta la familia Phi 3 de modelos de lenguaje compacto

    驴Quiere aprender m谩s sobre IA y big data de la mano de los l铆deres de la industria? Verificar Exposici贸n de IA y Big Data que tendr谩 lugar en Amsterdam, California y Londres. El evento integral comparte ubicaci贸n con otros eventos importantes, incluidos bloquex, Semana de la Transformaci贸n Digitaly Exposici贸n de seguridad cibern茅tica y nube.

    Explore otros pr贸ximos eventos y seminarios web de tecnolog铆a empresarial impulsados 鈥嬧媝or TechForge aqu铆.

    Etiquetas: ai, inteligencia artificial, modelos de lenguaje, microsoft, c贸digo abierto, phi-3, modelos de lenguaje peque帽os

    Fuente: Microsoft presenta la familia Phi-3 de modelos de lenguaje compacto

    鉂 Tambi茅n te interesa:C贸mo la IA est谩 haciendo que los casinos en l铆nea sean m谩s seguros que nuncaC贸mo la IA est谩 haciendo que los casinos en l铆nea sean m谩s seguros que nunca

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.