M谩s

    Sobre revolucionar el aprendizaje profundo con CPU

    - Advertisement -

    AI News habl贸 con Damian Bogunowicz, un ingeniero de aprendizaje autom谩tico en Magia neuralpara arrojar luz sobre el enfoque innovador de la empresa para la inferencia y la optimizaci贸n del modelo de aprendizaje profundo en las CPU.

    Uno de los desaf铆os clave en el desarrollo e implementaci贸n de modelos de aprendizaje profundo radica en su tama帽o y requisitos computacionales. Sin embargo, Neural Magic aborda este problema de frente a trav茅s de un concepto llamado escasez compuesta.

    La dispersi贸n compuesta combina t茅cnicas como la poda no estructurada, la cuantificaci贸n y la destilaci贸n para reducir significativamente el tama帽o de las redes neuronales manteniendo su precisi贸n.

    鈥淗emos desarrollado nuestro propio tiempo de ejecuci贸n consciente de la escasez que aprovecha la arquitectura de la CPU para acelerar los modelos dispersos. Este enfoque desaf铆a la noci贸n de que las GPU son necesarias para un aprendizaje profundo eficiente鈥, explica Bogunowicz.

    Bogunowicz enfatiz贸 los beneficios de su enfoque, destacando que los modelos m谩s compactos conducen a implementaciones m谩s r谩pidas y se pueden ejecutar en m谩quinas ubicuas basadas en CPU. La capacidad de optimizar y ejecutar redes espec铆ficas de manera eficiente sin depender de hardware especializado cambia las reglas del juego para los profesionales del aprendizaje autom谩tico, lo que les permite superar las limitaciones y los costos asociados con el uso de GPU.

    Cuando se le pregunt贸 acerca de la idoneidad de las redes neuronales dispersas para las empresas, Bogunowicz explic贸 que la gran mayor铆a de las empresas pueden beneficiarse del uso de modelos dispersos.

    Al eliminar hasta el 90 por ciento de los par谩metros sin afectar la precisi贸n, las empresas pueden lograr implementaciones m谩s eficientes. Si bien los dominios extremadamente cr铆ticos, como la conducci贸n aut贸noma o los aviones aut贸nomos, pueden requerir la m谩xima precisi贸n y la escasez m铆nima, las ventajas de los modelos dispersos superan las limitaciones para la mayor铆a de las empresas.

    De cara al futuro, Bogunowicz expres贸 su entusiasmo por el futuro de los modelos de lenguaje extenso (LLM) y sus aplicaciones.

    鈥淓stoy particularmente entusiasmado con el futuro de los LLM de modelos de idiomas grandes. Mark Zuckerberg habl贸 sobre habilitar a los agentes de IA, que act煤an como asistentes personales o vendedores, en plataformas como WhatsApp鈥, dice Bogunowicz.

    鉂 Tambi茅n te interesa:馃摲 Meta apuesta por los chatbots de IA para fidelizar aMeta apuesta por los chatbots de IA para fidelizar a los usuarios

    Un ejemplo que llam贸 su atenci贸n fue un chatbot utilizado por academia Khan鈥攗n tutor de IA que gu铆a a los estudiantes a resolver problemas brind谩ndoles sugerencias en lugar de revelar soluciones directamente. Esta aplicaci贸n demuestra el valor que los LLM pueden aportar al sector de la educaci贸n, facilitando el proceso de aprendizaje y capacitando a los estudiantes para desarrollar habilidades de resoluci贸n de problemas.

    鈥淣uestra investigaci贸n ha demostrado que puede optimizar los LLM de manera eficiente para la implementaci贸n de CPU. Hemos publicado un art铆culo de investigaci贸n sobre SparseGPT que demuestra la eliminaci贸n de alrededor de 100聽000 millones de par谩metros mediante la poda de una sola vez sin comprometer la calidad del modelo鈥, explica Bogunowicz.

    鈥淓sto significa que es posible que no haya necesidad de cl煤steres de GPU en el futuro de la inferencia de IA. Nuestro objetivo es proporcionar pronto LLM de c贸digo abierto a la comunidad y empoderar a las empresas para que tengan control sobre sus productos y modelos, en lugar de depender de las grandes empresas de tecnolog铆a鈥.

    En cuanto al futuro de Neural Magic, Bogunowicz revel贸 dos desarrollos emocionantes que compartir谩n en la pr贸xima AI & Big Data Expo Europe.

    En primer lugar, mostrar谩n su soporte para ejecutar modelos de IA en dispositivos perif茅ricos, espec铆ficamente arquitecturas x86 y ARM. Esto ampl铆a las posibilidades de las aplicaciones de IA en diversas industrias.

    En segundo lugar, presentar谩n su plataforma de optimizaci贸n de modelos, Sparsify, que permite la aplicaci贸n perfecta de algoritmos de poda, cuantificaci贸n y destilaci贸n de 煤ltima generaci贸n a trav茅s de una aplicaci贸n web f谩cil de usar y llamadas API simples. Sparsify tiene como objetivo acelerar la inferencia sin sacrificar la precisi贸n, brindando a las empresas una soluci贸n elegante e intuitiva.

    El compromiso de Neural Magic con la democratizaci贸n de la infraestructura de aprendizaje autom谩tico mediante el aprovechamiento de las CPU es impresionante. Su enfoque en la escasez de compuestos y sus pr贸ximos avances en computaci贸n perimetral demuestran su dedicaci贸n para empoderar a empresas e investigadores por igual.

    Mientras esperamos ansiosamente los desarrollos presentados en AI & Big Data Expo Europe, est谩 claro que Neural Magic est谩 preparado para tener un impacto significativo en el campo del aprendizaje profundo.

    Puedes ver nuestra entrevista completa con Bogunowicz a continuaci贸n:

    (Foto por Google DeepMind en Unsplash)

    鉂 Tambi茅n te interesa:馃摲 BSI publica una guia para aumentar la confianza en laBSI publica una gu铆a para aumentar la confianza en la IA para la atenci贸n m茅dica

    馃摲 Sobre revolucionar el aprendizaje profundo con CPU

    Magia neural es un patrocinador clave de este a帽o Expo Europa de IA y Big Dataque se celebrar谩 en 脕msterdam del 26 al 27 de septiembre de 2023.

    Pase por el stand de Neural Magic en el stand n.潞 178 para obtener m谩s informaci贸n sobre c贸mo la empresa permite a las organizaciones utilizar modelos con gran cantidad de c贸mputo de una manera rentable y escalable.

    • ryan daws

      Ryan es editor senior en TechForge Media con m谩s de una d茅cada de experiencia cubriendo la 煤ltima tecnolog铆a y entrevistando a figuras l铆deres de la industria. A menudo se lo puede ver en conferencias tecnol贸gicas con un caf茅 fuerte en una mano y una computadora port谩til en la otra. Si es geek, probablemente le guste. Encu茅ntralo en Twitter (@Gadget_Ry) o Mastodon (@[email protected])

      Ver todas las publicaciones

    Etiquetas: ai expo, ai expo europa, inferencia ai, escasez compuesta, damian bogunowicz, aprendizaje profundo, grandes modelos de lenguaje, magia neural

    鉂 Tambi茅n te interesa:馃摲 IBM y Hugging Face lanzan un modelo basico de inteligenciaIBM y Hugging Face lanzan un modelo b谩sico de inteligencia artificial para la ciencia del clima

    Fuente: Sobre revolucionar el aprendizaje profundo con CPU

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.