AI News habló con Damian Bogunowicz, un ingeniero de aprendizaje automático en Magia neuralpara arrojar luz sobre el enfoque innovador de la empresa para la inferencia y la optimización del modelo de aprendizaje profundo en las CPU.
Uno de los desafíos clave en el desarrollo e implementación de modelos de aprendizaje profundo radica en su tamaño y requisitos computacionales. Sin embargo, Neural Magic aborda este problema de frente a través de un concepto llamado escasez compuesta.
La dispersión compuesta combina técnicas como la poda no estructurada, la cuantificación y la destilación para reducir significativamente el tamaño de las redes neuronales manteniendo su precisión.
“Hemos desarrollado nuestro propio tiempo de ejecución consciente de la escasez que aprovecha la arquitectura de la CPU para acelerar los modelos dispersos. Este enfoque desafía la noción de que las GPU son necesarias para un aprendizaje profundo eficiente”, explica Bogunowicz.
Bogunowicz enfatizó los beneficios de su enfoque, destacando que los modelos más compactos conducen a implementaciones más rápidas y se pueden ejecutar en máquinas ubicuas basadas en CPU. La capacidad de optimizar y ejecutar redes específicas de manera eficiente sin depender de hardware especializado cambia las reglas del juego para los profesionales del aprendizaje automático, lo que les permite superar las limitaciones y los costos asociados con el uso de GPU.
Cuando se le preguntó acerca de la idoneidad de las redes neuronales dispersas para las empresas, Bogunowicz explicó que la gran mayoría de las empresas pueden beneficiarse del uso de modelos dispersos.
Al eliminar hasta el 90 por ciento de los parámetros sin afectar la precisión, las empresas pueden lograr implementaciones más eficientes. Si bien los dominios extremadamente críticos, como la conducción autónoma o los aviones autónomos, pueden requerir la máxima precisión y la escasez mínima, las ventajas de los modelos dispersos superan las limitaciones para la mayoría de las empresas.
De cara al futuro, Bogunowicz expresó su entusiasmo por el futuro de los modelos de lenguaje extenso (LLM) y sus aplicaciones.
“Estoy particularmente entusiasmado con el futuro de los LLM de modelos de idiomas grandes. Mark Zuckerberg habló sobre habilitar a los agentes de IA, que actúan como asistentes personales o vendedores, en plataformas como WhatsApp”, dice Bogunowicz.
Un ejemplo que llamó su atención fue un chatbot utilizado por academia Khan—un tutor de IA que guía a los estudiantes a resolver problemas brindándoles sugerencias en lugar de revelar soluciones directamente. Esta aplicación demuestra el valor que los LLM pueden aportar al sector de la educación, facilitando el proceso de aprendizaje y capacitando a los estudiantes para desarrollar habilidades de resolución de problemas.
“Nuestra investigación ha demostrado que puede optimizar los LLM de manera eficiente para la implementación de CPU. Hemos publicado un artículo de investigación sobre SparseGPT que demuestra la eliminación de alrededor de 100 000 millones de parámetros mediante la poda de una sola vez sin comprometer la calidad del modelo”, explica Bogunowicz.
“Esto significa que es posible que no haya necesidad de clústeres de GPU en el futuro de la inferencia de IA. Nuestro objetivo es proporcionar pronto LLM de código abierto a la comunidad y empoderar a las empresas para que tengan control sobre sus productos y modelos, en lugar de depender de las grandes empresas de tecnología”.
En cuanto al futuro de Neural Magic, Bogunowicz reveló dos desarrollos emocionantes que compartirán en la próxima AI & Big Data Expo Europe.
En primer lugar, mostrarán su soporte para ejecutar modelos de IA en dispositivos periféricos, específicamente arquitecturas x86 y ARM. Esto amplía las posibilidades de las aplicaciones de IA en diversas industrias.
En segundo lugar, presentarán su plataforma de optimización de modelos, Sparsify, que permite la aplicación perfecta de algoritmos de poda, cuantificación y destilación de última generación a través de una aplicación web fácil de usar y llamadas API simples. Sparsify tiene como objetivo acelerar la inferencia sin sacrificar la precisión, brindando a las empresas una solución elegante e intuitiva.
El compromiso de Neural Magic con la democratización de la infraestructura de aprendizaje automático mediante el aprovechamiento de las CPU es impresionante. Su enfoque en la escasez de compuestos y sus próximos avances en computación perimetral demuestran su dedicación para empoderar a empresas e investigadores por igual.
Mientras esperamos ansiosamente los desarrollos presentados en AI & Big Data Expo Europe, está claro que Neural Magic está preparado para tener un impacto significativo en el campo del aprendizaje profundo.
Puedes ver nuestra entrevista completa con Bogunowicz a continuación:
(Foto por Google DeepMind en Unsplash)
Magia neural es un patrocinador clave de este año Expo Europa de IA y Big Dataque se celebrará en Ámsterdam del 26 al 27 de septiembre de 2023.
Pase por el stand de Neural Magic en el stand n.º 178 para obtener más información sobre cómo la empresa permite a las organizaciones utilizar modelos con gran cantidad de cómputo de una manera rentable y escalable.
Ryan es editor senior en TechForge Media con más de una década de experiencia cubriendo la última tecnología y entrevistando a figuras líderes de la industria. A menudo se lo puede ver en conferencias tecnológicas con un café fuerte en una mano y una computadora portátil en la otra. Si es geek, probablemente le guste. Encuéntralo en Twitter (@Gadget_Ry) o Mastodon (@[email protected])
Ver todas las publicaciones
Fuente: Sobre revolucionar el aprendizaje profundo con CPU