La última versión de Inferencia de MLPerf presenta nuevos LLM y puntos de referencia de recomendación, lo que marca un salto adelante en el ámbito de las pruebas de IA.
La iteración v3.1 del conjunto de pruebas de referencia ha tenido una participación récord, con más de 13.500 resultados de rendimiento y una mejora de hasta el 40 por ciento en el rendimiento.
Lo que distingue a este logro es el grupo diverso de 26 participantes diferentes y más de 2000 resultados de potencia, lo que demuestra el amplio espectro de actores de la industria que invierten en innovación en IA.
Entre la lista de participantes se encuentran gigantes tecnológicos como Google, Intel y NVIDIA, así como los recién llegados Connect Tech, Nutanix, Oracle y TTA, que participan en el benchmark MLPerf Inference por primera vez.
David Kanter, director ejecutivo de MLComunesdestacó la importancia de este logro:
“Someterse a MLPerf no es trivial. Es un logro importante, ya que no se trata de un simple punto de referencia de apuntar y hacer clic. Requiere un trabajo de ingeniería real y es un testimonio del compromiso de nuestros remitentes con la IA, con sus clientes y con el ML”.
MLPerf Inference es un conjunto de pruebas de referencia fundamental que mide la velocidad a la que los sistemas de IA pueden ejecutar modelos en diversos escenarios de implementación. Estos escenarios abarcan desde los últimos chatbots generativos de IA hasta funciones de mejora de la seguridad en los vehículos, como el mantenimiento automático de carril y las interfaces de voz a texto.
El foco de atención de MLPerf Inference v3.1 se centra en la introducción de dos nuevos puntos de referencia:
- Un LLM que utiliza el GPT-J El modelo de referencia para resumir los artículos de noticias de CNN obtuvo presentaciones de 15 participantes diferentes, lo que muestra la rápida adopción de la IA generativa.
- Un punto de referencia de recomendación actualizado, perfeccionado para alinearse más estrechamente con las prácticas de la industria, emplea el DLRM-DCNv2 modelo de referencia y conjuntos de datos más grandes, atrayendo nueve presentaciones. Estos nuevos puntos de referencia están diseñados para ampliar los límites de la IA y garantizar que los puntos de referencia estándar de la industria permanezcan alineados con las últimas tendencias en la adopción de la IA, sirviendo como una guía valiosa para clientes, proveedores e investigadores por igual.
Mitchelle Rasquinha, copresidenta del grupo de trabajo de MLPerf Inference, comentó: “Las presentaciones para MLPerf Inference v3.1 son indicativas de una amplia gama de aceleradores que se están desarrollando para atender cargas de trabajo de ML.
“El conjunto de pruebas de referencia actual tiene una amplia cobertura entre los dominios de ML, y la incorporación más reciente de GPT-J es una contribución bienvenida al espacio de la IA generativa. Los resultados deberían ser muy útiles para los usuarios a la hora de seleccionar los mejores aceleradores para sus respectivos dominios”.
Los puntos de referencia de MLPerf Inference se centran principalmente en centros de datos y sistemas de borde. Las presentaciones de la versión 3.1 muestran varios procesadores y aceleradores en casos de uso en visión por computadora, sistemas de recomendación y procesamiento de lenguaje.
El conjunto de pruebas comparativas abarca presentaciones abiertas y cerradas en las categorías de rendimiento, potencia y redes. Las presentaciones cerradas emplean el mismo modelo de referencia para garantizar la igualdad de condiciones en todos los sistemas, mientras que los participantes de la división abierta pueden presentar una variedad de modelos.
A medida que la IA continúa impregnando varios aspectos de nuestras vidas, los puntos de referencia de MLPerf sirven como herramientas vitales para evaluar y dar forma al futuro de la tecnología de IA.
Encuentre los resultados detallados de MLPerf Inference v3.1 aquí.
(Foto por Mauro Sbicego en desempaquetar)
Ver también: GitLab: los desarrolladores ven la IA como «esencial» a pesar de las preocupaciones
¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Amsterdam, California y Londres. El evento integral comparte ubicación con Semana de la Transformación Digital.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.
Ryan es editor senior en TechForge Media con más de una década de experiencia cubriendo la última tecnología y entrevistando a figuras líderes de la industria. A menudo se le puede ver en conferencias tecnológicas con un café fuerte en una mano y una computadora portátil en la otra. Si es geek, probablemente le guste. Encuéntrelo en Twitter (@Gadget_Ry) o Mastodon (@[email protected])
Ver todas las publicaciones
Fuente: MLPerf Inference v3.1 presenta nuevos LLM y puntos de referencia de recomendación