Los investigadores tienen introducido un enfoque novedoso llamado programas integrados en lenguaje natural (NLEP) para mejorar las capacidades de razonamiento numérico y simbólico de grandes modelos de lenguaje (LLM). La técnica implica solicitar a los LLM que generen y ejecuten programas Python para resolver las consultas de los usuarios y luego generar soluciones en lenguaje natural.
Si bien los LLM como ChatGPT han demostrado un desempeño impresionante en diversas tareas, a menudo tienen problemas con problemas que requieren razonamiento numérico o simbólico.
Los NLEP siguen una plantilla de resolución de problemas de cuatro pasos: llamar a los paquetes necesarios, importar representaciones en lenguaje natural del conocimiento requerido, implementar una función de cálculo de soluciones y generar resultados como lenguaje natural con visualización de datos opcional.
Este enfoque ofrece varias ventajas, incluida una mayor precisión, transparencia y eficiencia. Los usuarios pueden investigar los programas generados y corregir errores directamente, evitando la necesidad de volver a ejecutar modelos completos para solucionar problemas. Además, un único NLEP se puede reutilizar para múltiples tareas reemplazando ciertas variables.
Los investigadores descubrieron que los NLEP permitieron a GPT-4 lograr más del 90% de precisión en varias tareas de razonamiento simbólico, superando a los métodos de indicaciones específicas de tareas en un 30%.
Más allá de las mejoras en la precisión, los NLEP podrían mejorar la privacidad de los datos al ejecutar programas localmente, eliminando la necesidad de enviar datos confidenciales de los usuarios a empresas externas para su procesamiento. La técnica también puede mejorar el rendimiento de modelos de lenguaje más pequeños sin un costoso reentrenamiento.
Sin embargo, los NLEP dependen de la capacidad de generación de programas de un modelo y es posible que no funcionen tan bien con modelos más pequeños entrenados en conjuntos de datos limitados. Las investigaciones futuras explorarán métodos para hacer que los LLM más pequeños generen NLEP más efectivos e investigarán el impacto de las variaciones rápidas en la solidez del razonamiento.
La investigación, financiada en parte por el Centro de Inteligencia Perceptiva e Interactiva de Hong Kong, se presentará en la Conferencia Anual del Capítulo Norteamericano de la Asociación de Lingüística Computacional a finales de este mes.
(Foto por Alex Azabache)
Ver también: Según se informa, Apple obtendrá acceso gratuito a ChatGPT
¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Amsterdam, California y Londres. El evento integral comparte ubicación con otros eventos importantes, incluidos Conferencia de automatización inteligente, bloquex, Semana de la Transformación Digitaly Exposición de seguridad cibernética y nube.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.
Fuente: Cerrar la brecha entre los LLM y el razonamiento simbólico