A medida que la industria de la IA se centra en la transparencia y la seguridad, los debates sobre el verdadero significado de la «apertura» se están intensificando. Expertos de la empresa de seguridad de código abierto Laboradores de endor Pesé en estos temas apremiantes.
Andrew Stiefel, gerente senior de marketing de productos en Endor Labs, enfatizó la importancia de aplicar lecciones aprendidas de la seguridad de software a los sistemas de inteligencia artificial.
“La orden ejecutiva del gobierno de los Estados Unidos en 2021 en Mejora de la ciberseguridad de Estados Unidos Incluye una disposición que requiere que las organizaciones produzcan una factura de software de materiales (SBOM) para cada producto vendido a agencias del gobierno federal «.
Un SBOM es esencialmente un inventario que detalla los componentes de código abierto dentro de un producto, ayudando a detectar vulnerabilidades. Stiefel argumentó que «aplicar estos mismos principios a los sistemas de IA es el siguiente paso lógico».
«Proporcionar una mejor transparencia para los ciudadanos y los empleados del gobierno no solo mejora la seguridad», explicó, «sino que también da visibilidad en los conjuntos de datos, capacitación, pesas y otros componentes de un modelo».
¿Qué significa que un modelo de IA esté «abierto»?
Julien Sobrier, gerente de productos senior de Endor Labs, agregó un contexto crucial a la discusión en curso sobre la transparencia de la IA y la «apertura». Sobrier desglosó la complejidad inherente a la clasificación de los sistemas de IA como realmente abiertos.
“Un modelo de IA está hecho de muchos componentes: el conjunto de capacitación, los pesos y los programas para entrenar y probar el modelo, etc. Es importante hacer que toda la cadena esté disponible como código abierto para llamar al modelo ‘abierto’. Es una definición amplia por ahora «.
Sobrier señaló la falta de consistencia entre los principales jugadores, lo que ha llevado a la confusión sobre el término.
«Entre los principales actores, las preocupaciones sobre la definición de ‘abierta’ comenzaron con OpenAi, y Meta ahora está en las noticias para su modelo de llama a pesar de que está ‘más abierto’. Necesitamos una comprensión común de lo que significa un modelo abierto. Queremos tener en cuenta cualquier ‘lavado abierto’, como lo vimos con software gratuito de código abierto «.
Una posible trampa, Sobrier destacada, es la práctica cada vez más común de «lavado abierto», donde las organizaciones reclaman transparencia al imponer restricciones.
«Con los proveedores de la nube que ofrecen una versión pagada de proyectos de código abierto (como bases de datos) sin contribuir, hemos visto un cambio en muchos proyectos de código abierto: el código fuente aún está abierto, pero agregaron muchas restricciones comerciales».
«Meta y otros proveedores de LLM ‘abiertos’ podrían seguir esta ruta para mantener su ventaja competitiva: más apertura sobre los modelos, pero evitando que los competidores los usen», advirtió Sobrier.
Deepseek tiene como objetivo aumentar la transparencia de la IA
Deepseek, uno de los jugadores ascendentes, aunque controvertidos, en la industria de la IA, ha tomado medidas para abordar algunas de estas preocupaciones haciendo porciones de sus modelos y código de código abierto. La medida ha sido elogiada por avanzar en la transparencia mientras proporciona información de seguridad.
«Deepseek ya ha lanzado las modelos y sus pesas como código abierto», dijo Andrew Stiefel. «Este próximo movimiento proporcionará una mayor transparencia a sus servicios alojados y dará visibilidad sobre cómo ajustan y ejecutan estos modelos en producción».
Dicha transparencia tiene beneficios significativos, señaló Stiefel. «Esto facilitará a la comunidad auditar sus sistemas para los riesgos de seguridad y también para que las personas y organizaciones administren sus propias versiones de Deepseek en la producción».
Más allá de la seguridad, Deepseek también ofrece una hoja de ruta sobre cómo gestionar la infraestructura de IA a escala.
“Desde un lado de la transparencia, veremos cómo Deepseek está ejecutando sus servicios alojados. Esto ayudará a abordar las preocupaciones de seguridad que surgieron después de que se descubrió que dejaron algunas de sus bases de datos de Clickhouse no garantizadas «.
Stiefel destacó que las prácticas de Deepseek con herramientas como Docker, Kubernetes (K8) y otras configuraciones de infraestructura como código (IAC) podrían capacitar a las startups y aficionados para construir instancias alojadas similares.
La IA de código abierto está caliente en este momento
Las iniciativas de transparencia de Deepseek se alinean con la tendencia más amplia hacia la IA de código abierto. Un informe de IDC revela que el 60% de las organizaciones están optando por modelos de IA de código abierto sobre alternativas comerciales para sus proyectos generativos de IA (Genai).
Endor Labs Research indica además que las organizaciones usan, en promedio, entre siete y veintiún modelos de código abierto por aplicación. El razonamiento es claro: aprovechar el mejor modelo para tareas específicas y controlar los costos de API.
«A partir del 7 de febrero, Endor Labs descubrió que más de 3.500 modelos adicionales han sido entrenados o destilados del modelo original de Deepseek R1», dijo Stiefel. «Esto muestra tanto la energía en la comunidad de modelos de IA de código abierto y por qué los equipos de seguridad deben comprender tanto el linaje de un modelo como sus riesgos potenciales».
Para Sobrier, la creciente adopción de modelos de IA de código abierto refuerza la necesidad de evaluar sus dependencias.
“Necesitamos considerar los modelos de IA como dependencias importantes de las que depende nuestro software. Las empresas deben asegurarse de que se les permita legalmente usar estos modelos, pero también que son seguros de usar en términos de riesgos operativos y riesgos de la cadena de suministro, al igual que las bibliotecas de código abierto «.
Hizo hincapié en que cualquier riesgo puede extenderse a los datos de capacitación: «Deben estar seguros de que los conjuntos de datos utilizados para capacitar al LLM no estaban envenenados o tenían información privada confidencial».
Construyendo un enfoque sistemático para el riesgo del modelo de IA
A medida que se acelera la adopción de IA de código abierto, la gestión del riesgo se vuelve cada vez más crítico. Stiefel describió un enfoque sistemático centrado alrededor de tres pasos clave:
«La clave es encontrar el equilibrio correcto entre permitir la innovación y la gestión del riesgo», dijo Stiefel. “Necesitamos brindar la latitud de los equipos de ingeniería de software para experimentar, pero debemos hacerlo con plena visibilidad. El equipo de seguridad necesita línea de visión y la visión para actuar «.
Sobrier argumentó además que la comunidad debe desarrollar las mejores prácticas para construir y adoptar modelos de IA de manera segura. Se necesita una metodología compartida para evaluar los modelos de IA en los parámetros, como la seguridad, la calidad, los riesgos operativos y la apertura.
Más allá de la transparencia: medidas para un futuro de IA responsable
Para garantizar el crecimiento responsable de la IA, la industria debe adoptar controles que funcionen en varios vectores:
- Modelos SaaS: Salvaguardar el uso de los empleados de modelos alojados.
- Integraciones de API: Los desarrolladores que incorporan API de terceros como Deepseek en aplicaciones, que, a través de herramientas como Operai Integrations, pueden cambiar la implementación con solo dos líneas de código.
- Modelos de código abierto: Los desarrolladores aprovechan modelos construidos por la comunidad o crean sus propios modelos a partir de fundaciones existentes mantenidas por compañías como Deepseek.
Sobrier advirtió de complacencia frente al rápido progreso de la IA. «La comunidad necesita desarrollar las mejores prácticas para desarrollar modelos de IA seguros y abiertos», aconsejó, «y una metodología para calificarlos a lo largo de la seguridad, la calidad, los riesgos operativos y la apertura».
Como Stiefel resumió sucintamente: «Piense en la seguridad en múltiples vectores e implementa los controles apropiados para cada uno».
Ver también: AI en 2025: modelos con propósito, integración humana y más
¿Quiere obtener más información sobre AI y Big Data de los líderes de la industria? Verificar AI y Big Data Expo que tiene lugar en Amsterdam, California y Londres. El evento integral está ubicado en otros eventos líderes, incluidos Conferencia de automatización inteligente, Bloqueo, Semana de transformación digitaly Cyber Security & Cloud Expo.
Explore otros próximos eventos y seminarios web tecnológicos empresariales con TechForge aquí.
Fuente: Endor Labs: transparencia de IA vs ‘lavado abierto’