A medida que la inteligencia artificial continúa avanzando rápidamente, las preocupaciones éticas en torno al desarrollo y despliegue de estas innovaciones que cambian el mundo se vuelven más evidentes.
En una entrevista antes del Exposición de IA y Big Data de América del NorteIgor Jablokov, director ejecutivo y fundador de la empresa de inteligencia artificial prionabordó estas cuestiones apremiantes de frente.
Desafíos éticos críticos en la IA
«No hay uno, tal vez haya más de 20», afirmó Jablokov cuando se le preguntó sobre los desafíos éticos más críticos. Describió una letanía de peligros potenciales que deben sortearse con cuidado, desde alucinaciones de IA y emisiones de falsedades hasta violaciones de privacidad de datos y filtraciones de propiedad intelectual a partir de capacitación sobre información patentada.
Según Jablokov, el contenido sesgado y contradictorio que se filtra en los datos de entrenamiento es otra preocupación importante. Las vulnerabilidades de seguridad, como los agentes integrados y los ataques de inyección rápida, también ocupan un lugar destacado en su lista de preocupaciones, así como el consumo extremo de energía y el impacto climático de los grandes modelos lingüísticos.
Los orígenes de Pryon se remontan a los primeros indicios de la IA moderna, hace más de dos décadas. Jablokov anteriormente dirigió un equipo de inteligencia artificial avanzada en IBM, donde diseñaron una versión primitiva de lo que más tarde se convertiría en Watson. “No le dieron luz verde. Y así, en mi frustración, me fui, levanté nuestra última empresa”, relató. Esa empresa, también llamada Pryon en ese momento, se convirtió en la primera adquisición de Amazon relacionada con la inteligencia artificial, dando origen a lo que ahora es Alexa.
La encarnación actual de Pryon tiene como objetivo enfrentar los dilemas éticos de la IA a través de un diseño responsable centrado en infraestructura crítica y casos de uso de alto riesgo. “[We wanted to] crear algo deliberadamente reforzado para infraestructuras más críticas, trabajadores esenciales y actividades más serias”, explicó Jablokov.
Un elemento clave es ofrecer a las empresas flexibilidad y control sobre sus entornos de datos. «Les damos opciones en términos de cómo consumen sus plataformas… desde la nube pública de múltiples inquilinos hasta la nube privada y las instalaciones locales», dijo Jablokov. Esto permite a las organizaciones proteger datos altamente confidenciales detrás de sus propios firewalls cuando sea necesario.
❯ También te interesa:
FT y OpenAI firman una asociación en medio de críticas por web scrapingPryon también enfatiza la IA explicable y la atribución verificable de fuentes de conocimiento. «Cuando nuestra plataforma revela una respuesta, puedes tocarla y siempre irá a la página subyacente y resaltará exactamente de dónde obtuvo la información», describió Jablokov. Esto permite la validación humana de la procedencia del conocimiento.
En algunos ámbitos como la energía, la manufactura y la atención médica, Pryon ha implementado la supervisión humana antes de que la orientación generada por IA llegue a los trabajadores de primera línea. Jablokov señaló un ejemplo en el que “los supervisores pueden volver a verificar los resultados y esencialmente darles una insignia de aprobación” antes de que la información llegue a los técnicos.
Garantizar un desarrollo responsable de la IA
Jablokov aboga firmemente por nuevos marcos regulatorios para garantizar el desarrollo y despliegue responsable de la IA. Si bien acogió con agrado la reciente orden ejecutiva de la Casa Blanca como un comienzo, expresó su preocupación por los riesgos relacionados con la IA generativa, como alucinaciones, datos de entrenamiento estáticos, vulnerabilidades de fuga de datos, falta de controles de acceso, problemas de derechos de autor y más.
Pryon ha participado activamente en estos debates regulatorios. «Estamos recurriendo a un caos de agencias gubernamentales», dijo Jablokov. «Estamos participando activamente en términos de contribuir con nuestras perspectivas sobre el entorno regulatorio a medida que se implementa… Estamos apareciendo expresando algunos de los riesgos asociados con el uso de IA generativa».
Sobre la posibilidad de un “riesgo de IA” existencial e incontrolado, como se ha advertido por algunos líderes de IA – Jablokov adoptó un tono relativamente optimista sobre el enfoque gobernado de Pryon: “Siempre hemos trabajado para lograr una atribución verificable… extrayendo del propio contenido de las empresas para que entiendan de dónde vienen las soluciones y luego decidan si toman una decisión con sea o no”.
El CEO distanció firmemente la misión de Pryon de la creciente generación de asistentes de IA conversacionales abiertos, algunos de los cuales han generado controversia en torno a las alucinaciones y la falta de restricciones éticas.
“No somos una universidad de payasos. Nuestro material está diseñado para entrar en algunos de los entornos más graves del planeta Tierra”, afirmó sin rodeos Jablokov. «Creo que ninguno de ustedes se sentiría cómodo terminando en una sala de emergencias y teniendo a los médicos allí escribiendo consultas en un ChatGPT, un Bing, un Bard…»
Enfatizó la importancia de la experiencia en la materia y la inteligencia emocional cuando se trata de tomar decisiones de alto riesgo en el mundo real. “Quieres a alguien que, con suerte, tenga muchos años de experiencia en el tratamiento de cosas similares a la dolencia que estás padeciendo actualmente. ¿Y adivina qué? Te gusta el hecho de que hay una cualidad emocional de que ellos también se preocupan por mejorarte”.
❯ También te interesa:
Cómo la IA está haciendo que los casinos en línea sean más seguros que nuncaen el proximo Exposición de IA y Big Data, Pryon dará a conocer nuevos casos de uso empresarial que mostrarán su plataforma en industrias como la energía, los semiconductores, la farmacéutica y la gubernamental. Jablokov adelantó que también revelarán “diferentes formas de consumir la plataforma Pryon” más allá de la oferta empresarial de extremo a extremo, incluido el acceso potencialmente de nivel inferior para los desarrolladores.
A medida que el dominio de la IA se expande rápidamente desde aplicaciones limitadas a capacidades más generales, abordar los riesgos éticos será cada vez más crítico. El enfoque sostenido de Pryon en la gobernanza, las fuentes de conocimiento verificables, la supervisión humana y la colaboración con los reguladores podría ofrecer un modelo para un desarrollo más responsable de la IA en todas las industrias.
Puedes ver nuestra entrevista completa con Igor Jablokov a continuación:
¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Amsterdam, California y Londres. El evento integral comparte ubicación con otros eventos importantes, incluidos bloquex, Semana de la Transformación Digitaly Exposición de seguridad cibernética y nube.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.
Fuente: Construyendo un futuro de IA responsable
Coalición de editores de noticias demanda a Microsoft y OpenAI