M谩s

    Los ataques de ‘inyecci贸n r谩pida’ de chatbot plantean un riesgo de seguridad creciente

    - Advertisement -

    el Reino Unido Centro Nacional de Seguridad Cibern茅tica (NCSC) ha emitido una severa advertencia sobre la creciente vulnerabilidad de los chatbots a la manipulaci贸n por parte de piratas inform谩ticos, lo que puede tener consecuencias potencialmente graves en el mundo real.

    La alerta surge cuando aumentan las preocupaciones sobre la pr谩ctica de ataques de 鈥渋nyecci贸n r谩pida鈥, donde los individuos crean deliberadamente entradas o indicaciones dise帽adas para manipular el comportamiento de los modelos de lenguaje que sustentan los chatbots.

    Los chatbots se han convertido en parte integral de diversas aplicaciones, como la banca y las compras en l铆nea, debido a su capacidad para manejar solicitudes simples. Los grandes modelos de lenguaje (LLM), incluidos los que impulsan ChatGPT de OpenAI y el chatbot de inteligencia artificial Bard de Google, se han entrenado ampliamente en conjuntos de datos que les permiten generar respuestas similares a las humanas a las indicaciones de los usuarios.

    El NCSC ha destacado los crecientes riesgos asociados con la inyecci贸n r谩pida maliciosa, ya que los chatbots a menudo facilitan el intercambio de datos con aplicaciones y servicios de terceros.

    芦Las organizaciones que crean servicios que utilizan LLM deben tener cuidado, de la misma manera que lo ser铆an si estuvieran utilizando un producto o una biblioteca de c贸digos que estuviera en versi贸n beta禄, explic贸 el NCSC.

    鈥淓s posible que no permitan que ese producto participe en la realizaci贸n de transacciones en nombre del cliente y, con suerte, no confiar铆an plenamente en 茅l. Se deber铆a aplicar una precauci贸n similar a los LLM鈥.

    Si los usuarios ingresan declaraciones desconocidas o explotan combinaciones de palabras para anular el script original de un modelo, el modelo puede ejecutar acciones no deseadas. Esto podr铆a conducir potencialmente a la generaci贸n de contenido ofensivo, acceso no autorizado a informaci贸n confidencial o incluso violaciones de datos.

    Oseloka Obiora, director de tecnolog铆a de r铆osegurodijo: 鈥淟a carrera por adoptar la IA tendr谩 consecuencias desastrosas si las empresas no implementan los controles de diligencia debida b谩sicos y necesarios.

    芦Ya se ha demostrado que los chatbots son susceptibles a la manipulaci贸n y el secuestro por parte de comandos no autorizados, un hecho que podr铆a provocar un fuerte aumento del fraude, las transacciones ilegales y las filtraciones de datos禄.

    El lanzamiento por parte de Microsoft de una nueva versi贸n de su motor de b煤squeda Bing y su robot conversacional llam贸 la atenci贸n sobre estos riesgos.

    鉂 Tambi茅n te interesa:Baidu despliega su IA generativa ERNIE Bot al p煤blicoBaidu despliega su IA generativa ERNIE Bot al p煤blico

    Un estudiante de la Universidad de Stanford, Kevin Liu, emple贸 con 茅xito la inyecci贸n r谩pida para exponer el mensaje inicial de Bing Chat. Adem谩s, el investigador de seguridad Johann Rehberger descubri贸 que ChatGPT podr铆a manipularse para responder a mensajes de fuentes no deseadas, abriendo posibilidades para vulnerabilidades de inyecci贸n indirecta de mensajes.

    El NCSC advierte que, si bien los ataques de inyecci贸n r谩pida pueden ser dif铆ciles de detectar y mitigar, un dise帽o de sistema hol铆stico que considere los riesgos asociados con los componentes del aprendizaje autom谩tico puede ayudar a prevenir la explotaci贸n de vulnerabilidades.

    Se sugiere implementar un sistema basado en reglas junto con el modelo de aprendizaje autom谩tico para contrarrestar acciones potencialmente da帽inas. Al fortalecer toda la arquitectura de seguridad del sistema, es posible frustrar las inyecciones maliciosas.

    El NCSC enfatiza que mitigar los ciberataques derivados de vulnerabilidades del aprendizaje autom谩tico requiere comprender las t茅cnicas utilizadas por los atacantes y priorizar la seguridad en el proceso de dise帽o.

    Jake Moore, asesor de ciberseguridad global de ESETcoment贸: 鈥淎l desarrollar aplicaciones teniendo en cuenta la seguridad y comprender los m茅todos que utilizan los atacantes para aprovechar las debilidades de los algoritmos de aprendizaje autom谩tico, es posible reducir el impacto de los ciberataques derivados de la IA y el aprendizaje autom谩tico.

    鈥淒esafortunadamente, la velocidad de lanzamiento o el ahorro de costos generalmente pueden sobrescribir la programaci贸n de seguridad est谩ndar y preparada para el futuro, dejando a las personas y sus datos en riesgo de sufrir ataques desconocidos. Es vital que las personas sean conscientes de que lo que ingresan en los chatbots no siempre est谩 protegido鈥.

    Dado que los chatbots contin煤an desempe帽ando un papel integral en diversas interacciones y transacciones en l铆nea, la advertencia del NCSC sirve como un recordatorio oportuno del imperativo de protegerse contra las amenazas cambiantes a la ciberseguridad.

    (Foto por Google DeepMind en desempaquetar)

    Ver tambi茅n: OpenAI lanza ChatGPT Enterprise para acelerar las operaciones comerciales

    鉂 Tambi茅n te interesa:OpenAI lanza ChatGPT Enterprise para acelerar las operaciones comercialesOpenAI lanza ChatGPT Enterprise para acelerar las operaciones comerciales

    驴Quiere aprender m谩s sobre IA y big data de la mano de los l铆deres de la industria? Verificar Exposici贸n de IA y Big Data que tendr谩 lugar en Amsterdam, California y Londres. El evento integral comparte ubicaci贸n con Exposici贸n de seguridad cibern茅tica y nube y Semana de la Transformaci贸n Digital.

    Explore otros pr贸ximos eventos y seminarios web de tecnolog铆a empresarial impulsados 鈥嬧媝or TechForge aqu铆.

    • ryan daws

      Ryan es editor senior en TechForge Media con m谩s de una d茅cada de experiencia cubriendo la 煤ltima tecnolog铆a y entrevistando a figuras l铆deres de la industria. A menudo se le puede ver en conferencias tecnol贸gicas con un caf茅 fuerte en una mano y una computadora port谩til en la otra. Si es geek, probablemente le guste. Encu茅ntrelo en Twitter (@Gadget_Ry) o Mastodon (@[email protected])

      Ver todas las publicaciones

    鉂 Tambi茅n te interesa:El gobierno del Reino Unido describe los planes de la Cumbre de Seguridad de la IAEl gobierno del Reino Unido describe los planes de la Cumbre de Seguridad de la IA

    Etiquetas: ai, chatbot, chatbots, centro nacional de seguridad cibern茅tica, ciberseguridad, inteligencia artificial, infosec, inyecci贸n r谩pida, modelo de lenguaje grande, ncsc, pirater铆a inform谩tica, seguridad cibern茅tica

    Fuente: Los ataques de 鈥榠nyecci贸n r谩pida鈥 de chatbot plantean un riesgo de seguridad creciente

    Populares

    M谩s de esta categor铆a

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aqu铆

    Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.