Más

    Los ataques de ‘inyección rápida’ de chatbot plantean un riesgo de seguridad creciente

    - Advertisement -

    el Reino Unido Centro Nacional de Seguridad Cibernética (NCSC) ha emitido una severa advertencia sobre la creciente vulnerabilidad de los chatbots a la manipulación por parte de piratas informáticos, lo que puede tener consecuencias potencialmente graves en el mundo real.

    La alerta surge cuando aumentan las preocupaciones sobre la práctica de ataques de “inyección rápida”, donde los individuos crean deliberadamente entradas o indicaciones diseñadas para manipular el comportamiento de los modelos de lenguaje que sustentan los chatbots.

    Los chatbots se han convertido en parte integral de diversas aplicaciones, como la banca y las compras en línea, debido a su capacidad para manejar solicitudes simples. Los grandes modelos de lenguaje (LLM), incluidos los que impulsan ChatGPT de OpenAI y el chatbot de inteligencia artificial Bard de Google, se han entrenado ampliamente en conjuntos de datos que les permiten generar respuestas similares a las humanas a las indicaciones de los usuarios.

    El NCSC ha destacado los crecientes riesgos asociados con la inyección rápida maliciosa, ya que los chatbots a menudo facilitan el intercambio de datos con aplicaciones y servicios de terceros.

    «Las organizaciones que crean servicios que utilizan LLM deben tener cuidado, de la misma manera que lo serían si estuvieran utilizando un producto o una biblioteca de códigos que estuviera en versión beta», explicó el NCSC.

    “Es posible que no permitan que ese producto participe en la realización de transacciones en nombre del cliente y, con suerte, no confiarían plenamente en él. Se debería aplicar una precaución similar a los LLM”.

    Si los usuarios ingresan declaraciones desconocidas o explotan combinaciones de palabras para anular el script original de un modelo, el modelo puede ejecutar acciones no deseadas. Esto podría conducir potencialmente a la generación de contenido ofensivo, acceso no autorizado a información confidencial o incluso violaciones de datos.

    Oseloka Obiora, director de tecnología de ríosegurodijo: “La carrera por adoptar la IA tendrá consecuencias desastrosas si las empresas no implementan los controles de diligencia debida básicos y necesarios.

    «Ya se ha demostrado que los chatbots son susceptibles a la manipulación y el secuestro por parte de comandos no autorizados, un hecho que podría provocar un fuerte aumento del fraude, las transacciones ilegales y las filtraciones de datos».

    El lanzamiento por parte de Microsoft de una nueva versión de su motor de búsqueda Bing y su robot conversacional llamó la atención sobre estos riesgos.

    Un estudiante de la Universidad de Stanford, Kevin Liu, empleó con éxito la inyección rápida para exponer el mensaje inicial de Bing Chat. Además, el investigador de seguridad Johann Rehberger descubrió que ChatGPT podría manipularse para responder a mensajes de fuentes no deseadas, abriendo posibilidades para vulnerabilidades de inyección indirecta de mensajes.

    El NCSC advierte que, si bien los ataques de inyección rápida pueden ser difíciles de detectar y mitigar, un diseño de sistema holístico que considere los riesgos asociados con los componentes del aprendizaje automático puede ayudar a prevenir la explotación de vulnerabilidades.

    Se sugiere implementar un sistema basado en reglas junto con el modelo de aprendizaje automático para contrarrestar acciones potencialmente dañinas. Al fortalecer toda la arquitectura de seguridad del sistema, es posible frustrar las inyecciones maliciosas.

    El NCSC enfatiza que mitigar los ciberataques derivados de vulnerabilidades del aprendizaje automático requiere comprender las técnicas utilizadas por los atacantes y priorizar la seguridad en el proceso de diseño.

    Jake Moore, asesor de ciberseguridad global de ESETcomentó: “Al desarrollar aplicaciones teniendo en cuenta la seguridad y comprender los métodos que utilizan los atacantes para aprovechar las debilidades de los algoritmos de aprendizaje automático, es posible reducir el impacto de los ciberataques derivados de la IA y el aprendizaje automático.

    “Desafortunadamente, la velocidad de lanzamiento o el ahorro de costos generalmente pueden sobrescribir la programación de seguridad estándar y preparada para el futuro, dejando a las personas y sus datos en riesgo de sufrir ataques desconocidos. Es vital que las personas sean conscientes de que lo que ingresan en los chatbots no siempre está protegido”.

    Dado que los chatbots continúan desempeñando un papel integral en diversas interacciones y transacciones en línea, la advertencia del NCSC sirve como un recordatorio oportuno del imperativo de protegerse contra las amenazas cambiantes a la ciberseguridad.

    (Foto por Google DeepMind en desempaquetar)

    Ver también: OpenAI lanza ChatGPT Enterprise para acelerar las operaciones comerciales

    ¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Amsterdam, California y Londres. El evento integral comparte ubicación con Exposición de seguridad cibernética y nube y Semana de la Transformación Digital.

    Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados ​​por TechForge aquí.

    • ryan daws

      Ryan es editor senior en TechForge Media con más de una década de experiencia cubriendo la última tecnología y entrevistando a figuras líderes de la industria. A menudo se le puede ver en conferencias tecnológicas con un café fuerte en una mano y una computadora portátil en la otra. Si es geek, probablemente le guste. Encuéntrelo en Twitter (@Gadget_Ry) o Mastodon (@[email protected])

      Ver todas las publicaciones

    Etiquetas: ai, chatbot, chatbots, centro nacional de seguridad cibernética, ciberseguridad, inteligencia artificial, infosec, inyección rápida, modelo de lenguaje grande, ncsc, piratería informática, seguridad cibernética

    Fuente: Los ataques de ‘inyección rápida’ de chatbot plantean un riesgo de seguridad creciente

    Populares

    Más de esta categoría

    DEJA UNA RESPUESTA

    Por favor ingrese su comentario!
    Por favor ingrese su nombre aquí

    This site uses Akismet to reduce spam. Learn how your comment data is processed.