Conozca los riesgos del uso de agentes de IA
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Identificar los riesgos de seguridad más comunes que pueden afectar a los agentes de IA.
- Describir cómo los riesgos de agentes de IA pueden afectar a los flujos de trabajo empresariales.
Antes de empezar
Antes de empezar este módulo, considere completar este contenido recomendado.
-
Aspectos básicos sobre la IA generativa
-
Introducción a Agentforce
-
Amenazas de ciberseguridad y agentes maliciosos
Conozca los riesgos del uso de agentes de IA
Los agentes de IA aligeran la carga de los equipos empresariales mediante la gestión de las tareas rutinarias, la reducción de los pasos manuales y la ayuda que prestan a los clientes para que consigan lo que necesitan de forma más rápida. Independientemente de si utiliza un solo agente o un sistema de varios, como Agentforce, el objetivo es permitir que los agentes gestionen el trabajo que se les da tan bien, lo que permite que las personas puedan centrarse en tareas de mayor valor.
Sin embargo, dado que los agentes pueden actuar,no solo analizar, crean un conjunto diferente de riesgos. Los riesgos de IA tradicionales se centran en la manera en la que se utilizan los datos o se hace un mal uso de ellos. Por ejemplo, la contaminación de los datos, los ataques de inyección de solicitudes y las alucinaciones afectan a la integridad de los datos y a la calidad, incluso a lo que el modelo dice o produce. los riesgos de los agentes van un paso más allá. Implican lo que ocurre cuando el resultado impulsa acciones reales, como el envío de mensajes, el cambio de registros, la actualización de sistemas o la interacción con los clientes. Cuando un agente se ve afectado o no está bien configurado, el impacto afecta también a las operaciones: un cliente recibe la factura incorrecta, no se lleva a cabo el pago de las nóminas de algún departamento o se genera un informe de cumplimiento pero no llega a entregarse. Estos fallos muestran el motivo por el que conocer los riesgos de los agentes y establecer protecciones de antemano es tan importante como la tecnología en sí.
El modelado de amenazas proporciona una manera de examinar en qué puntos los riesgos de los agentes podrían causar errores o tropiezos. Al visualizar estos riesgos en el contexto de las tareas diarias es importante, ya que los agentes trabajan en flujos de trabajo reales, con datos y personas de verdad, y toman decisiones. Cuando no se conocen esos flujos de trabajo, incluso los mejores agentes pueden comportarse de una forma que el equipo de desarrollo no espera.
Vamos a ver algunos de los riesgos de agentes de IA más comunes, adaptados según las directrices sobre la IA de agentes de la OWASP, y cómo pueden afectar a los flujos de trabajo.
Riesgo |
Agente/causa e impacto |
|---|---|
Envenenamiento de la memoria |
Los atacantes introducen contexto falso en la memoria a corto o largo plazo de un agente, por lo que el agente repite acciones que no son seguras con el tiempo. |
Mal uso de las herramientas |
Los atacantes engañan al agente para que utilicen las herramientas autorizadas en exceso (enviar datos, ejecutar comandos, encadenar acciones) dentro de los permisos permitidos. |
Privilegios en riesgo |
Una mala configuración puede hacer que el agente cuente con más acceso del que necesita, lo que le permite realizar acciones de mayor riesgo (aprobar, cambiar, eliminar). |
Sobrecarga de recursos |
Los atacantes desbordan a los agentes o al sistema con tareas, por lo que estos se ejecutan fuera de la capacidad de cómputo o del límite de API y, por consiguiente, los procesos empresariales se bloquean. |
Alucinaciones en cascada |
Los agentes reutilizan los resultados falsos de sus propios agentes o de otros, por lo que se toman malas decisiones en los flujos de trabajo. |
Comportamientos desalineados o engañosos |
El agente persigue un objetivo de manera no permitida (por ejemplo, parece que cumple todas las políticas o actúa de forma perjudicial), omitiendo así las restricciones. |
Repudio y falta de trazabilidad |
Los atacantes interrumpen el registro del agente o lo sobrecargan con registros incompletos, por lo que resultará imposible realizar un seguimiento de sus acciones y se impedirá que se realicen las auditorías adecuadas o se responda a los incidentes. |
Identificación de la suplantación de identidad |
Los atacantes se hacen pasar por un usuario o un agente para enviar comandos y acceder a sistemas con una identidad de confianza. |
Proceso human-in-the-loop incontenible |
Los atacantes envían una gran cantidad de revisiones o aprobaciones, por lo que las personas, saturadas de tener que tomar decisiones, aprueban acciones que presentan riesgos. |
Ataques por parte de personas en sistemas de varios agentes |
Los atacantes se aprovechan de la delegación o la confianza entre agentes para escalar privilegios o evitar comprobaciones. |
Cualquiera de estos problemas, en caso de no abordarlos, puede provocar una interrupción operacional, la pérdida de confianza por parte de los clientes, daños de reputación o consecuencias legales o financieras.
Los riesgos de agentes pueden surgir de diferentes partes de un flujo de trabajo (brechas de diseño, problemas de configuración, comportamientos inesperados durante la ejecución o un mal uso intencionado por parte de los atacantes). Independientemente del origen, el impacto aparece de la misma manera: los agentes realizan acciones que la empresa no pretendía. El modelado de amenazas, proceso utilizado para identificar vulnerabilidades y posibles amenazas, destaca estos puntos de debilidad de antemano, por lo que se puede abordar antes de que lleguen a afectar a las operaciones. Exploraremos más sobre el modelado de amenazas en la siguiente unidad.
Conocer los motivos de los agentes maliciosos
Aunque las ganancias financieras sea un impulsor común para los ciberataques, los agentes maliciosos se ven motivados por varios objetivos. Conocer los distintos objetivos de los agentes maliciosos es fundamental para llevar a cabo un modelado de amenazas eficaz, ya que se revela qué vulnerabilidades de los agentes de IA se convertirán en el objetivo.
Hacktivistas
Suelen estar motivados por la exposición pública, una agenda política y las ganas de causar daños de reputación. Pueden utilizar a los agentes para que manipulen las acciones o las comunicaciones dirigidas al público (por ejemplo, el servicio de atención al cliente o los agentes de redes sociales) a fin de transmitir su mensaje, causar interrupciones operacionales o bloquear los flujos de trabajo más importantes del negocio.
Ciberdelincuentes
Suelen estar motivados por ganancias financieras. Pueden atacar a los agentes con acceso a datos de gran valor o con la capacidad de realizar transacciones financieras. Su objetivo es extraer información confidencial (robo de datos), aprovecharse de los permisos de un agente para ejecutar transacciones financieras fraudulentas o retener los sistemas y datos controlados por los agentes a cambio de un rescate.
Agentes del estado nación
Suelen estar motivados por el espionaje, la obstrucción estratégica y la adquisición de propiedad intelectual o beneficios económicos. Buscan poner en riesgo de manera encubierta a los agentes que gestionan la propiedad intelectual, la lógica empresarial más importante o los sistemas de control de infraestructuras. Los ataques suelen ser sutiles y estar pensados para manipular o robar datos a fin de conseguir un beneficio no monetario estratégico y a largo plazo.
Resumen
Los agentes de IA hacen que se trabaje de forma más rápida, pero esa velocidad es solo beneficiosa si el resultado es de confianza y seguro. Al conocer los riesgos comunes y el posible impacto que pueden provocar, se refuerzan las interacciones y se ayuda a que los agentes y la empresa sigan teniendo una situación estable.
En la siguiente unidad, aplicaremos el modelado de amenazas a flujos de trabajo reales a fin de revelar dónde conectan los agentes con datos, decisiones y personas, e identificar los pasos necesarios para proteger los procesos y activos fundamentales del negocio.