Conocer los riesgos al utilizar agentes de IA
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Identificar riesgos comunes de seguridad que puedan afectar a los agentes de IA.
- Describir cómo los riesgos de los agentes de IA pueden afectar los flujos de trabajo de negocios.
Antes de empezar
Antes de comenzar este módulo, considere completar el contenido recomendado.
-
Aspectos básicos de la IA generativa
-
Introducción a Agentforce
-
Amenazas a la ciberseguridad y factores de amenaza
Descubrir los riesgos de utilizar agentes de IA
Los agentes de IA pueden aligerar la carga de los equipos de negocio al encargarse del trabajo rutinario, reducir los pasos manuales y ayudar a los clientes a obtener lo que necesitan con mayor rapidez. Ya sea que utilice un único agente o un sistema de varios agentes como Agentforce, el objetivo es permitir que los agentes se encarguen de los trabajos en los que son buenos para que las personas puedan enfocarse en tareas de mayor valor.
Sin embargo, como los agentes no solo pueden analizar, sino también actuar, presentan un conjunto de riesgos diferentes. Los riesgos tradicionales de la IA se enfocan en los usos correctos o indebidos de los datos. Por ejemplo, el envenenamiento de datos, la inyección de solicitudes y las alucinaciones afectan la integridad de los datos y la calidad de los resultados, o lo que el modelo dice o produce. Los riesgos de los agentes son un poco más graves. Implican lo que sucede cuando dichos resultados impulsan acciones reales, como el envío de mensajes, las modificaciones en los registros, la actualización de sistemas o la interacción con los clientes. Cuando un agente se ve comprometido o no se configura correctamente, el impacto se traslada con rapidez a las operaciones: un cliente recibe una factura incorrecta, la nómina de un departamento experimenta un error de ejecución o se genera un reporte de cumplimiento que nunca se envía. En estos desgloses, se demuestra por qué comprender los riesgos de los agentes y establecer salvaguardas con antelación resulta tan importante como la misma tecnología.
El modelado de amenazas proporciona una manera de examinar en qué contextos los riesgos de los agentes podrían provocar fallas o errores. Analizar estos riesgos en el contexto del trabajo diario resulta importante porque los agentes operan dentro de flujos de trabajo reales, lo que genera un impacto en datos, personas y decisiones reales. Cuando no se conocen o comprenden estos flujos de trabajo, incluso los agentes bien desarrollos pueden presentar comportamientos que el equipo de desarrollo no esperaba.
Analicemos algunos riesgos comunes de los agentes de IA, adaptados de las Directrices de OWASP sobre la IA agéntica y el impacto que pueden generar en los flujos de trabajo.
Riesgo |
Actor/Motivo e impacto |
|---|---|
Envenenamiento de la memoria |
Los atacantes implantan contexto falso en la memoria a corto o largo plazo de un agente para que el agente repita acciones poco seguras con el tiempo. |
Uso indebido de herramientas |
Los atacantes engañan al agente para que haga uso abusivo de sus herramientas autorizadas (enviar datos, ejecutar comandos y encadenar acciones) dentro de los permisos otorgados. |
Puesta en riesgo de privilegios |
Una configuración incorrecta le proporciona al agente un acceso más amplio del previsto, lo que le permite realizar acciones de alto riesgo (aprobaciones, modificaciones y eliminaciones). |
Sobrecarga de recursos |
Los atacantes sobrecargan de tareas para que el agente o el sistema se queden sin su cuota de procesamiento/API y se estanquen los procesos de negocios. |
Alucinaciones en cascada |
Los agentes reutilizan los resultados falsos propios o de otros agentes, lo que propaga las malas decisiones en todos los flujos de trabajo. |
Comportamientos engañosos o no acordes a la normativa |
El agente persigue un objetivo de formas no autorizadas (parece en cumplimiento, pero actúa de manera perjudicial) y elude las restricciones. |
Incumplimiento e imposibilidad de seguimiento |
Los atacantes interrumpen los registros del agente o lo sobrecargan de registros incompletos, lo que genera que sea imposible realizar un seguimiento de sus acciones y evita respuesta ante incidentes o auditorias adecuadas. |
Suplantación de identidad y personificación falsa |
Los atacantes se hacen pasar por un usuario o agente para emitir comandos y acceder a sistemas mediante una identidad de confianza. |
Sobrecarga de la intervención humana |
Los atacantes envían revisiones o aprobaciones de forma masiva para que los humanos repitan acciones arriesgadas debido a la fatiga por tomar decisiones. |
Ataques humanos en sistemas de varios agentes |
Los atacantes aprovechan la confianza o delegación entre los agentes para ampliar los privilegios o evadir las comprobaciones. |
Cualquiera de estos problemas puede generar la interrupción de las operaciones, la pérdida de confianza de los clientes, daños en la reputación o consecuencias legales y financieras si no se abordan.
Los riesgos de los agentes pueden surgir de distintas partes de un flujo de trabajo: brechas en el diseño, problemas de configuración, comportamiento inesperado durante la ejecución o uso indebido intencional por parte de los atacantes. Independientemente de la fuente, el impacto se presenta de la misma manera: los agentes realizan acciones que no se esperaban en el negocio. El modelado de amenazas, que es un proceso utilizado para identificar vulnerabilidades y amenazas potenciales, expone estos puntos débiles con anticipación para que se los pueda abordar antes de que afecten las operaciones. Seguiremos explorando el modelado de amenazas en la siguiente unidad.
Comprender qué motiva a los atacantes
Si bien las ganancias financieras son uno de los factores comunes que impulsan los ciberataques, los atacantes se ven motivados por una gran variedad de objetivos. Comprender estos diversos objetivos de los atacantes es fundamental para un modelado de amenazas eficaz, ya que pone en evidencia a qué vulnerabilidades de los agentes de IA apuntarán.
Hacktivistas
Por lo general, se ven motivados por la exposición pública, una agenda política y generar consecuencias negativas para la reputación. Pueden aprovechar a los agentes para manipular sus acciones o comunicados dirigidos al público (por ejemplo, agentes de servicio de atención al cliente o redes sociales) y difundir así su mensaje, interrumpir las operaciones u obstaculizar los flujos de trabajo críticos para el negocio.
Ciberdelincuentes
Por lo general, se ven motivados por las ganancias financieras. Pueden apuntar a agentes con acceso a datos de alto valor o capacidades para realizar transacciones financieras. Su objetivo es extraer información confidencial (robo de datos), aprovechar los permisos de un agente para ejecutar transacciones financieras fraudulentas o retener sistemas y datos controlados por los agentes para exigir un rescate.
Actores del estado nacional
Por lo general, se ven motivados por el espionaje, la obstrucción estratégica y la obtención de propiedad intelectual o beneficios económicos. Puede que busquen poner en riesgo de forma encubierta a los agentes que gestionan propiedad intelectual, lógica de negocios crítica o sistemas de control de infraestructura. Sus ataques suelen ser discretos y tienen el objetivo de manipular o robar datos para obtener un beneficio estratégico no monetario a largo plazo.
Resumen
Los agentes de IA hacen que el trabajo sea más rápido, pero esta velocidad solo resulta beneficiosa si los resultados son confiables y seguros. Reconocer los riesgos comunes y su posible impacto fortalece cada interacción y ayuda a mantener la estabilidad de los agentes y el negocio.
En la próxima unidad, aplicaremos el modelado de amenazas en flujos de trabajo reales para descubrir en qué momentos los agentes se conectan con datos, decisiones y personas, e identificar los pasos necesarios para proteger los procesos y activos esenciales del negocio.