Identificar y gestionar riesgos de los agentes de IA
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Identificar en qué momentos los agentes interactúan con datos, decisiones y personas en sus flujos de trabajo.
- Implementar el modelado de amenazas para mitigar los riesgos de los agentes de IA.
Antes de empezar
Antes de comenzar este módulo, considere completar el contenido recomendado.
Flujos de trabajo de negocio de modelado de amenazas
El modelado de amenazas es una forma estructurada de analizar cómo funcionan sus sistemas, identificar qué errores pueden producirse y decidir cómo gestionar estos riesgos antes de que generen problemas. En esta unidad, utilizará una versión simplificada del modelado de amenazas para averiguar en qué aspectos de los procesos de negocio están involucrados los agentes y en qué contextos se pueden producir los riesgos.
Antes de explorar en detalle el modelado de amenazas en el nivel del código, resulta útil comprender cómo se involucran los agentes de IA en el flujo de trabajo de negocio más amplio. STRIDE (un acrónimo en inglés para la suplantación de identidad, la falsificación, el incumplimiento, la divulgación de información, la denegación de servicio y la elevación de privilegios) es un marco de modelado de amenazas que resulta familiar para la mayoría de los desarrolladores, quienes lo utilizan para identificar las amenazas de seguridad técnica en las aplicaciones. Sin embargo, ni siquiera los mejores análisis de STRIDE podrán detectar todos los riesgos que surgen a partir de cómo se utilizan los agentes.
Cuando los desarrolladores y profesionales de seguridad comprenden el flujo de trabajo de negocio, el modelado de amenazas se vuelve más preciso. De esta forma, pueden saber qué pasos son más importantes y en qué contextos se propagan de forma interna o externa las decisiones de un agente. Comienzan a reconocer riesgos que no se observan en un Entorno de desarrollo integrado (IDE, por sus siglas en inglés). Los problemas como las aprobaciones faltantes, los errores no detectados y las entregas poco claras no se mostrarán en un editor de código. Sin embargo, estos se detectan con rapidez cuando se modela y examina el flujo de trabajo en sí.
El modelado de amenazas en el nivel del flujo de trabajo pone en evidencia los puntos débiles de los controles, los contextos en los que los agentes dependen de suposiciones y los aspectos en los que una pequeña brecha pueden convertirse en un problema que impacte el negocio.
Antes de asignar su propio flujo de trabajo, analice el siguiente ejemplo y observe cómo un único paso faltante puede arruinar un proceso completo, incluso cuando pareciera que cada parte del sistema funciona.
Escenario: El reporte desaparecido
Antes de asignar su propio flujo de trabajo, preparémonos con un escenario de desafío breve.
Falta el reporte de cumplimiento trimestral de su compañía. El sistema muestra que se lo generó, pero nunca se lo envío a la entidad regulatoria. El agente automatizado responsable de generar, revisar y enviar por email el reporte insiste en que “se completaron correctamente todos los pasos”. El siguiente es el flujo de trabajo simplificado.
Paso | Quién o qué actúa | Descripción |
|---|---|---|
1. Se recopilan datos de los sistemas financieros. | Agente de IA | Extrae datos de varias bases de datos. |
2. Se genera el reporte. | Agente de IA | Compila los datos y le da formato al reporte. |
3. Se revisa el reporte. | Agente humano | Comprueba los totales y lo confirma. |
4. Se envía por email el reporte. | Agente de IA | Envía la copia final a la entidad reguladora. |
Su tarea
Consulte cada paso y observe en cuáles se ve involucrado un agente. Luego, pregúntese lo siguiente:
- ¿En qué instancia el reporte dejó de avanzar al siguiente paso (no se guardó, no se entregó o no se envió)?
- ¿Qué control o comprobación podría haber detectado esta falla antes?
- ¿A quién se le debería haber enviado una notificación cuando no se envió el reporte?
No es necesario redactar una respuesta completa. Simplemente considere qué podría haber generado la falla y qué aspecto analizaría primero. En este ejercicio, se demuestra cómo los fallos pequeños (una comprobación faltante o una propiedad poco clara) pueden propagarse en un flujo de trabajo.
Guía de respuestas: El reporte desaparecido
Si bien existe más de una causa posible, las siguientes son algunas de las causas y lecciones probables.
Paso | Qué podría haber fallado | Qué podría haberlo evitado |
|---|---|---|
1. Se recopilan datos de los sistemas financieros. | Puede que el agente nunca iniciara el paso de recopilación de datos, por lo que el flujo de trabajo no prosiguió con la generación del reporte. | Agregue una comprobación de desencadenador que confirme que el proceso se inició y que se completó correctamente la recopilación inicial antes de continuar. |
2. Se genera el reporte. | El agente creó el reporte, pero no lo almacenó en la carpeta correcta o no lo marcó para su envío. | Agregue una comprobación automática para confirmar que se haya guardado el reporte, se le haya asignado un nombre adecuado y esté listo para su entrega. |
3. Se revisa el reporte. | El revisor humano aprobó el archivo, pero no confirmó que se haya desencadenado la acción de envío. | Incluya una lista de revisión o un tablero en el que se muestre si la entrega está pendiente, en curso o si se completó. |
4. Se envía por email el reporte. | El agente intentó enviar el email, pero no se pudo realizar la acción o se vencieron los permisos, y no se activó ninguna alerta. | Agregue pasos de confirmación y notificación de entrega para que el revisor sepa cuando se haya enviado correctamente el reporte. |
En este escenario, se demuestra cómo se pueden presentar los riesgos de los agentes en flujos de trabajo reales: comprobaciones faltantes, entregas poco claras y fallas sin informar. Estos problemas resultan más evidentes para los desarrolladores, los administradores del sistema, los profesionales de ciberseguridad y las personas responsables de configurar y mantener el flujo de trabajo. Examinar estos puntos de contacto con anticipación ayuda a evitar que las brechas pequeñas se conviertan en errores que impacten el negocio.
Realizar una prueba con su propio flujo de trabajo
Ahora, aplicaremos la misma perspectiva en un flujo de trabajo interno. El objetivo es descubrir en qué momentos los agentes se conectan con personas, datos y sistemas, y dónde es más probable que se presenten los riesgos. Realice los siguientes cuatro pasos para asignar el flujo de trabajo, identificar los posibles puntos de riesgo y considerar cómo se los podría abordar.
Paso 1: Asignar su flujo de trabajo
- Para comenzar, elija un proceso en el que los agentes estén activos (asistencia al cliente, programación o incorporación).
- Identifique los pasos de principio a fin.
- Anote qué o quién desencadena el proceso, qué datos se trasladan por este y en qué partes se ve involucrado el agente.
Ejemplo: Flujo de trabajo del agente para la asistencia al cliente
Solicitud del cliente → El agente revisa los datos → El agente responde → Aprobación por parte de una persona → Actualización del sistema
Paso 2: Marcar las interacciones
- A continuación, busque los puntos en los que el agente interactúa con lo siguiente:
- Personas (usuarios, empleados o clientes)
- Datos (información que lee, escribe o almacena)
- Sistemas (aplicaciones, API o bases de datos)
- Personas (usuarios, empleados o clientes)
- Destaque estos puntos de contacto. En ellos, es más probable que se presenten los riesgos.
Ejemplo: Solicitud del cliente (Entrada de datos) → El agente revisa los datos (Conexión con la API) → El agente responde → Aprobación por parte de una persona (Revisión por parte de una persona) → Actualización del sistema
Paso 3: Aplicar una perspectiva de modelado de amenazas
Ahora, realice un par de preguntas simples en cada punto de contacto.
- ¿Qué podría fallar aquí?
- ¿Qué sucedería si el agente tomara una decisión incorrecta, o si actuara muy pronto o muy tarde?
- ¿Quién o qué podría aprovecharse de este paso?
Cree una tabla simple para documentar en dónde podrían presentarse los problemas más grandes. El siguiente es un ejemplo abreviado.
Paso | Posible riesgo | Impacto |
|---|---|---|
Solicitud del cliente | Datos faltantes o incompletos enviados por el cliente | El agente responde de forma incorrecta o no puede completar la tarea. |
El agente revisa los datos | Acceso excesivo a la API | Se exponen datos confidenciales. |
Paso 4: Planificar su respuesta
- Para cada riesgo que anotó, decida cómo gestionarlo.
- Para solucionarlo, restrinja los permisos, agregue pasos de revisión o limite el acceso otorgado al agente.
- Para monitorearlo, agregue alertas, registros o revisiones regulares.
- Para aceptarlo, documente los riesgos de bajo impacto para poder volver a revisarlos luego.
- Para solucionarlo, restrinja los permisos, agregue pasos de revisión o limite el acceso otorgado al agente.
- Seleccione los tres riesgos principales y una respuesta concreta para cada uno.
Análisis de riesgos de ejemplo
Paso | Posible riesgo | Respuesta | Impacto |
|---|---|---|---|
Solicitud del cliente | Datos faltantes o incompletos enviados por el cliente | Solución: Agregue campos requeridos o comprobaciones de validación para que no se puedan enviar solicitudes incompletas. | El agente recibe información precisa y completa, y puede responder de forma correcta. |
El agente revisa los datos | Acceso excesivo a la API | Monitoreo: Agregue alertas si el agente intenta acceder a datos por fuera de los sistemas aprobados. | Los analistas de seguridad detectan el acceso inusual o inseguro a datos antes de que se convierta en un problema más grande. |
Resumen
En esta unidad, asignó un flujo de trabajo, identificó en qué momentos los agentes interactúan con personas, datos y sistemas, y utilizó una perspectiva simplificada de modelado de amenazas para identificar riesgos potenciales. Siga teniendo en cuenta esta vista del flujo de trabajo a medida que avance a marcos de trabajo formales de modelado de datos como STRIDE, entre otros. Si bien pueden ayudarlo a identificar amenazas técnicas más profundas, el contexto del flujo de trabajo garantiza que estos esfuerzos se mantengan fundamentados en el aspecto más importante: mantener a los agentes de IA alineados con la misión y los resultados del negocio.