Identificar y gestionar riesgos de agente de IA
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Identificar dónde los agentes interactúan con los datos, las decisiones y las personas en sus flujos de trabajo.
- Practicar el modelado de amenazas para mitigar los riesgos del agente de IA.
Antes de empezar
Antes de empezar este módulo, considere completar este contenido recomendado.
Flujos de trabajo empresariales de modelado de amenazas
El modelado de amenazas es una manera estructurada de observar cómo funcionan sus sistemas, identificar lo que puede salir mal y decidir cómo gestionar esos riesgos antes de que lleguen a causar problemas. En esta unidad, utilizará una versión simplificada de modelado de amenazas para realizar un seguimiento de dónde encajan los agentes en sus procesos de negocio y dónde puede aparecer el riesgo.
Antes de profundizar en el modelado de amenazas a nivel de código, ayuda a comprender cómo los agentes de IA encajan en el flujo de trabajo empresarial. STRIDE (abreviatura para suplantación de identidad, manipulación de los datos, repudio, divulgación de información, denegación de servicio y escalada de privilegios) es un marco de trabajo de modelado de amenazas que le resulta familiar a la mayoría de desarrolladores, que lo utilizan para identificar amenazas técnicas de seguridad en las aplicaciones. Sin embargo, incluso el mejor análisis STRIDE no es capaz de detectar todos los riesgos que provienen de la manera en que se utilizan los agentes.
Cuando los desarrolladores y los profesionales de la seguridad conocen el flujo de trabajo empresarial, el modelo de amenazas se vuelve más ingenioso. Pueden ver qué pasos son más importantes y cuándo las decisiones de un agente tienen un efecto de menor o mayor alcance. Comienzan a detectar riesgos que no aparecen en un entorno de desarrollo integrado (IDE). Problemas como la falta de aprobaciones, los fallos silenciosos o las distribuciones confusas no aparecen en un editor de código. Sin embargo, aparecen rápido cuando el flujo de trabajo en sí se modela y examina.
El modelado de amenazas en el nivel de flujo de trabajo revela las debilidades de los controles, los puntos en los que los agentes confían en las suposiciones y las pequeñas brechas que podrían convertirse en un problema que afecte a todo el negocio.
Antes de asignar su propio flujo de trabajo, eche un vistazo a este ejemplo y vea cómo el hecho de saltarse un paso puede hacer que un proceso completo fracase, aunque parezca que cada una de las partes del sistema funcione correctamente.
Situación: El informe perdido
Antes de asignar su propio flujo de trabajo, vamos a calentar con un reto rápido.
El informe de cumplimiento trimestral de su empresa no aparece. El sistema muestra que se ha generado pero no se ha llegado a enviar al regulador. El agente automatizado responsable de recopilar, revisar y enviar por correo electrónico el informe insiste en que se han completado todos los pasos correctamente. Este es un flujo de trabajo simplificado.
Paso | Quién/qué actúa | Descripción |
|---|---|---|
1. Los datos se recopilan de los sistemas de finanzas. | Agente de IA | Extrae los datos de varias bases de datos. |
2. Se genera el informe. | Agente de IA | Compila los datos y aplica formato al informe. |
3. Se revisa el informe. | Persona | Comprueba los totales y lo aprueba. |
4. El informe se envía por correo electrónico. | Agente de IA | Envía la copia final al regulador. |
Su tarea
Mire los pasos y observe dónde se involucra un agente; a continuación, pregúntese lo siguiente:
- ¿En qué paso podría haberse producido el error (no se ha guardado, no se ha aprobado o no se ha enviado?
- ¿Qué control o comprobación podría haber detectado ese fallo antes?
- ¿A quién se debería haber informado cuando el informe no se envió?
No tiene que escribir una respuesta completa, solo piense en lo que podría haber causado el error y dónde empezaría a comprobar. Este ejercicio muestra cómo los pequeños fallos (no haber realizado una comprobación o que la propiedad no esté clara) pueden acabar con todo un flujo de trabajo.
Respuesta clave: El informe perdido
Hay más de un motivo posible, pero estas son algunas causas y lecciones.
Paso | Qué ha podido ir mal | Qué podría haberlo evitado |
|---|---|---|
1. Los datos se recopilan de los sistemas de finanzas. | Es posible que el agente no haya realizado el paso de recopilación de datos, por lo que el flujo de trabajo no ha seguido con la creación del informe. | Agregue un desencadenador de comprobación que confirme que el proceso ha comenzado y que la recopilación de datos inicial se ha completado correctamente antes de continuar. |
2. Se genera el informe. | El agente ha creado el informe pero no lo ha guardado en la carpeta adecuada o no lo ha marcado para que se envíe. | Agregue una comprobación automática para confirmar que el informe se ha guardado, se ha nombrado correctamente y está listo para enviarse. |
3. Se revisa el informe. | La persona que lo revisa ha aprobado el archivo pero no ha confirmado que se haya activado la acción de envío. | Incluya una lista de comprobación o un panel de revisión que muestre si la entrega está pendiente, en progreso o si se ha completado. |
4. El informe se envía por correo electrónico. | El agente ha intentado enviar el correo electrónico, pero la acción no se ha completado o los permisos han caducado; y no se ha creado ninguna alerta. | Agregue pasos de confirmación y notificación de entrega para que el revisor sepa si el informe se ha enviado correctamente. |
Esta situación demuestra cómo pueden aparecer riesgos del agente en flujos de trabajo reales: falta de comprobaciones, distribuciones confusas y errores de los que no se informa. Estos problemas son mayormente visibles para los desarrolladores, administradores de sistemas, profesionales de la ciberseguridad y personas responsables de configurar y mantener el flujo de trabajo. Al examinar estos puntos de contacto pronto, se ayuda a evitar que las pequeñas brechas se conviertan en problemas que afecten a todo el negocio.
Pruebe con su propio flujo de trabajo
Ahora vamos a aplicar el mismo concepto a un flujo de trabajo interno. El objetivo es ver de qué manera conectan los agentes con las personas, los datos y los sistemas y dónde es más probable que aparezcan riesgos. Siga estos cuatro pasos para asignar el flujo de trabajo, identificar posibles puntos de riesgo y considerar cómo pueden gestionarse.
Paso 1: Asignar su flujo de trabajo
- Empiece por elegir un proceso en el que los agentes estén activos (atención al cliente, programación, proceso de incorporación).
- Identifique los pasos desde el principio hasta el final.
- Observe quién o qué activa el proceso, qué datos se utilizan y cuándo entra el agente en acción.
Ejemplo: Flujo de trabajo de agente para atención al cliente
Solicitud de cliente → El agente revisa los datos → El agente responde → Una persona lo aprueba → Se actualiza el sistema
Paso 2: Marcar las interacciones
- A continuación, busque los puntos con los que el agente interactúa:
- Personas (usuarios, empleados, clientes)
- Datos (información que lee, escribe o almacena)
- Sistemas (aplicaciones, API, bases de datos)
- Personas (usuarios, empleados, clientes)
- Resalte estos puntos de contacto. Se trata de los momentos que tienen más probabilidades de que aparezcan riesgos.
Ejemplo: Solicitud de cliente (Entrada de datos) → El agente revisa los datos (Conexión de API) → El agente responde → Una persona lo aprueba (Revisión por parte de una persona) → El sistema se actualiza
Paso 3: Aplicar un concepto de modelado de amenazas
Ahora, hágase unas preguntas sencillas en cada uno de los puntos de contacto.
- ¿Qué podría salir mal?
- ¿Qué ocurre si el agente toma una decisión que no es adecuada o actúa demasiado pronto o demasiado tarde?
- ¿Quién o qué podría fastidiar este paso?
Cree una tabla sencilla para documentar dónde podrían aparecer los mayores problemas. Este es un ejemplo abreviado.
Paso | Posible riesgo | Impacto |
|---|---|---|
Solicitud de cliente | Los datos que ha enviado el cliente no están completos | El agente no responde de forma adecuada o no puede completar la tarea. |
El agente revisa los datos | Acceso de API excesivo | Se exponen datos confidenciales. |
Paso 4: Planificar su respuesta
- Para cada riesgo que haya observado, decida cómo puede gestionarlo.
- Soluciónelo restringiendo permisos, agregue pasos de revisión o limite el acceso del agente.
- Supervíselo añadiendo alertas, registros o revisiones habituales.
- Acéptelo mediante la documentación de riesgos con poco impacto para poder reconsiderarlos de nuevo más adelante.
- Soluciónelo restringiendo permisos, agregue pasos de revisión o limite el acceso del agente.
- Elija los tres riesgos principales y una respuesta concreta para cada uno de ellos.
Ejemplo de análisis de riesgos
Paso | Posible riesgo | Respuesta | Impacto |
|---|---|---|---|
Solicitud de cliente | Los datos que ha enviado el cliente no están completos | Solucionar: agregar campos obligatorios o comprobaciones de validación para que las solicitudes que no estén completas no puedan enviarse. | El agente recibe la información completa y precisa, y puede responder correctamente. |
El agente revisa los datos | Acceso de API excesivo | Supervisar: agregue alertas si el agente intenta acceder a los datos fuera de los sistemas aprobados. | Los analistas de seguridad detectan el acceso inusual o no seguro antes de que se convierta en un problema mayor. |
Resumen
En esta unidad, ha asignado un flujo de trabajo, ha identificado el momento en el que los agentes interactúan con las personas, los datos y los sistemas, y ha utilizado un concepto de modelado de amenazas para descubrir posibles riesgos. Tenga en cuenta esta vista del flujo de trabajo a medida que pasa a los flujos de trabajo de modelado de amenazas más formales, como STRIDE y otros. Pueden ayudarle a identificar las amenazas técnicas más profundas, pero el contexto del flujo de trabajo garantiza que esos esfuerzos se centren en lo que más importa: mantener a los agentes de IA alineados con la misión y los resultados del negocio.