Identifique e gerencie os riscos do agente de IA
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Identificar em que pontos os agentes interagem com dados, decisões e pessoas em seus fluxos de trabalho.
- Praticar a modelagem de ameaças para mitigar os riscos dos agentes de IA.
Antes de começar
Antes de iniciar este módulo, considere a possibilidade de concluir este conteúdo recomendado.
Modelagem de ameaças aos fluxos de trabalho dos negócios
A modelagem de ameaças é uma forma estruturada de analisar como seus sistemas funcionam, identificar o que pode dar errado e decidir como gerenciar esses riscos antes que eles causem problemas. Nesta unidade, você usa uma versão simplificada da modelagem de ameaças para rastrear em que ponto os agentes se encaixam nos seus processos de negócios e onde os riscos podem surgir.
Antes de mergulhar na modelagem de ameaças no nível do código, é útil entender como os agentes de IA se encaixam no fluxo de trabalho geral da empresa. STRIDE, que é a abreviação de spoofing, tampering, repudiation, information disclosure, denial of service and elevation of privilege (falsificação, adulteração, repúdio, divulgação de informações, negação de serviço e elevação de privilégios) é uma estrutura de modelagem de ameaças familiar à maioria dos desenvolvedores, que a utilizam para identificar ameaças técnicas à segurança dentro de aplicativos. Mas mesmo a melhor análise de STRIDE não detectará todos os riscos decorrentes da forma como os agentes são utilizados.
Quando os desenvolvedores e profissionais de segurança compreendem o fluxo de trabalho da empresa, o modelo de ameaças torna-se mais preciso. Eles podem ver quais etapas são mais importantes e quando as decisões de um agente têm repercussões externas e internas. Eles começam a perceber riscos que não aparecem em um Ambiente de Desenvolvimento Integrado (IDE). Problemas como aprovações ausentes, falhas silenciosas ou transferências pouco claras não aparecem em um editor de código. Mas eles ficam à vista rapidamente quando o próprio fluxo de trabalho é modelado e examinado.
A modelagem de ameaças no nível do fluxo de trabalho revela em que ponto os controles são fracos, em quais casos os agentes dependem de suposições e quando uma pequena lacuna pode se transformar em um problema que vai afetar os negócios.
Antes de mapear seu próprio fluxo de trabalho, dê uma olhada neste exemplo e veja como uma única etapa perdida pode interromper completamente um processo, mesmo quando todas as partes do sistema parecem estar funcionando.
Cenário: O relatório desaparecido
Antes de mapear seu próprio fluxo de trabalho, vamos aquecer com um rápido cenário desafiador.
O relatório trimestral de conformidade da sua empresa está desaparecido. O sistema mostra que ele foi gerado, mas nunca chegou a ser enviado ao órgão regulador. O agente automatizado responsável por coletar, revisar e enviar o relatório por email insiste que “concluiu todas as etapas com sucesso”. Aqui está o fluxo de trabalho simplificado.
Etapa | Quem/O que age | Descrição |
|---|---|---|
1. Os dados são coletados dos sistemas financeiros. | Agente de IA | Extrai dados de vários bancos de dados. |
2. O relatório é gerado. | Agente de IA | Compila os dados e formata o relatório. |
3. O relatório é revisado. | Humano | Verifica os totais e dá a aprovação final. |
4. O relatório é enviado por email. | Agente de IA | Envia a versão final ao órgão regulador. |
Sua tarefa
Observar cada etapa e anotar quando um agente está envolvido. Depois perguntar a si mesmo:
- Em que ponto o relatório poderia ter falhado e não ter passado para a etapa seguinte (não foi salvo, não foi entregue ou não foi enviado)?
- Que controle ou verificação teria detectado essa falha mais cedo?
- Quem deveria ter sido notificado quando o relatório não foi enviado?
Você não precisa escrever uma resposta completa, apenas pense no que pode ter causado a falha e onde você procuraria primeiro. Este exercício mostra como pequenas falhas (verificação perdida ou propriedade pouco clara) podem se espalhar por um fluxo de trabalho.
Chave de respostas: O relatório desaparecido
Há mais de uma causa possível, mas aqui estão as prováveis e as lições.
Etapa | O que pode ter dado errado | O que poderia ter evitado isso |
|---|---|---|
1. Os dados são coletados dos sistemas financeiros. | O agente pode nunca ter iniciado a etapa de coleta de dados, de modo que o fluxo de trabalho não continuou para a criação do relatório. | Adicione uma verificação de acionamento que confirme que o processo foi iniciado e que a coleta inicial de dados foi concluída com sucesso antes de prosseguir. |
2. O relatório é gerado. | O agente criou o relatório, mas não o armazenou na pasta correta nem o marcou para envio. | Adicione uma verificação automática para confirmar se o relatório foi salvo, nomeado corretamente e está pronto para entrega. |
3. O relatório é revisado. | O revisor humano aprovou o arquivo, mas não confirmou que a ação de envio foi acionada. | Inclua uma lista de verificação de revisão ou painel que mostre se a entrega está pendente, em andamento ou concluída. |
4. O relatório é enviado por email. | O agente tentou enviar o email, mas a ação falhou ou as permissões expiraram e nenhum alerta foi gerado. | Adicione etapas de confirmação e notificação de entrega para que o revisor saiba quando o relatório for enviado com sucesso. |
Este cenário demonstra como os riscos do agente podem aparecer em fluxos de trabalho reais: verificações ausentes, transferências pouco claras e falhas não relatadas. Essas questões são mais visíveis para desenvolvedores, administradores de sistema, profissionais de cibersegurança e responsáveis pela configuração e manutenção do fluxo de trabalho. Examinar esses pontos de contato, antecipadamente, ajuda a evitar que pequenas lacunas se transformem em falhas que afetem os negócios.
Experimente com seu próprio fluxo de trabalho
Agora, a mesma lente será aplicada a um fluxo de trabalho interno. O objetivo é ver em que ponto os agentes se conectam com pessoas, dados e sistemas, e em quais deles é mais provável que os riscos apareçam. Siga estas quatro etapas para mapear o fluxo de trabalho, identificar pontos de risco em potencial e considerar como eles podem ser gerenciados.
Etapa 1: mapeie seu fluxo de trabalho
- Comece escolhendo um processo em que os agentes são ativos (suporte ao cliente, agendamento, integração).
- Identifique as etapas do início ao fim.
- Observe quem ou o que aciona o processo, quais dados passam por ele e em que ponto o agente se encaixa.
Exemplo: fluxo de trabalho do agente para suporte ao cliente
Solicitação do cliente → Agente analisa os dados → Agente responde → Aprovação humana → Atualização do sistema
Etapa 2: marque as interações
- Em seguida, procure os pontos em que seu agente interage com:
- Pessoas (usuários, funcionários, clientes)
- Dados (informações que ele lê, grava ou armazena)
- Sistemas (aplicativos, APIs, bancos de dados)
- Pessoas (usuários, funcionários, clientes)
- Destaque esses pontos de contato. É ali que a probabilidade de que os riscos apareçam é maior.
Exemplo: Solicitação do cliente (Entrada de dados) → Agente analisa os dados (Conexão API) → Agente responde → Aprovação humana (Revisão humana) → Atualização do sistema
Etapa 3: aplique uma lente de modelagem de ameaças
Agora, faça a si mesmo algumas perguntas simples em cada ponto de contato.
- O que poderia dar errado aqui?
- O que acontece se o agente tomar a decisão errada ou agir muito cedo ou muito tarde?
- Quem ou o que poderia explorar essa etapa?
Crie uma tabela simples para documentar onde os maiores problemas podem surgir. Aqui está um exemplo resumido.
Etapa | Risco possível | Impacto |
|---|---|---|
Solicitação de cliente | Dados ausentes ou incompletos enviados pelo cliente | O agente responde incorretamente ou não consegue concluir a tarefa. |
O agente revisa os dados | Acesso excessivo à API | Dados confidenciais são expostos. |
Etapa 4: planeje sua resposta
- Para cada risco que você observou, decida como lidar com ele.
- Corrija-o, restringindo as permissões, adicionando etapas de revisão ou limitando o que o agente pode acessar.
- Monitore-o, adicionando alertas, logs ou revisões periódicas.
- Aceite-o, documentando os riscos de baixo impacto para que você possa revisá-los posteriormente.
- Corrija-o, restringindo as permissões, adicionando etapas de revisão ou limitando o que o agente pode acessar.
- Escolha seus três principais riscos e uma resposta concreta para cada um.
Exemplo de análise de risco
Etapa | Risco possível | Resposta | Impacto |
|---|---|---|---|
Solicitação de cliente | Dados ausentes ou incompletos enviados pelo cliente | Correção: adicione campos obrigatórios ou verificações de validação para que solicitações incompletas não possam ser enviadas. | Se o agente recebe informações completas e precisas, ele pode responder corretamente. |
O agente revisa os dados | Acesso excessivo à API | Monitorar: adicione alertas se o agente tentar acessar dados fora dos sistemas aprovados. | Os analistas de segurança detectam acessos a dados incomuns ou inseguros antes que se tornem um problema maior. |
Resumo
Nesta unidade, você mapeou um fluxo de trabalho, identificou quando os agentes interagem com pessoas, dados e sistemas e usou uma lente simplificada de modelagem de ameaças para descobrir riscos em potencial. Tenha essa visão do fluxo de trabalho em mente ao passar para estruturas formais de modelagem de ameaças, como STRIDE e outras. Elas podem ajudá-lo a identificar as ameaças técnicas mais profundas, mas o contexto do fluxo de trabalho garante que esses esforços permaneçam baseados no que é mais importante: manter os agentes de IA alinhados com a missão e os resultados da empresa.