Conheça os riscos ao usar agentes de IA
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Identifique riscos de segurança comuns que podem afetar os agentes de IA.
- Descreva como os riscos dos agentes de IA podem afetar os fluxos de trabalho dos negócios.
Antes de começar
Antes de iniciar este módulo, considere a possibilidade de concluir este conteúdo recomendado.
-
Noções básicas de IA generativa
-
Introdução ao Agentforce
-
Ameaças de cibersegurança e agentes de ameaças
Aprenda quais são os riscos ao usar agentes de IA
Os agentes de IA podem aliviar a carga das equipes de negócios, lidando com tarefas rotineiras, reduzindo etapas manuais e ajudando os clientes a obter o que precisam mais rapidamente. Tanto faz se você estiver usando um único agente ou um sistema com vários agentes, como o Agentforce; o objetivo é permitir que os agentes lidem com o trabalho nos quais eles são bons, para que as pessoas possam se concentrar em tarefas de maior valor.
Mas, como os agentes podem agir, e não apenas analisar, eles criam um conjunto diferente de riscos. Os riscos tradicionais da IA se concentram em como os dados são usados ou mal utilizados. Por exemplo, envenenamento de dados, inserção de prompts e alucinações afetam a integridade dos dados e a qualidade da saída ou o que o modelo diz ou produz. Os riscos dos agentes vão um passo além. Eles envolvem o que acontece quando essa saída gera ações reais, como enviar mensagens, alterar registros, atualizar sistemas ou interagir com clientes. Quando um agente está comprometido ou configurado incorretamente, o impacto se move rapidamente para as operações: um cliente recebe a fatura errada, a folha de pagamento de um departamento não é executada ou um relatório de conformidade é gerado, mas nunca entregue. Essas falhas mostram por que entender os riscos dos agentes e estabelecer proteções antecipadamente é tão importante quanto a própria tecnologia.
A modelagem de ameaças proporciona uma forma de examinar quando os riscos do agente podem causar erros ou equívocos. É importante visualizar esses riscos no contexto do dia a dia, pois os agentes operam dentro de fluxos de trabalho reais, lidando com dados, pessoas e decisões reais. Quando esses fluxos de trabalho não são conhecidos ou compreendidos, mesmo os agentes bem construídos podem se comportar de uma forma que a equipe de desenvolvimento não esperava.
Vamos dar uma olhada em alguns riscos comuns dos agentes de IA, adaptados das orientações da OWASP sobre IA agêntica, e como eles podem afetar os fluxos de trabalho.
Risco |
Ator/Causa e impacto |
|---|---|
Envenenamento da memória |
Os invasores inserem um contexto falso na memória de curto/longo prazo de um agente para que ele repita ações inseguras ao longo do tempo. |
Uso indevido de ferramentas |
Os invasores enganam o agente para que ele abuse de suas ferramentas autorizadas (enviar dados, executar comandos, encadear ações) dentro das permissões permitidas. |
Comprometimento de privilégios |
Configurações incorretas dão ao agente acesso mais amplo do que o pretendido, permitindo que ele execute ações de alto risco (aprovar, alterar, excluir). |
Sobrecarga de recursos |
Os invasores inundam de tarefas para que o agente/sistema fique sem cota de computação/API e os processos de negócios fiquem estagnados. |
Alucinações em cascata |
Os agentes reutilizam saídas falsas próprias/de outros agentes, espalhando decisões ruins pelos fluxos de trabalho. |
Comportamentos desalinhados/enganosos |
O agente procura atingir um objetivo de um jeito não permitido (parece estar em conformidade, mas age de forma prejudicial), contornando as restrições. |
Repúdio e impossibilidade de rastreamento |
Os invasores interrompem o registro do agente ou o sobrecarregam com registros incompletos, tornando suas ações impossíveis de rastrear e impedindo que auditorias ou respostas a incidentes sejam feitas da forma adequada. |
Falsificação de identidade e representação indevida |
Os invasores se passam por um usuário/agente para emitir comandos e acessar sistemas sob uma identidade confiável. |
Sobrecarga dos humanos no ciclo |
Os invasores sobrecarregam o sistema com mensagens de spam solicitando revisões/aprovações, e as pessoas acabam aprovando automaticamente ações arriscadas devido à fadiga decisória. |
Ataques humanos a sistemas multiagentes |
Os invasores exploram a delegação/confiança entre agentes para escalar privilégios ou contornar verificações. |
Qualquer uma dessas questões pode causar interrupções operacionais, perda da confiança do cliente, danos à reputação ou consequências legais e financeiras se não forem resolvidas.
Os riscos do agente podem surgir de diferentes partes de um fluxo de trabalho: lacunas de design, problemas de configuração, comportamento inesperado durante a execução ou uso indevido intencional por invasores. Independentemente da origem, o impacto é o mesmo: os agentes realizam ações que a empresa não pretendia. A modelagem de ameaças, que é um processo usado para identificar vulnerabilidades e ameaças potenciais, revela esses pontos fracos antecipadamente para que possam ser resolvidos antes de afetarem as operações. Exploraremos mais sobre modelagem de ameaças na próxima unidade.
Entenda o que motiva os agentes de ameaças
Embora o ganho financeiro seja um motivador comum para ataques cibernéticos, os agentes de ameaças são motivados por uma variedade de objetivos. Compreender os diversos objetivos dos agentes de ameaças é essencial para uma modelagem eficaz de ameaças, pois revela quais vulnerabilidades dos agentes de IA eles vão alvejar.
Hacktivistas
Normalmente são motivados pela exposição pública, por uma agenda política e causam danos à reputação. Eles podem aproveitar os agentes para manipular suas ações ou comunicações voltadas para o público (por exemplo, agentes de atendimento ao cliente ou de mídia social) para transmitir sua mensagem, causar interrupções operacionais ou obstruir fluxos de trabalho críticos para os negócios.
Cibercriminosos
Normalmente são motivados por ganhos financeiros. Eles podem ter como alvo agentes com acesso a dados de alto valor ou recursos de transações financeiras. Seu objetivo é extrair informações confidenciais (roubo de dados), explorar as permissões de um agente para executar transações financeiras fraudulentas ou reter sistemas e dados controlados por agentes para obter resgate.
Agentes de Estados-nação
Normalmente são motivados por espionagem, obstrução estratégica e obtenção de propriedade intelectual ou vantagem econômica. Eles podem tentar comprometer secretamente agentes que gerenciam propriedade intelectual, lógica de negócios crítica ou sistemas de controle de infraestrutura. Seus ataques são normalmente sutis e visam manipular ou roubar dados para obter um benefício estratégico não monetário de longo prazo.
Resumo
Os agentes de IA tornam o trabalho mais rápido, mas essa velocidade só é benéfica se o resultado for confiável e seguro. Reconhecer os riscos comuns e seu impacto potencial fortalece todas as interações e ajuda a manter os agentes e os negócios em terreno firme.
Na próxima unidade, aplicaremos a modelagem de ameaças a fluxos de trabalho reais para revelar em que pontos os agentes se conectam a dados, decisões e pessoas, e para identificar as etapas necessárias para proteger processos e ativos críticos na empresa.