Definir as proteções do agente

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

Descrever as proteções que ajudam a garantir a confiabilidade do Agentforce.
Identificar os riscos potenciais associados ao seu projeto do Agentforce.
Definir estratégias de mitigação de riscos para o projeto.

Os riscos da IA autônoma

Os agentes de IA autônomos são ferramentas incrivelmente poderosas que podem agregar valor à sua organização e melhorar a experiência do cliente. Porém, eles também trazem riscos. Esses riscos incluem ameaças à segurança, vazamentos de dados, danos à reputação, perdas financeiras, preconceitos, alucinações e problemas com transparência e responsabilidade.

Apesar dos riscos, é possível implementar com segurança a IA autônoma na sua organização. Com o planejamento adequado e a ajuda da Salesforce Platform, é possível criar e implementar um conjunto completo de agentes de IA confiáveis.

Agentes de IA em que você pode confiar

Em Agente de IA confiável, você saberá que uma das caraterísticas mais importantes do Agentforce é a ênfase nas proteções. Estas proteções definem os limites operacionais de cada agente, descrevendo o que ele pode e não pode fazer. Com o uso de linguagem natural, é possível especificar diretrizes para o comportamento do agente e como ele funciona.

Além das proteções do agente de IA, a Camada de confiança do Einstein integrada à Salesforce Platform garante que as ações do agente estejam em conformidade com os padrões de segurança e conformidade da sua empresa. Isso inclui mecanismos de detecção de danos e toxicidade, impedindo que os agentes se envolvam em atividades inadequadas ou prejudiciais.

Nesta unidade, acompanhe Nora enquanto ela trabalha com o conselho de IA da Coral Cloud para identificar os riscos associados ao seu caso de uso de IA autônoma e desenvolver um plano para enfrentar esses riscos.

Não se esqueça da governança

As proteções do Salesforce para agentes de IA são poderosas e robustas, mas Nora sabe que nem todas as proteções da Coral Cloud estão presentes na própria tecnologia. O que acontece fora da tecnologia é igualmente importante.

Quando a Coral Cloud desenvolveu a estratégia de IA, a equipe estabeleceu uma prática de governança de IA, que ajuda a empresa a planejar uma estratégia abrangente de mitigação de riscos para o agente de IA.

Veja um exemplo de governança de AI: Na Coral Cloud, o conselho de IA exige que todos os novos projetos de IA sejam submetidos a uma revisão de segurança. Trata-se de um processo de negócios (e não de um recurso tecnológico) que ajuda a proteger a organização dos riscos da IA. Nora agenda a revisão de segurança para que a empresa possa começar a pensar mais profundamente sobre as proteções e a governança do projeto.

Superar as objeções

Em algumas organizações, a abordagem do tema do risco pode ser complicada porque existe a percepção que as atividades de mitigação do risco desaceleram o processo de desenvolvimento. No entanto, é fundamental abordar o risco desde o início, caso contrário, o projeto de IA pode ser interrompido antes mesmo de entrar na produção.

Ao integrar o gerenciamento de riscos no design e na elaboração de protótipos de IA, você poderá acelerar seus projetos e garantir que eles atendam aos requisitos éticos, legais, regulamentares e de segurança necessários. Se você souber como gerenciar o risco de um caso de uso, poderá prontamente extrapolar essas lições para os casos de uso subsequentes, sucessivamente.

Explicar em termos menos técnicos o que é um agente e o que ele pode fazer pela sua empresa pode ajudar você a criar uma base sólida. Esta base pode ser aplicada a projetos futuros, garantindo implementações de IA mais fáceis e eficazes no futuro.

Como organizar as conversas sobre riscos

Como você aborda as conversas sobre riscos? Recomendamos usar a estrutura Pessoas, Negócios, Tecnologia e Dados, que provavelmente é bem conhecida em muitas organizações. Essas categorias e considerações podem ajudar você a identificar possíveis riscos e preocupações relacionados ao seu projeto do Agentforce.

Categoria	Considerações
Pessoas	Capacitação: Funções e responsabilidades, contratação, treinamento e aprimoramento Cultura e prática: Design de IA centrado no ser humano, gerenciamento da mudança, adoção
Negócios	Valor: Benefícios, objetivos, KPI e métricas Operações: Estrutura organizacional, gerenciamento de capacidades, processos e fluxos de trabalho, governança de IA, estratégia de DevOps
Tecnologia	Ferramentas de IA: Infraestrutura de IA, aplicativos, APIs, prompts, proteções de segurança Modelos de IA: Seleção de modelos, considerações sobre treinamento, gerenciamento, custo
Dados	Qualidade: Adequação ao uso, precisão, integridade, acessibilidade, recência e muito mais Estratégia: Gerenciamento de dados, infraestrutura, governança, análise

Um infográfico mostrando os quatro quadrantes da estrutura Pessoas, Negócios, Tecnologia e Dados.

Identificar riscos e preocupações

Nora usa essa estrutura para falar sobre os riscos e preocupações relacionados ao caso de uso de gerenciamento de reservas da Coral Cloud. As partes interessadas do conselho de IA da Coral Cloud identificam riscos e preocupações para cada categoria. Observe que esta lista não está completa, e cada caso de uso envolve seus próprios riscos e preocupações.

Categoria	Riscos
Pessoas	Rejeição: Os clientes não querem falar com o agente porque não confiam nele ou porque não têm a certeza se estão autorizados a usar a IA. Abuso: Os clientes são agressivos com o agente ou tentam manipulá-lo. Cultura: Os receios sobre o potencial impacto da IA nos cargos de atendimento afetam a motivação dos funcionários.
Negócios	Adequação: O escopo do agente não se ajusta adequadamente aos processos da equipe ou da organização de negócios. Relatórios: Os atuais KPIs da equipe são invalidados pela introdução de um agente de IA para fazer parte do trabalho. Incentivos: As estruturas de compensação e recompensa são afetadas pelo redirecionamento do trabalho do agente. Operações: O processo de escalação é pouco claro, ineficaz ou frustrante. Desempenho dos agentes: As políticas adequadas da empresa não influenciam corretamente as respostas dos agentes de IA.
Tecnologia	Precisão: As alucinações degradam a qualidade das respostas ou o conhecimento torna-se incompleto. Confiabilidade: A variabilidade das respostas geradas pelo agente é demasiado ampla. Auditoria: As operações tecnológicas não podem controlar a precisão das respostas dos agentes. Latência: O agente não consegue obter respostas rápidas.
Dados	Acesso: As permissões de dados não são compreendidas ou aplicadas. Os dados podem ser expostos aos clientes. Privacidade: Os dados solicitados não podem ser usados de acordo com a política de privacidade. Conformidade: Não é claro se existem restrições contratuais do cliente aplicáveis aos dados. Por exemplo, talvez os dados não possam sair do país do endereço comercial do cliente. Adequação à finalidade: Os dados não estão alinhados com o objetivo do agente, ou os direitos dos dados não estão alinhados com o caso de uso. Ética: O viés nos dados do modelo pode gerar respostas inadequadas.

No caso de Nora, você pode ver como as limitações nos artigos de conhecimento de sua empresa podem influenciar sua estratégia de adoção. Mas a Coral Cloud também poderia correr muitos dos riscos descritos. Afinal de contas, se um agente não estiver seguindo as políticas do resort em suas respostas ou se os funcionários humanos não tiverem como acompanhar o nível de ajuda dos agentes, não será fácil oferecer uma experiência de alto nível.

Definir estratégias para reduzir riscos

Agora que o conselho de IA da Coral Cloud catalogou os riscos e as preocupações, Nora e sua equipe podem pensar em estratégias de mitigação para cada risco. Conforme pensam em possíveis proteções, eles categorizam cada proteção para designar se ela está relacionada a pessoas, negócios, tecnologia ou dados.

Veja a seguir exemplos de possíveis proteções para dois dos riscos que a Coral Cloud identificou.

Categoria do risco	Risco	Potenciais proteções
Pessoas	Rejeição do cliente: Os usuários não querem falar com o agente porque não confiam nele.	Proteção para pessoas: Crie uma estratégia de comunicação e realize reuniões de orientação para clientes. Proteção tecnológica: Crie o agente para ser transparente em relação ao fato de ser uma IA. Proteção tecnológica: Configure uma mensagem de boas-vindas para o agente que defina as expectativas corretas sobre as capacidades do agente e a forma como ele pode ajudar.
Negócios	Problemas de escalação: As transferências de questões do agente para os representantes de serviço são inconsistentes, ineficientes ou frustrantes para os clientes.	Proteção de negócios: Defina os critérios e o contexto da escalação da IA para os representantes de serviço. Proteção tecnológica: Configure o Agentforce para que um resumo da interação anterior do agente seja entregue ao representante de serviço. Proteção tecnológica: Nas instruções do agente, descreva claramente as palavras-chave, o idioma ou as solicitações responsáveis pelo acionamento da escalação.

Nora já tem um plano para reduzir o escopo de sua implementação do gerenciamento de reservas. Mas ela também pode agir para definir as expectativas corretas para os clientes que perguntam a um agente sobre o negócio. Nesse caso, isso pode significar adicionar uma isenção de responsabilidade à mensagem de boas-vindas do agente, informando que ele foi desenvolvido para responder a perguntas relacionadas a reservas. E incluir uma indicação do melhor local para obter informações sobre outros serviços.

Documentar e experimentar

Quando Nora e o conselho de IA terminam o exercício de mitigação de riscos, eles documentam os riscos e as proteções para o caso de uso. O registro das atividades de mitigação de riscos da Coral Cloud é importante para a conformidade regulamentar e útil para auditorias internas.

Deve-se considerar que a iteração é tão importante quanto a documentação. Para garantir que suas proteções tecnológicas sejam eficazes, acesse seu ambiente de sandbox e tente configurar as proteções no Agentforce. Experimente e teste o desempenho das proteções em diferentes cenários. Esta abordagem ajuda você a identificar eventuais lacunas ou problemas logo no início e fazer os ajustes necessários. Com a combinação da documentação com a experimentação prática, você pode desenvolver estratégias de mitigação de riscos para seu agente de IA.

Com um plano de governança preliminar em vigor, Nora está pronta para passar para outro componente essencial do projeto: descrever o trabalho que o agente da Coral Cloud fará.

Tempo estimado

Tópicos

Procurando ajuda?

Agentforce Recursos