Descobrir como a Salesforce cria um agente de IA confiável
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Definir o significado de agente de IA confiável.
- Descrever os principais riscos associados a agentes.
- Explicar os princípios orientadores do agente de IA responsável.
Antes de começar
Recomendamos que você analise esses emblemas para entender melhor as estratégias de governança e confiança para soluções de IA.
O que é um agente de IA confiável?
Na Salesforce, a confiança é nosso valor primordial. E isso aplica-se ao nosso agente de IA. O agente de IA da Salesforce foi criado a partir das diretrizes da Salesforce para IA responsável, que é a base para enfrentar os desafios decorrentes do rápido crescimento dos agentes de IA em nossa plataforma.
Embora os valores e os princípios orientadores sejam cruciais, é igualmente importante respaldá-los com ações concretas. A Salesforce fez exatamente isso com a implementação da Camada de confiança do Einstein, das proteções do Agentforce e dos padrões de confiança. Além disso, usamos uma equipe vermelha ética e uma Política de uso aceitável (AUP) para IA para garantir que os sistemas de IA funcionem dentro de parâmetros seguros e éticos. Essas medidas não apenas reforçam os valores da empresa, mas também fornecem uma base sólida para criar e manter a confiança nas tecnologias de IA.
Antes de falarmos sobre como a Salesforce pode ajudar você a criar um Agentforce de confiança, vamos garantir que você entenda algumas terminologias.
Agentforce
O Agentforce é a marca da camada de agentes da Salesforce Platform e engloba os agentes que lidam com clientes e funcionários.
Agentes
Os agentes são autônomos, orientados a metas e executam tarefas e interações comerciais com o mínimo de intervenção humana. Eles podem iniciar e concluir uma tarefa ou uma sequência de tarefas, gerenciar conversas em linguagem natural e fornecer respostas relevantes extraídas de dados comerciais com segurança. Os agentes podem ser usados para ajudar e colaborar com um usuário do Salesforce no fluxo de trabalho. Eles também podem agir em nome de um usuário ou cliente. Eles podem ser disponibilizados na interface do Salesforce ou nos canais do cliente.
Agente de IA
O agente de IA é um sistema de IA que permite que os agentes de IA funcionem de forma autônoma, tomem decisões e se adaptem à mudança. Ele promove a colaboração entre agentes de IA e seres humanos, fornecendo ferramentas e serviços que facilitam a aprendizagem e a adaptação.
Princípios orientadores para um agente de IA responsável
A Salesforce tem o compromisso de desenvolver e usar agentes de forma responsável. Veja abaixo nossos princípios fundamentais.
Precisão
Nosso mecanismo de raciocínio, o cérebro por trás do Agentforce, usa a classificação de tópicos para mapear a solicitação de um usuário para tópicos específicos. O tópico inclui um conjunto de instruções, políticas de negócios e ações que um agente pode executar. Isso mantém o agente focado na tarefa que ele deve realizar.
Usando o processo de fundamentação, que inclui o contexto relevante da sua organização do Salesforce no prompt, os agentes usam os dados da organização no Salesforce para fundamentar a resposta e melhorar a precisão e a relevância. Isso permite que os agentes aproveitem ao máximo os dados do Salesforce da organização ao gerar respostas.
Segurança
Nossos agentes têm proteções integradas para evitar consequências não intencionais e garantir respostas seguras.
- Temos políticas de sistema para limitar o escopo das respostas dos agentes para garantir que eles permaneçam no tópico e respondam de maneira segura e ética. Confira a seção de defesa de prompts no tópico de ajuda da Camada de confiança do Einstein.
- A Camada de confiança do Einstein detecta conteúdos prejudiciais na resposta do agente e registra-os na trilha de auditoria para você monitorar e responder de maneira adequada.
- Temos uma política de retenção zero de dados com provedores de modelos de linguagem grande (LLM) de terceiros para garantir que seus dados não sejam retidos fora do limite de confiança do Salesforce. A política de retenção zero de dados e nossos compromissos contratuais com os provedores de LLM garantem que seus dados não sejam usados para treinar o LLM de terceiros.
Honestidade
Respeitamos a fonte dos dados e obtemos o consentimento para usá-los. Somos transparentes em relação ao conteúdo gerado por IA e indicamos quando foi criado por uma IA. Para que isso fique claro para os usuários, incluímos divulgações padrão quando a IA gera a resposta.
Capacitação
Nosso foco é a parceria entre humanos e IA. A IA deve ajudar as pessoas, especialmente em tarefas que exigem o discernimento humano. Algumas tarefas podem ser totalmente automatizadas. Outras, porém, necessitam de supervisão humana. Capacitamos as pessoas para tomarem decisões de alto risco enquanto automatizamos tarefas de rotina, garantindo que humanos e a IA trabalhem em conjunto de forma eficaz.
Sustentabilidade
Queremos criar modelos de IA eficientes para reduzir o impacto ambiental. Os modelos menores e bem treinados podem, muitas vezes, superar os modelos maiores. Também usamos hardware eficiente e centros de dados com baixas emissões de carbono. Os agentes usam modelos otimizados, como o xLAM e o xGen-Sales, que são adaptados a tarefas específicas, garantindo alto desempenho com impacto ambiental mínimo.
Seguindo esses princípios, criamos agentes confiáveis, seguros, transparentes, que capacitam e são sustentáveis. Na Salesforce, nos empenhamos em usar a IA para aprimorar as capacidades humanas, ao mesmo tempo em que defendemos nossos valores fundamentais.
Principais riscos e preocupações
À medida que os sistemas de IA se tornam mais autônomos, o potencial de uso indevido e de consequências não intencionais aumenta. É essencial garantir que estes sistemas funcionem de forma ética e transparente para manter a confiança dos usuários e evitar riscos. Veja alguns dos principais riscos que devem ser considerados.
Consequências não intencionais
As ações autônomas dos agentes de IA podem levar a resultados inesperados e potencialmente perigosos. Isso pode incluir a geração de conteúdos tendenciosos ou ofensivos, a tomada de decisões incorretas ou a interação com usuários de maneiras que não estejam alinhadas com as diretrizes éticas da Salesforce. As interações entre a programação da IA e os padrões aprendidos podem levar a ações não previstas ou desejadas, além de reduzir a confiança e criar preocupações com a segurança.
Segurança e privacidade
A segurança e a privacidade são fundamentais, especialmente porque os agentes tratam de dados confidenciais. Quando são criados sem as devidas considerações sobre segurança, podem levar ao vazamento inadvertido de dados confidenciais, comprometendo a confiança do usuário.
Considerações éticas e legais
Os agentes devem respeitar as políticas e os requisitos legais. A garantia que os agentes atuam de forma ética e cumprem as leis é crucial para evitar problemas legais e manter a confiança.
Perda do controle humano
À medida que os agentes se tornam mais autônomos, pode ser difícil para os humanos manter a supervisão. Isso pode levar a erros, infrações éticas e danos aos usuários e à reputação da plataforma.
Viés de automação
Os usuários podem confiar exageradamente nos resultados da IA, assumindo que eles são sempre precisos e confiáveis. A geração aumentada por recuperação (RAG) pode reforçar essa tendência, fazendo com que os resultados da IA pareçam altamente confiáveis e credíveis, mesmo quando estão errados. Este excesso de confiança pode originar erros.
Aumento da utilização indevida por parte do usuário
À medida que mais usuários interagem com a IA generativa, a possibilidade de uso indevido aumenta. Os usuários podem explorar a IA para fins nocivos ou interpretar mal o uso adequado, levando a problemas como a geração de conteúdo inadequado ou violação da privacidade.
Recorremos a uma série de estratégias de mitigação. Criamos proteções na nossa plataforma e produtos, realizamos testes de intrusão com a equipe vermelha e desenvolvemos uma Política de uso aceitável de IA que ajuda a proteger você. Também permitimos que você personalize as proteções no produto para garantir que elas reflitam os valores e os requisitos de conformidade da sua organização. Falaremos sobre isso com mais detalhes nas próximas duas unidades.
Nesta unidade, você conheceu os agentes autônomos e os riscos associados. Também explorou os princípios e práticas fundamentais para o desenvolvimento de agentes de IA e como as proteções são criadas no Salesforce. Na próxima unidade, você verá como as proteções e os padrões de confiança do Agentforce são usados para implementar um agente de IA confiável.