Promover agentes responsáveis e éticos

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

Implementar estratégias éticas para a equipa vermelha e de testes.
Desenvolver princípios orientadores e padrões para sua organização.

Princípios orientadores para agentes responsáveis

Muitas organizações que adotam a IA consideram útil estabelecer princípios de IA responsável antes de desenvolver a estratégia de IA. Com um conjunto de princípios de IA, as empresas podem esclarecer sua posição sobre a IA e considerar o impacto da tecnologia sobre os funcionários, os clientes e a sociedade. Você pode usar nossas diretrizes como inspiração para desenvolver suas próprias diretrizes com base em necessidades de negócios e casos de uso. Pense no que significa segurança para seu caso de uso. Você tem leis, regras e regulamentos específicos para seu setor que podem exigir requisitos de segurança específicos?

Para relembrar e começar a estabelecer seus próprios princípios de orientação, confira o princípio de orientação da Salesforce para o desenvolvimento de IA confiável.

Precisão
Segurança
Honestidade
Capacitação
Sustentabilidade

Equipe vermelha e estratégias de teste

Uma equipe vermelha é um grupo de especialistas, geralmente especialistas em segurança e ética de IA, que tentam entrar nos sistemas de uma organização para encontrar e corrigir problemas de segurança e outras questões que envolvem resultados indesejáveis.

A equipe vermelha pode ser definida como “um processo estruturado de sondagem de sistemas e produtos de IA para a identificação de capacidades, resultados ou ameaças prejudiciais à infraestrutura”.

Três mãos com lentes de aumento focam um sinal de aviso com um ponto de exclamação dentro de um triângulo.

Os testes são um fator essencial para garantir a segurança e evitar consequências indesejadas. Veja alguns aspectos fundamentais que devem ser considerados.

Compreenda quais danos você quer testar. Defina as metas e os objetivos dos testes e combine-os com as metas da sua empresa e o caso de uso.
Crie a equipe para realizar esses testes. Você pode usar especialistas internos e externos com conhecimentos e experiência em estratégias de ataque e criação de estratégias de ataque nos testes.
Teste periodicamente para verificar se você está acompanhando a evolução da tecnologia e da estratégia de ataque em relação à IA e aos agentes.

Veja como abordamos a equipe vermelha na Salesforce. A Salesforce usa métodos de equipe vermelha manuais e automatizados para tornar nossos produtos de IA mais seguros. Realizamos testes para identificar usos inadequados, ataques intencionais à integridade como injeções de prompt ou uso acidental indevido. Usamos a equipe vermelha de IA para verificar a toxicidade, o viés e a segurança para garantir que, se ocorrer algum uso indevido malicioso ou inocente, nossos sistemas estarão seguros.

Tipo de teste	Descrição
Manual	Os testes manuais usam a criatividade, a experiência e o conhecimento especializado dos verificadores humanos para criar estratégias de ataque complexas que os sistemas automatizados podem não detectar. Os verificadores humanos também podem adaptar a abordagem ao ambiente, alvo e objetivos específicos, tornando os ataques mais realistas e personalizados.
Automatizado	Os testes automatizados são usados como um aprimoramento e não uma substituição de testes e avaliações realizados por humanos. Este tipo de teste usa scripts, algoritmos e ferramentas de software para simular muitos ataques ou ameaças num curto período de tempo. O teste também explora o nível de risco do sistema analisando o volume de riscos.

Trabalhamos com especialistas externos e internos para efetuar testes de penetração e lidar com os riscos e casos de uso exclusivos dos agentes.

Para obter uma visão geral mais abrangente, consulte nosso blog sobre equipes vermelhas responsáveis.

Benchmarking de modelos

Ao comparar nossos modelos de IA com os padrões do setor, podemos garantir que eles tenham um desempenho de alto nível. Melhoramos ainda mais as coisas ao publicarmos os primeiros parâmetros de referência de LLM para CRM. Estes parâmetros de referência compartilham medidas importantes que nos ajudam a compreender o funcionamento de um sistema de IA e também a informar nossos clientes.

O futuro dos testes éticos

A equipe de testes, avaliação e análise da Salesforce se dedica a garantir a confiança e a segurança de nossos produtos de IA. Por meio de processos de teste rigorosos, equipe vermelha proativa e referência detalhada, nos esforçamos para manter os mais altos padrões de integridade de IA. Ao promover uma cultura de melhoria contínua e inovação, estamos empenhados em fornecer soluções de IA em que nossos clientes possam confiar.

Política de uso aceitável para IA

A Salesforce publicou uma Política de uso aceitável de IA (AI AUP) para se alinhar com os padrões do setor e nossos parceiros, e para proteger nossos clientes. Para saber mais, consulte nossa Política de uso aceitável de IA.

A AI AUP da Salesforce é fundamental para nossa estratégia de negócios e é por isso que reservamos um tempo para consultar nosso subcomitê do Conselho consultivo de uso ético, parceiros, líderes do setor e desenvolvedores antes do lançamento. Ao fazer isso, queremos garantir a inovação responsável e proteger as pessoas que confiam em nossos produtos à medida que eles são desenvolvidos. A AI AUP da Salesforce é apenas um ponto de partida com foco no uso de IA com produtos da Salesforce. Pense em criar suas próprias regras ou princípios de IA para garantir que sua empresa use a IA respeitando os valores éticos da sua empresa.

Padrões de segurança dos agentes

Analise estas medidas de segurança para desenvolver normas de segurança para controlar o acesso, proteger os dados e usar os agentes de forma responsável na sua organização.

Categoria	Tipo	Recomendação
Controle de acesso	Controles de acesso rigorosos	Implemente controles de acesso adequados para garantir que apenas indivíduos com necessidade de conhecer e requisitos de negócios sejam autorizados a interagir com modelos e serviços de IA generativa. Ao criar agentes, identifique de forma abrangente todo o escopo do agente e as ações potenciais para determinar os contextos de execução apropriados. Para ações críticas, considere executar agentes em contextos de usuários de serviços individuais para implementar controles de acesso granular e minimizar possíveis riscos de segurança.
Controle de acesso	Monitoramento e auditoria	Crie alertas, monitore e audite regularmente o acesso a modelos e serviços de IA generativa para detectar e impedir o uso não autorizado.
Proteção de dados	Controles de integridade	Adicione controles de integridade para dados internos e de clientes. Siga as regras corretas para a segurança, backup e restauração, e configurações básicas dos aplicativos.
Uso responsável	Tratamento de dados do cliente	Adote medidas para tratar corretamente os dados pessoais dos clientes. Garanta que os dados só sejam recolhidos e usados para fins legítimos e que os titulares dos dados sejam devidamente notificados e tenham dado o seu consentimento.
	Transparência do cliente	Garanta que os serviços não façam inferências invisíveis para seu cliente.
	Moderação de conteúdo	Disponibilize um filtro de moderação de conteúdos nos serviços de IA generativa e ative-o por padrão, quando disponível.
	Uso ético	Estabeleça diretrizes para o uso ético da IA generativa para garantir que ela seja usada de uma forma que respeite a privacidade e a segurança.

Da teoria à prática

Abordamos muitos aspectos do agente de IA confiável neste módulo e como a Salesforce desenvolve o agente de IA confiável. Agora você entende os principais riscos associados aos agentes de IA, como comportamento inesperado, tendências e vazamentos de dados. Você também conheceu as proteções específicas e os padrões de confiança que garantem que os agentes de IA atuem dentro de parâmetros seguros e éticos. Você entende a importância de promover práticas de IA responsáveis em sua própria organização com equipes vermelhas éticas, testes e o estabelecimento de uma Política de uso aceitável de IA.

Com estes conhecimentos, você está no caminho certo para criar agentes de IA que não são apenas eficazes, mas também confiáveis e responsáveis!

Tempo estimado

Tópicos

Procurando ajuda?

Agentforce Recursos