Skip to main content
Build the future with Agentforce at TDX in San Francisco or on Salesforce+ on March 5–6. Register now.

Estabelecer governança de IA

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

  • Listar alguns dos riscos associados à IA.
  • Explicar o que é a governança de IA.
  • Avaliar o uso atual da IA em sua organização.
  • Avaliar os riscos de IA de sua organização.
  • Listar exemplos de estratégias para reduzir riscos de IA.

Os riscos de IA

É quase impossível falar sobre IA sem reconhecer os riscos que acompanham a tecnologia. Todos nós já ouvimos falar das ameaças à segurança, das preocupações com imprecisões e vieses, da possibilidade de violações de dados, do medo de danos à reputação, entre outras coisas.

Para complicar ainda mais as coisas, a tecnologia está avançando a um ritmo muito acelerado. Então, não surpreende que, de acordo com o relatório Tendências de IA para CRM do Salesforce, 68% das pessoas acreditam que os avanços em IA tornam a confiabilidade de uma empresa uma questão mais importante.

Mas, em muitos casos, a revolução da IA está ultrapassando a capacidade das organizações de se adaptarem às mudanças. E essa é uma das questões que preocupam Alex, nosso defensor da IA e executivo da Coral Cloud Resorts. Como a Coral Cloud pode garantir que está adotando a IA de forma confiável?

A necessidade de governança

Como você já deve ter adivinhado, a confiança na IA está basicamente ligada à sua governança. Vamos saber o que é governança de IA.

Governança de IA é um conjunto de políticas, processos e melhores práticas que ajudam as organizações a garantir que os sistemas de IA sejam desenvolvidos, usados e gerenciados de forma responsável e dimensionável para maximizar os benefícios e reduzir os riscos.

Nesta unidade, acompanhamos Alex enquanto ele trabalha com a equipe de liderança de IA da Coral Cloud para estabelecer a governança de IA. Sua organização talvez já tenha um ou mais grupos dedicados a supervisionar a governança. Se não estiver planejando centralizar a governança de IA por meio de um comitê de IA, certifique-se de que todos os órgãos de governança internos existentes tenham o conhecimento necessário sobre IA para aprimorar as práticas existentes e resolver quaisquer lacunas.

Desenvolver princípios para uma IA responsável

Antes que a Coral Cloud comece a criar seu programa de governança, Alex incentiva a equipe de liderança a dar um passo atrás e pensar em como manter o foco em seu compromisso de desenvolver a IA de forma responsável. Qual é o seu ponto de referência?

Muitas organizações que adotam a IA consideram útil estabelecer princípios de IA responsáveis. Com um conjunto de princípios de IA, as empresas podem esclarecer sua posição sobre a IA e considerar o impacto da tecnologia sobre os funcionários, os clientes e a sociedade em geral. Esse ponto de referência cria um entendimento comum entre funcionários, para que seus princípios de IA possam ser aplicados em todos os níveis da empresa.

Uma série de ícones de linhas azuis que representam os cinco princípios de IA confiável da Salesforce: responsabilidade, confiabilidade, transparência, capacitação e inclusividade.

Para se inspirar, dê uma olhada nos Princípios de IA confiável da Salesforce. Mas lembre-se de que os princípios de IA de sua organização devem estar alinhados com sua missão e valores corporativos. É normal que haja uma ligeira convergência com outras organizações, mas não deixe de desenvolver seu próprio conjunto de princípios, obter a adesão das partes interessadas e comprometer-se publicamente com esses valores.

Nota

Os princípios são ótimos, mas como transformá-los em uma prática de IA responsável? A maioria das organizações começa por governar a IA de forma ad hoc e, gradualmente, seus esforços se tornam mais formalizados. Para saber mais, confira o Modelo de maturidade ética de IA da Salesforce.

Avaliar o cenário regulatório

A equipe de liderança da Coral Cloud está pronta para se aprofundar na governança, mas há algumas perguntas na mente de todos: E quanto às regulamentações de IA? O que é realmente exigido por lei?

Neste momento, as regulamentações de IA são uma mistura de diretrizes e políticas emergentes que variam de acordo com a região e o setor. Os governos e os órgãos reguladores estão tentando acompanhar os rápidos avanços da tecnologia, o que dificulta prever exatamente como será o regulamento dentro de alguns anos.

Apesar da incerteza, há algumas medidas proativas que você pode tomar. Siga as melhores práticas descritas nesta unidade e mantenha-se informado sobre as tendências regulatórias de IA. Analisando as atualizações dos órgãos reguladores e grupos do setor, você pode ter uma ideia prévia das possíveis mudanças legislativas, além de suporte e recursos quando surgirem novas exigências.

Avaliar o uso da IA em sua organização

Para reforçar os esforços de governança da Coral Cloud, Alex recomenda que eles classifiquem como a organização está usando a IA atualmente.

É difícil avaliar adequadamente os riscos até saber a sua proveniência. Portanto, é uma boa ideia fazer uma análise de todas as ferramentas de IA para entender a extensão de sua integração nos processos de negócios.

  • Identificar tecnologias de IA: listar todas as tecnologias de IA atualmente em uso, incluindo desde ferramentas de automação simples até modelos de aprendizado de máquina complexos. Não ignore a IA integrada em serviços e softwares de terceiros.
  • Documentar casos de uso: para cada tecnologia de IA, você precisa documentar seus casos de uso específicos. Entender o que cada solução de IA faz e por que ela é usada ajuda você a avaliar seu impacto e sua importância.
  • Mapear fluxos de dados: acompanhe como os dados circulam de e para cada aplicativo de IA. Isso inclui fontes de dados de entrada, o que a IA modifica ou analisa e para onde envia os dados de saída.
  • Estabelecer propriedade: Atribuir a propriedade de cada ferramenta de IA a pessoas ou equipes específicas. Saber quem é responsável por cada ferramenta garante responsabilização e simplifica auditorias e avaliações futuras.
  • Atualizar regularmente: torne o inventário de IA um documento vivo que seja atualizado para refletir novas implantações de IA ou alterações nas existentes. Isso mantém o inventário relevante e útil para uma conformidade contínua.

A equipe de liderança da Coral Cloud está confiante de que seu inventário pode revelar todas as formas oficiais sobre como a organização está usando a IA atualmente. E quanto ao uso não autorizado? Também chamadas de IA sombra, as ferramentas de IA não aprovadas representam um risco significativo para a empresa. Confira o artigo da revista CIO sobre como evitar desastres causados pela IA sombra.

Nota

Se a sua empresa já estiver usando um número razoável de ferramentas de IA, o inventário pode levar algum tempo para ser concluído. Mas o processo de inventário não deve impedir que sua organização explore casos de uso e testes de IA. Apenas certifique-se de realizar uma avaliação de risco para qualquer projeto piloto de IA e continue trabalhando paralelamente na auditoria de IA de toda a empresa.

Avaliar riscos de IA

Agora que a Coral Cloud tem seu inventário de IA, a equipe pode começar a avaliar os riscos de IA da organização. É uma etapa essencial para estabelecer governança, mas também pode ajudá-lo a se preparar para os requisitos regulatórios. Algumas políticas, como a Lei de IA da UE, adotam uma abordagem baseada em riscos para regular a tecnologia. Portanto, se você implementar um processo de avaliação de riscos desde o início, estará em uma posição melhor para cumprir os regulamentos.

Veja como Alex e a equipe de liderança de IA avaliam os riscos de IA da organização.

Identificar e classificar fatores de risco

Analise o inventário de IA. Para cada caso de uso, faça um brainstorming dos possíveis riscos. Envolva as partes interessadas de diferentes setores da organização, pois elas podem identificar riscos que você não havia previsto. Quando tiver uma lista, classifique os riscos em grupos lógicos, como técnicos, éticos, operacionais, reputacionais, regulatórios e assim por diante. Use categorias que façam sentido para sua empresa.

Avaliar o impacto e a probabilidade

Para cada risco, avalie o possível impacto em sua empresa caso o risco ocorra. Em seguida, determine a probabilidade de ocorrência de cada risco. Estes fatores podem ser classificados como de risco baixo, médio ou alto. Dados históricos, referências do setor e opiniões de especialistas são importantes para fazer essas avaliações.

Priorizar riscos

Use o impacto e a probabilidade para priorizar os riscos. Um método comum é usar uma matriz de riscos que relaciona a probabilidade com o impacto, ajudando-o a se focar nos riscos de alto impacto e alta probabilidade.

Se não tiver certeza de como começar, baixe o modelo Estrutura de gerenciamento de riscos de IA, acessando o site Centro de recursos de IA do National Institute of Standards and Technology (NIST), ou faça uma pesquisa para encontrar outros exemplos on-line. Lembre-se de que cada organização precisa desenvolver uma estrutura que seja relevante para seu contexto específico, que pode incluir região geográfica, setor, casos de uso e requisitos regulatórios.

Desenvolver estratégias para reduzir riscos

Agora que o comitê de IA da Coral Cloud concluiu sua avaliação, eles estão prontos para implementar algumas estratégias para ajudar a reduzir todos esses riscos. Abaixo estão alguns exemplos de salvaguardas para diferentes tipos de risco, mas lembre-se de que não se trata de uma lista exaustiva.

Tipo de risco

Estratégias comuns para reduzir riscos

Técnico e de segurança

  • Políticas e protocolos de segurança
  • Sistemas de detecção de anomalias e opções de fallback
  • Proteção da infraestrutura de IA, locação e hospedagem
  • Red teaming de cibersegurança

Dados e privacidade

  • Controles de acesso
  • Técnicas de anonimização de dados e de criptografia
  • Auditorias de dados regulares
  • Políticas de uso indevido de dados
  • Padrões de qualidade dos dados
  • Processos de limpeza de dados e de validação

Ético e de segurança

  • Princípios de IA responsáveis
  • Políticas de uso aceitável
  • Red teaming ético
  • Ferramentas de avaliação e mitigação de vieses
  • Benchmarking de modelos
  • Transparência de modelos, como explicabilidade e citações
  • Marcas d’água para conteúdo gerado por IA
  • Mecanismos de feedback
  • Registros de auditoria

Operacional

  • Avaliações de risco
  • Planos de resposta a incidentes
  • Gerenciamento de mudanças
  • Documentação e educação em toda a empresa
  • Métrica e monitoramento
  • Revisões internas de ética para novos produtos e recursos de IA

Conformidade e legal

  • Protocolos de conformidade e treinamento
  • Consultas jurídicas e contratos

Alex e o resto da equipe de liderança de IA da Coral Cloud sabem que é impossível evitar todos os riscos relacionados à IA. Em vez disso, seu objetivo é desenvolver processos e ferramentas que deem à organização a confiança de que os riscos podem ser efetivamente identificados e gerenciados. Se quiser saber como implementar a governança de IA em sua organização, confira o guia de implementação e autoavaliação do Fórum Econômico Mundial (WEF).

Aprimorar suas práticas de governança

O comitê de IA da Coral Cloud sabe que a governança é um processo contínuo. Veja o que a organização pode fazer para melhorar sua capacidade de gerenciar riscos e se adaptar melhor ao cenário regulatório em constante mudança.

  • Treinamento e educação: implementar o treinamento de conformidade com a IA e medir o sucesso do programa educacional. Promover uma cultura de IA ética e incentivar as equipes a considerar o impacto mais amplo de seu trabalho.
  • Monitoramento e análise: monitorar regularmente a eficácia das estratégias de gerenciamento de riscos implementadas e fazer ajustes quando necessário. Este processo é fundamental à medida que surgem novos riscos e as estratégias existentes precisam ser aprimoradas.
  • Documentação e geração de relatórios: manter registros detalhados de todas as atividades de mitigação de riscos. Essa documentação pode ser fundamental para a conformidade regulamentar e útil para auditorias internas. Desenvolver métricas para iniciativas de governança e relatar os resultados às partes interessadas.

Em seguida, vamos abordar um dos elementos mais interessantes da estratégia de IA: como identificar e priorizar os casos de uso de IA.

Recursos

Compartilhe seu feedback do Trailhead usando a Ajuda do Salesforce.

Queremos saber sobre sua experiência com o Trailhead. Agora você pode acessar o novo formulário de feedback, a qualquer momento, no site Ajuda do Salesforce.

Saiba mais Continue compartilhando feedback