Perigos relacionados à IA levam a gestão de riscos ao limite

Pelo terceiro ano consecutivo, a MIT Sloan Management Review e o Boston Consulting Group (BCG) realizaram um painel internacional de especialistas em IA, com acadêmicos e profissionais do mercado e do terceiro setor, para avaliar a chamada inteligência artificial responsável (RAI, na sigla em inglês). A RAI está virando realidade – ou deveria estar – em empresas de todo o mundo. E, por isso, os desafios e riscos relacionados exigem, cada vez mais, um debate aprofundado e analítico.

No ano passado, publicamos o relatório “Construção de programas sólidos de RAI para administrar a proliferação de ferramentas de IA de terceiros”. Neste ano, continuamos a examinar a capacidade das empresas para lidar com riscos relacionados à IA, mas em um novo cenário. Afinal, tivemos a promulgação da primeira legislação abrangente a respeito: a Lei da União Europeia sobre IA.

Para começar, pedimos aos nossos especialistas e a um grande modelo de linguagem que reagissem à seguinte provocação: “As organizações estão criando mecanismos suficientes de gestão de riscos para lidar com os perigos relacionados à IA”. Como eles encararam a afirmação?

A maioria (62%) dos painelistas discordou ou discordou fortemente. Eles citaram a velocidade do desenvolvimento tecnológico, a natureza ambígua desses riscos e os limites da regulação como obstáculos para uma gestão de riscos eficaz.

A seguir, veja o que pensam os participantes do painel e confira as nossas próprias observações, fruto da experiência trabalhando em iniciativas de RAI. Você verá que as empresas podem aproveitar seus recursos de gestão dos riscos organizacionais para lidar com os perigos da IA. O desafio é como fazer isso.

As organizações estão expandindo suficientemente os recursos de gestão de riscos para lidar com os riscos relacionados à IA.

Percentual de painelistas que concordam – ou não – com essa afirmação

Fonte: Painel sobre IA responsável com 42 especialistas em estratégia de inteligência artificial.

Sobre o painel


A MIT Sloan Management Review e o Boston Consulting Group reuniram um painel internacional de mais de 20 profissionais, entre acadêmicos, pesquisadores e formuladores de políticas, para compartilhar seus pontos de vista sobre questões centrais relacionadas à IA responsável. Os leitores podem continuar a discussão no AI for Leaders, uma comunidade do LinkedIn projetada para promover a troca entre especialistas e líderes de tecnologia com ideias semelhantes.

A tecnologia avança mais rápido que a geestão de riscos

Muitos especialistas citaram a velocidade do desenvolvimento tecnológico da IA como um grande teste para as estruturas de gestão do risco organizacional. “A rápida expansão da IA, em especial da IA generativa, atropelou a capacidade de operação da maioria das empresas”, disse Riyanka Choudhury, do Stanford CodeX – uma parceria entre as escolas de Direito e de Ciência da Computação da universidade americana para ajudar a desenvolver um entendimento legal das novas tecnologias. Para Choudhury, a alta velocidade do avanço da tecnologia resultou em estratégias deficientes de mitigação de risco.

Teddy Bekele, diretor de tecnologia da empresa alimentícia Land O’Lakes, concordou. “A prontidão geral para lidar com riscos relacionados à IA é insuficiente. Os rápidos avanços da tecnologia superam o desenvolvimento e a implementação de práticas eficazes de gestão de riscos”, declarou.

Além da rápida evolução da IA, seu ritmo de adoção também está desafiando as empresas. Para Belona Sonna, da organização AfroLeadership, de Camarões, “os sistemas de IA estão entre os que mais crescem no mundo. Os riscos associados são, portanto, igualmente dinâmicos”.

Sameer Gupta, diretor de análise do DBS Bank, de Singapura, e Linda Leopold, chefe de estratégia de IA do grupo de moda sueco H&M, argumentaram que a gestão do risco organizacional precisa acompanhar o ritmo da evolução da IA. Mas eles admitiem o desafio de fazê-lo na prática.

“Mesmo para organizações que têm um sólido programa de IA responsável é difícil. Acompanhar a velocidade do desenvolvimento e lidar com novos riscos exige um grande esforço”, disse Leopold.

O que diz o ChatGPT?

Pedimos ao ChatGPT que respondesse à nossa provocação, e até mesmo ele reconheceu que atualizar a abordagem de gestão de riscos relacionados à IA é um processo contínuo. Eis a resposta: “Muitas organizações estão reforçando o gerenciamento de riscos para lidar com perigos relacionados à IA. Isso envolve a avaliação de possíveis vieses, violações de privacidade e vulnerabilidades operacionais inerentes aos sistemas de IA.

As estratégias aprimoradas abrangem monitoramento proativo, governança robusta de dados e estruturas de conformidade. Apesar do progresso, a adaptação contínua é vital para mitigar efetivamente os riscos emergentes de IA e garantir a inovação sustentável.”

A situação é ainda mais desafiadora para organizações menores, muitas vezes devido à falta de conhecimento ou de recursos para cumprir essa função. “Estabelecer uma boa gestão de risco requer recursos e experiência significativos, que nem todas as empresas hoje têm ou podem pagar”, resumiu Ya Xu, líder de dados e IA do LinkedIn.

A pesquisadora Nanjira Sambuli acrescentou: “Micro, pequenas e médias empresas, que são a maior parte das organizações em muitas economias, podem ainda não contar com equipes dedicadas à gestão de risco ou ter meios de contratar o serviço de terceiros”.

A diretora de dados da Chevron, Ellen Nielsen, concordou. “A demanda por especialistas em governança e risco de IA hoje supera a oferta.”

__Leia também: [Os perigos da IA nas decisões complexas (https://mitsloanreview.com.br/post/os-perigos-de-aplicar-a-previsao-da-ia-em-decisoes-complexas)

A ambiguidade é um grande desafio

Faltam padrões claros e estabelecidos para identificar, entender e medir riscos. Enquanto algumas organizações estão adaptando seus instrumentos para lidar com o tema, como governança de dados, privacidade, segurança cibernética, ética e confiabilidade, outras estão tentando criar novos instrumentos, específicos para IA.

Ranjeet Banerjee, CEO da empresa de soluções em embalagens Cold Chain Technologies, acha que estamos praticamente no escuro. “Não creio que haja atualmente uma boa compreensão dos riscos relacionados à IA na maioria das organizações”, afirmou.

O professor do MIT Sanjay Sarma fez uma observação semelhante. Para ele, “a enorme gama de riscos parece estar levando à paralisia da análise de tal forma que as empresas não conseguem ver o cenário com clareza”.

Além dos fatores conhecidos, “novos riscos continuam surgindo à medida que a tecnologia e suas áreas de aplicação evoluem”, lembrou Leopold, da H&M. Choudhury, do CodeX, também citou o desafio extra para os pequenos: “Um obstáculo significativo está em compreender e quantificar os riscos potenciais associados à IA, particularmente dentro de organizações menores”.

Como resultado, isso pode nos levar a um cenário curioso. “Talvez seja necessário usar IA para entender seus próprios riscos”, sugeriu Yan Chow, líder global de saúde da empresa de automação robótica Automation Anywhere. Algumas organizações estão, de fato, seguindo esse caminho.

Além disso, a IA não é como outras tecnologias emergentes, segundo alguns dos especialistas. Shilpa Prasad, diretora-comercial da LG Nova, incubadora de inovação da gigante dos eletroeletrônicos, lembrou que “os riscos representados pelos sistemas de IA são, em muitos aspectos, únicos”.

Por outro lado, David Hardoon, CEO da Aboitiz Data Innovation, empresa de ciência de dados de Singapura, afirmou que a maioria dos riscos não é específica de IA, como a governança de dados. “Para melhorar a capacidade de enfrentamento, precisamos expandir, revisar e entender quais são os perigos específicos da IA, que os diferenciam dos demais”, disse.

Para David Polgar, fundador da All Tech Is Human, ONG dedicada a abordar os desafios que as novas tecnologias trazem para a sociedade, a questão também reside em um certo deslumbramento em torno da inteligência artificial. “A IA, especialmente a IA generativa, pode tender a paralisar respostas apropriadas ao risco, pois muitas vezes é percebida através de uma lente de novidade mística”, provocou.

Leia também: O fim da lua de mel com o ChatGPT

Mas ele lembrou também que os problemas que surgem são velhos conhecidos. Devemos ver a IA apenas como mais uma nova tecnologia que traz à tona dilemas clássicos em torno de direitos autorais, proteção de dados e publicidade falsa, sugeriu.

Para algumas empresas, outro desafio é a falta de estruturas claras e consistentes de gestão de riscos de IA. Franziska Weindauer, CEO do TÜV AI.Lab, um laboratório dedicado à inteligência artificial da TÜV NORD GROUP, aponta “a ausência de frameworks e diretrizes desenvolvidas por atores conhecedores do campo para ajudar organizações a implementar um sistema de gestão de riscos”.

Da mesma forma, para Ryan Carrier, fundador da ForHumanity, organização que promove a inclusão e diversidade na tecnologia, a “falha em incluir uma diversidade de opiniões e feedback de múltiplas partes interessadas no processo de gestão de riscos resulta em perspectivas limitadas sobre a identificação de riscos e uma falha em divulgar riscos residuais”.

Segundo Andrew Strait, diretor associado do Ada Lovelace Institute, “Ainda estamos em uma era de testes e experimentação de diferentes métodos, mas eles não são comprovadamente eficazes”. Mas as coisas podem estar mudando.

Qual será o papel das novas leis

Nossos especialistas estão divididos sobre o papel das novas regulamentações de IA. “Com a introdução do AI Act, as organizações estão começando a reconhecer a importância das considerações de risco”, disse Rainer Hoffman, diretor de dados da empresa de energia alemã EnBW.

Leia mais: AI Act: Como o pioneirismo da UE impacta a regulação da IA no Brasil

Teemu Roos, professor da University of Helsinki, na Finlândia, acrescenta: “As empresas precisarão investir em conformidade, o que não será muito diferente da introdução da General Data Protection Regulation (GDPR, na sigla em inglês) na União Européia, em 2018”.

“Com as próximas regulamentações, especialmente na União Europeia, muitas empresas vão expandir sua capacidade de gestão de risco”, disse Richard Benjamins, cofundador da OdiselA, observatório para os impactos éticos e sociais da IA. Para ele, porém, isso vai acontecer em velocidades bem distintas de uma organização para outra.

Para Yasodara Cordova, pesquisadora da Unico IDtech, startup brasileira de identificação digital, a necessidade de haver regulações é nítida. “Foi preciso quase uma década de regulações de proteção de dados para que as organizações começassem a melhorar sua gestão de risco para a privacidade”, afirmou.

Outros especialistas são menos otimistas. Tshilidzi Marwala, subsecretário-geral da ONU, disse que existem mais incentivos à maximização do lucro por meio da IA do que ao tratamento dos riscos relacionados a ela.

Simon Chesterman, professor da Universidade Nacional de Singapura, disse: “Para as empresas, o medo de ficar para trás frequentemente domina.”

E Carrier, da ForHumanity explicou: “Players individuais fazem apenas discursos de apoio à ideia de gestão de riscos, mas operam ativamente para subverter políticas e padrões.” Como resultado dessas preocupações, Bruno Bioni, diretor- fundador do Data Privacy Brasil, questiona se, “como sociedade, estamos expandindo democraticamente nossas capacidades de gestão de riscos”.

Recomendações

Para organizações que desejam alavancar sua capacidade de gestão do risco organizacional ao lidar com riscos relacionados à IA, recomendamos os seguinte:

1. Identifique os princípios básicos

Os riscos de IA são dinâmicos e evoluem rapidamente. Logo, as empresas devem adotar uma abordagem ágil baseada em princípios orientadores de alto nível.

2. Mantenha-se ágil e continue aprendendo

As organizações devem reconhecer que o aprendizado coletivo sobre riscos de IA e abordagens de mitigação está em andamento. Suas próprias opções precisarão evoluir junto com o entendimento crescente de todos.

3. Aumente os investimentos em ferramentas de mitigação de riscos

As empresas devem procurar identificar onde as ferramentas atuais de mitigação podem atender aos riscos relacionados à IA, incluindo governança e privacidade de dados, segurança cibernética, ética e confiabilidade e segurança. Como os riscos de IA podem surgir de dentro e de fora da organização, as abordagens de mitigação de riscos devem ser projetadas para lidar com ambos os casos.

4. Aja agora

Embora a Lei de IA da UE possa ser hoje a única lei abrangente a respeito, podemos apostar que não será a única. Além disso, a IA não é isenta de nada nas legislações já em vigor. A criação de um programa abrangente de gestão de riscos de IA pode levar vários anos, então as empresas não podem esperar uma regulamentação que apresente uma abordagem precisa e flexível para lidar com os riscos.

O que pensa alguns dos especialistas

Como eles reagiram à afirmação “As empresas estão expandindo suficientemente os recursos de gestão de riscos para lidar com os riscos relacionados à IA”?

Discordo fortemente

Sanjay Sarma, Massachusetts Institute of Technology

Vejo que a maioria das empresas está confusa sobre IA. É uma oportunidade? É um risco? Se é um risco, é um risco competitivo? É um risco existencial? Existe um risco de segurança cibernética da IA? Existe algum risco para nossos funcionários ao usá-la? (Devemos deixar que usem?) Se nossos fornecedores usarem, há risco para nós? Por exemplo, e se eles gerarem código usando IA – é seguro, infalível? E o risco de nossos testes de uso de IA em um chatbot, por exemplo? O potencial lado positivo cria um risco negativo de o chatbot se tornar desonesto? A enorme gama de riscos parece estar levando à paralisia da análise. Por onde começar? Como começar? O que é mais simples de ser feito? Tudo isso significa que o risco de IA não foi devidamente avaliado. Uma boa medida é quando ele aparece em um mapeamento de risco e auditoria (impacto versus probabilidade). Não estou vendo isso acontecer. Atualmente, as empresas não conseguiram capturar o cenário.

Discordo

Katia Walsh, Harvard Business School

A tecnologia está avançando tão rapidamente que não há como fazer ‘o suficiente’ de nada, incluindo expandir os recursos de gestão de risco para lidar com a IA. Embora saibamos de muitos deles, imagino que virão vários que ainda são desconhecidos. A tecnologia exigirá atenção contínua nos próximos anos, porque está se desenvolvendo em nanossegundos.

Idoia Salazar, OdiseIA

A rápida expansão dessa tecnologia, juntamente com sua crescente aplicação a várias operações, muitas vezes supera a capacidade de gestão de risco. Isso se deve a vários fatores, incluindo a falta de padrões para avaliação de risco de IA, a escassez de especialistas e a subestimação da complexidade e do impacto potencial dos perigos associados à implantação de sistemas de IA.

Não concordo nem discordo

Douglas Hamilton, Nasdaq

As corporações certamente estão levando a sério o fato de que o uso de IA representa riscos. Elas estão montando conselhos de governança e ética, incrementando a relação com entidades regulatórias e acompanhando as notícias sobre vários percalços da tecnologia. Mas não estão fazendo isso de uma maneira que considere os tipos de riscos e benefícios novos e únicos que a IA apresenta. Estruturas voltadas para risco e grupos de defesa ainda são dominados por advogados. Há pouca participação de especialistas técnicos que possam avaliar todo o cálculo que deve ser considerado.

Concordo

__Sameer Gupta, DBS Bank

As empresas têm colocado em uso o potencial dos dados de maneira gradual ao longo dos anos, ao mesmo tempo em que desenvolvem estruturas de gestão dos riscos associados à prática. Recentemente, a adoção de recursos de IA/Machine Learning e IA generativa acelerou a escalada do uso de dados nas organizações, introduzindo um novo conjunto de riscos amplificados, como equilíbrio, viés, explicabilidade, ética e alucinação.

Essencialmente, as organizações estão expandindo suas estruturas de administração de riscos para poder lidar com os perigos gerados pela IA. No entanto, o desafio está em garantir que essas medidas possam acompanhar a rápida evolução, particularmente à luz daqueles que estão surgindo a partir da IA generativa.