Status de leitura
Faça login para usar este recurso

Edição #48 do MIT SMR Brasil
©2026 MIT Sloan Management Review Brasil. Todos os direitos reservados. A reprodução, total ou parcial, é proibida sem a autorização prévia e expressa do CNEX.
Organizações precisam alinhar inovação, supervisão e gestão de riscos para capturar valor sustentável e navegar com segurança em ambientes orientados por sistemas inteligentes
Mesmo com um entendimento superficial de inteligência artificial, líderes sabem que, embora a tecnologia possa ajudá-los a melhorar a produtividade e conquistar novas oportunidades, ela também pode expor sua organização a muitos riscos. Quem tem um pouco mais de conhecimento sabe que revelar e mitigar esses riscos exige a adoção de práticas responsáveis de IA. E os que estão implementando a IA em larga escala dentro da organização rapidamente perceberão que a atenção ad hoc a essas práticas é insuficiente e que eles precisam desenvolver a capacidade de governar a tecnologia de maneira sistemática.
Construir essa capacidade, no entanto, está se mostrando muito mais difícil do que o esperado. Os executivos têm ideia do que precisam fazer: demandas de governos e órgãos reguladores definem importantes limites e princípios, como transparência, justiça e responsabilidade. Mas, para implementar controles e princípios nos fluxos de trabalho e na tomada de decisão do dia a dia, as organizações precisam repensar a governança da IA. E a tarefa deve ser encarada não como atendimento de compliance, mas como uma capacidade estratégica e adaptativa que evolui ao longo do tempo, à medida que os sistemas de IA escalam, o uso se expande e os riscos mudam.
Neste artigo, vamos compartilhar como as principais organizações estão fazendo exatamente isso. Também introduziremos uma abordagem para a governança adaptativa da IA baseada em dois princípios:
Os fundamentos do risco em IA
Para projetar uma governança eficaz da IA, os líderes devem primeiro entender as múltiplas formas pelas quais a tecnologia pode falhar e as ameaças correspondentes. A natureza e a gravidade desses riscos dependem do tipo de sistema, de seu nível de autonomia e do escopo dos domínios afetados por suas decisões. O desafio central, portanto, é projetar controles que antecipem como as vulnerabilidades surgirão e evoluirão à medida que os sistemas de IA operam. Mesmo com condições, entradas e expectativas mudando, a IA deve permanecer confiável, segura e alinhada com os valores e objetivos da organização.
Na prática, a maioria dos riscos de IA surge em dois momentos que exigem respostas de governança muito diferentes: durante o desenvolvimento e após a implantação.
Os problemas de desenvolvimento incluem o uso de dados de treinamento tendenciosos ou incompletos, a falta de alinhamento do modelo aos requisitos da tarefa e o cumprimento inadequado de processos de validação. Por exemplo, um modelo inicial de aumento de limite de crédito em um banco que estudamos demonstrou que pequenas mudanças na entrada podiam levar a decisões inesperadas.
Os riscos de implantação surgem quando modelos passam a interagir com ambientes dinâmicos e operadores humanos. Nesse contexto, o principal desafio é preservar a legitimidade, a capacidade de julgamento e a responsabilização à medida que sistemas de IA operam em escala e em tempo real. Com o tempo, o desempenho do modelo pode se degradar à medida que as propriedades estatísticas dos dados de entrada se alteram (fenômeno conhecido como data drift). Além disso, um modelo pode produzir respostas plausíveis, porém incorretas, ou transmitir uma falsa sensação de confiabilidade a usuários que não dispõem de meios para identificar seus erros.
Na Nasdaq, sistemas de vigilância de mercado baseados em IA monitoram a atividade de negociação em busca de padrões suspeitos, gerando centenas de alertas por segundo. Ainda assim, nem sempre conseguem identificar com precisão comportamentos ilícitos, já que a fronteira entre uma atividade incomum e uma fraude costuma ser tênue. Além disso, agentes mal-intencionados podem deliberadamente projetar comportamentos para que pareçam legítimos, explorando os padrões de aprendizado dos modelos.
Controles adequados aos riscos
Os controles adotados dependem não apenas do momento em que os riscos surgem ao longo do ciclo de vida da IA, mas também do tipo de sistema empregado e do alcance de suas decisões. De modo geral, os sistemas de IA podem ser divididos em duas categorias: os baseados em modelos de aprendizagem limitada (ou estáticos) e os que aprendem e se adaptam durante a operação [veja quadro abaixo].

Os sistemas de aprendizagem limitada operam com um conjunto fixo de regras e parâmetros. Seu desempenho melhora por meio da otimização da aplicação dessas regras, e não pela alteração de sua lógica subjacente. Modelos de pontuação de crédito, por exemplo, refinam estimativas de risco com base em fatores como renda e histórico de pagamentos, mas não modificam a relação entre essas variáveis. Muitos modelos de IA generativa também são pré-treinados, ou seja, permanecem estáticos e não são atualizados durante o uso.
Já os sistemas de aprendizagem adaptativa evoluem continuamente ao incorporar dados gerados durante a operação ao conjunto de treinamento, atualizando suas representações internas e as relações entre variáveis. Plataformas de negociação algorítmica e sistemas dinâmicos de detecção de fraudes são exemplos dessa abordagem.
Outro fator determinante para definir os controles necessários é o alcance dos domínios afetados pelas decisões da IA [representado no eixo vertical da figura acima]. Essa dimensão determina até onde e com que rapidez os riscos podem se propagar quando um sistema falha: em um extremo estão os sistemas de escopo restrito, cujos erros permanecem confinados a uma função ou tarefa específica (como a detecção de anomalias em um único fluxo de transações); no outro, estão os sistemas de amplo escopo, que influenciam resultados em múltiplas funções, regiões geográficas ou até mesmo setores inteiros, como plataformas transfronteiriças de otimização da supply chain.
A diferença entre esses dois extremos não é apenas incremental, mas exponencial: à medida que o alcance do sistema se expande, pequenos erros podem interagir, se propagar e se amplificar, produzindo efeitos de segunda ordem.
Com base em nossa tipologia de sistemas de IA, defendemos que controles baseados em regras constituem as salvaguardas fundamentais para todos os sistemas estáticos e de escopo restrito. Quando esses sistemas operam em domínios mais amplos, eles devem ser complementados por controles destinados a conter os riscos de propagação e seus efeitos indiretos.
A verdade é que nos sistemas de aprendizagem adaptativa, as salvaguardas básicas continuam essenciais, mas precisam ser complementadas por controles de alinhamento “ex post” (do latim, “após o fato”), especialmente aqueles voltados à explicabilidade e à legitimidade. Quando, além de adaptativos, esses sistemas atuam em domínios amplos, exigem a abordagem mais abrangente de governança: controles integrados que combinam mecanismos baseados em regras, controles para mitigar o risco de propagação e mecanismos de alinhamento. A seguir, examinamos como cada um desses componentes funciona na prática.
Governança baseada em regras
Os controles baseados em regras são projetados para prevenir e corrigir erros em sistemas que operam dentro de parâmetros claramente definidos. São particularmente eficazes em domínios de decisão de escopo restrito, nos quais a lógica é explícita e os resultados podem ser auditados, como modelos de concessão de crédito, sistemas de detecção de fraudes e chatbots de atendimento ao cliente. Esses controles incorporam normas relevantes (como diretrizes éticas, padrões do setor e requisitos de compliance) diretamente aos modelos, utilizando-as como restrições de projeto. Também abrangem processos como testes de validação e monitoramento de anomalias.
Considere o modelo de decisão para aumento do limite de crédito mencionado anteriormente. Um executivo sênior de IA do banco explicou que a instituição utiliza um modelo estatístico, em vez de um modelo de deep learning, para garantir que as decisões permaneçam interpretáveis.
Antes da implantação de um novo modelo, a equipe de análise elabora um documento conhecido como model card (ficha de modelo), que reúne três componentes centrais da gestão de riscos em IA. O primeiro são as verificações da qualidade, que avaliam se os dados de treinamento são completos, atualizados e balanceados, além de definir como a equipe monitorará possíveis desvios (data drift) ao longo do tempo. Em seguida, são analisadas a lógica de decisão e os casos-limite, para verificar como as pontuações se traduzem em decisões de aprovação ou recusa. Essa etapa inclui uma análise explícita dos limiares em que um cliente deixa de ser elegível para um aumento do limite de crédito e passa a se qualificar para ele, de modo a evitar que clientes situados na “zona cinzenta” sejam tratados de forma injusta.
Por fim, são realizados testes de viés e discriminação para assegurar que o modelo não se ajuste excessivamente a determinados perfis de clientes nem prejudique sistematicamente grupos específicos. O model card passa por revisão de qualidade por uma unidade independente de risco-modelo, com contribuição de especialistas em crédito e em regulação. Posteriormente, a auditoria interna verifica se todas essas etapas foram cumpridas. Somente então o modelo é liberado para uso.
O julgamento humano permanece central mesmo em ambientes baseados em regras. Em uma organização estudada, cada novo modelo de empréstimo para clientes de médio porte era submetido a testes de amostra antes da implantação. As equipes de risco selecionavam 100 cadastros de clientes existentes e os submeteram ao modelo. Em seguida, os gerentes de relacionamento comparavam as decisões de empréstimo recomendadas pelo modelo com suas próprias avaliações. Quando havia divergências, a equipe responsável investigava se o modelo havia identificado um padrão relevante ou se estava exagerando a partir dos dados.
Somente depois que essa revisão demonstrava um nível aceitável de alinhamento entre os resultados do modelo e a avaliação dos especialistas – e a origem das discordâncias era compreendida – o banco aprovava a tecnologia para uso em tempo real. E, após o lançamento, revisões periódicas de amostras continuavam a fazer parte da rotina de gestão de riscos e controles.
Os controles baseados em regras são eficazes porque tornam os limites de decisão crítica explícitos, revisáveis e contestáveis entre domínios. Além disso, seu caráter adaptativo possibilita a recalibração ao longo do tempo.
Divergências entre os resultados do modelo e o julgamento dos especialistas são tratadas como oportunidades de aprendizado, alimentando a atualização de limiares, premissas e rotinas de revisão à medida que os dados, os modelos e os contextos de decisão evoluem.
Alinhamento “ex post”, após o fato
A complexidade dos sistemas avançados de IA, especialmente aqueles baseados em redes neurais profundas, torna os métodos tradicionais de rastreabilidade e explicabilidade menos eficazes. Controles fundamentados em regras dependem da capacidade de compreender e especificar a lógica por trás das decisões, mas esse raciocínio se torna cada vez mais opaco à medida que os modelos se tornam mais sofisticados. Como resultado, os stakeholders precisam garantir que os resultados gerados permaneçam confiáveis, justos e alinhados às expectativas organizacionais e aos requisitos regulatórios.
Já quando esses sistemas operam com elevado grau de autonomia, a explicabilidade torna-se ainda mais crítica, uma vez que decisões podem ser tomadas sem revisão humana imediata.A IA generativa introduz uma camada adicional de dificuldade devido ao seu comportamento estocástico, em que um mesmo prompt pode gerar resultados diferentes a cada execução.
É nesse contexto que entram os controles de alinhamento “ex post”. Eles não procuram explicar como uma decisão foi tomada, mas verificar se seus resultados permanecem legítimos. Para isso, avaliam as decisões produzidas pelos sistemas de IA à luz de padrões éticos, regulatórios e específicos de cada domínio. Embora alguns desses controles também sejam orientados por regras, seu foco deixa de ser a prevenção de erros na fase inicial e passa a ser a identificação de desalinhamentos à medida que os sistemas operam, aprendem e são escalados.
As organizações operacionalizam o alinhamento “ex post” por meio de processos de avaliação em múltiplas camadas, que verificam se os resultados estão de acordo com padrões de referência previamente definidos. A Microsoft, por exemplo, desenvolveu um pipeline estruturado de avaliação no qual modelos de alto risco são examinados com base em bibliotecas de políticas definidas por especialistas, que estabelecem critérios para determinar o que constitui um resultado “justo” ou “aceitável”.
Avaliadores rotulam os resultados produzidos pelos modelos à luz dessas políticas, enquanto revisores independentes verificam os casos em que o sistema falha. Em algumas situações, esse processo pode ser parcialmente automatizado. Por exemplo, sistemas de IA podem ser continuamente avaliados com base em benchmarks de políticas predefinidos, critérios de equidade ou limiares de risco, enquanto mecanismos automatizados monitoram desvios e os encaminham para revisão humana.
Os controles de alinhamento “ex post” revelam não como uma decisão foi tomada, mas se seus resultados permanecem legítimos
Nesse contexto, a auditoria algorítmica torna-se um componente essencial do alinhamento “ex post”. Após a implantação, o comportamento do modelo é examinado de maneira sistemática para identificar riscos ocultos, avaliar a equidade e o desempenho entre os diferentes grupos afetados e verificar se seus resultados permanecem alinhados às políticas da organização e aos padrões éticos.
Essa auditoria é realizada em duas etapas. Primeiro, os auditores identificam cenários plausíveis de falha e definem o contexto completo do caso de uso, incluindo quem utiliza o sistema, quem é afetado por suas decisões e qual é sua finalidade. Em seguida, monitoram esses riscos avaliando os resultados das decisões, os dados de entrada e a lógica do modelo com base em critérios previamente definidos. Esse processo ajuda as organizações a identificar consequências não intencionais, como impactos desproporcionais sobre determinados grupos, documentar padrões recorrentes de risco e adotar ações corretivas antes que os problemas cresçam.
Estruturas de auditoria de riscos algorítmicos, como as propostas por Cathy O’Neil em seus estudos sobre inspeção de sistemas de IA, oferecem ferramentas e métricas práticas para operacionalizar essa abordagem e fortalecer a responsabilização. Dessa forma, a checagem funciona tanto como um mecanismo de diagnóstico quanto como uma base para a melhoria contínua.
O alinhamento na prática
Uma parte fundamental do alinhamento “ex post” é garantir que as pessoas não tratem os resultados da IA como verdades inquestionáveis. Como muitas recomendações de IA são inerentemente probabilísticas, as organizações precisam treinar os usuários para interpretá-las como indícios, e não como decisões finais. Afinal, ajudar os gestores a entenderem quando confiar no sistema, quando desafiá-lo e como identificar resultados inesperados ou tendenciosos é essencial para manter o uso da IA legítimo, responsável e alinhado com os valores organizacionais ao longo do tempo.
Gerir o desalinhamento em larga escala pode ser particularmente desafiador, sobretudo em sistemas projetados para filtrar, priorizar e escalar alertas em tempo real. Os sistemas de vigilância de mercado da Nasdaq, baseados em IA, monitoram continuamente a atividade de negociação em busca de irregularidades – como volumes incomuns, anomalias de preços ou possíveis manipulações – e podem gerar centenas de alertas de alto risco por segundo.
Equipes multidisciplinares, compostas por profissionais de compliance, cientistas de dados e especialistas de domínio, analisam os alertas por meio de fluxos de trabalho estruturados. Cada alerta é avaliado para determinar se corresponde a um caso real de manipulação de mercado ou a um falso positivo provocado por um padrão de negociação incomum, mas legítimo. As conclusões são documentadas e encaminhadas à equipe responsável pelo modelo, que as utiliza para recalibrar limiares, aperfeiçoar as variáveis de detecção e reduzir a recorrência de falsos positivos em alertas futuros.
Comitês de escalonamento intervêm quando investigações sugerem envolvimento coordenado de atores mal-intencionados ou quando anomalias indicam um risco sistêmico mais amplo. As trilhas de auditoria capturam elementos-chave desse processo, incluindo o alerta original, os sinais de dados de suporte, a decisão humana tomada e quaisquer ajustes subsequentes do modelo.
Revisões periódicas de governança são realizadas para avaliar padrões de falsos positivos e detecções perdidas, garantindo responsabilização, conformidade regulatória e melhoria contínua das regras de vigilância. Mesmo assim, picos no volume de avisos podem colocar uma forte pressão sobre as equipes, sobrecarregando a capacidade de resposta e aumentando o risco de erro.
O alinhamento “ex post” reconhece que algum grau de desalinhamento é inevitável e direciona a governança para a detecção, a contestabilidade e a correção, em vez de se concentrar apenas na prevenção
Uma abordagem eficaz para gerir o impacto de altos volumes de alertas é redesenhar fluxos de trabalho em torno dos resultados da IA. Essa abordagem é bem ilustrada pela experiência de um banco global com detecção de fraudes impulsionada por IA. Os executivos descobriram que os principais desafios não vinham de erros nas previsões do modelo, mas de falhas na forma como os alertas eram interpretados, roteados e tratados entre as equipes.
Transferências inconsistentes entre os membros da equipe de compliance, risco e da linha de frente frequentemente levavam a respostas atrasadas, esforço duplicado ou acompanhamento falho, minando a eficácia do sistema apesar dos resultados tecnicamente sólidos. Por exemplo: os alertas às vezes eram encaminhados para a equipe errada, duplicados entre unidades ou deixados sem solução porque nenhum grupo era claramente responsável pela próxima etapa. Funcionários ocasionalmente entravam em contato com clientes com base em alertas que as equipes de fraude ainda não haviam validado, enquanto casos de alto risco eram atrasados porque os critérios de escalonamento eram incertos.
Para resolver esses problemas, o banco mapeou o fluxo de alerta passo a passo e reatribuiu responsabilidades em cada ponto de decisão. Analistas de fraude receberam autoridade mais clara para fechar alertas pouco confiáveis, as operações de fraude focaram na rápida escalada de casos confirmados e as equipes de atendimento ao cliente passaram a ser chamadas somente quando a análise de fraude concluía que o contato era necessário. As regras de decisão também foram padronizadas, definindo, por exemplo, quando um alerta deveria ser descartado, investigado mais a fundo ou escalado – reduzindo atrasos, encaminhamentos desnecessários e sobrecarga de alertas.
O alinhamento “ex post” concentra-se em avaliar as decisões da IA depois que elas são tomadas, verificando se seus resultados permanecem alinhados a padrões éticos, regulatórios e específicos de cada domínio, em vez de reconstruir a lógica interna que levou a essas decisões. Em última análise, um alinhamento “ex post” eficaz não elimina o risco; ele preserva a legitimidade ao garantir que os resultados produzidos por sistemas de IA com alto grau de autonomia permaneçam passíveis de contestação, correção e alinhamento contínuo aos padrões considerados relevantes.
Ao contrário da gestão tradicional de riscos, o alinhamento “ex post” parte do princípio de que algum grau de desalinhamento é inevitável e, por isso, concentra a governança na detecção, na contestabilidade e na correção, em vez de se limitar à prevenção.
Gestão dos riscos de propagação
Os controles baseados em regras e os mecanismos de alinhamento “ex post” compartilham uma limitação importante: tendem a tratar o risco como um fenômeno relativamente contido, concentrando-se em erros específicos ou em resultados individuais. Essa abordagem pode ser eficaz quando os sistemas de IA operam de maneira relativamente isolada, mas se mostra insuficiente à medida que passam a se conectar por fluxos de dados em tempo real, APIs e processos automatizados de tomada de decisão.
O avanço da IA agêntica ilustra bem esse desafio. À medida que esses sistemas passam a iniciar ações de modo autônomo, coordenar atividades com outros sistemas e perseguir objetivos em múltiplos domínios, erros ou desalinhamentos originados em um único sistema podem se propagar para muitos outros. Nesses casos, o principal desafio deixa de ser apenas o risco associado a decisões individuais e passa a ser a gestão dos riscos de interdependência e propagação, cujos efeitos podem escapar aos controles tradicionais centrados na avaliação de resultados.
Os reguladores têm reconhecido cada vez mais a importância dos riscos de propagação e da necessidade de mecanismos robustos de testes e supervisão. O Bank of England, por exemplo, destacou os riscos associados aos chamados “agentes de negociação profunda” (deep trading agents) – estratégias de negociação baseadas em IA que podem amplificar choques externos ou coordenar suas ações de maneiras que escapam à detecção humana.
Na área da saúde, modelos de diagnóstico enviesados também podem disseminar padrões de decisão equivocados entre hospitais e seguradoras. O mesmo risco existe nas cadeias de fornecimento, onde plataformas algorítmicas de compras podem amplificar erros de precificação em toda a rede de fornecedores. A verdade é que dinâmicas semelhantes podem surgir em qualquer sistema digitalmente interconectado.
Os controles de risco de propagação representam uma terceira camada de governança e são projetados para revelar efeitos de segunda ordem – ou de ordens superiores – antes que sobrecarreguem outras funções. Em nosso framework, controles baseados em regras protegem processos de escopo restrito e relativamente estáticos; mecanismos de alinhamento são voltados aos sistemas complexos, cujas decisões são opacas; e os controles de propagação tratam dos riscos associados a sistemas interconectados. Essas camadas de governança se preocupam não apenas com o que acontece dentro de cada sistema, mas também com os efeitos produzidos pela interação entre eles.
O principal desafio é que esses riscos costumam ser invisíveis: as falhas se propagam lateralmente, explorando interdependências ocultas que muitas vezes só se tornam evidentes quando ocorre uma ruptura operacional. Um pequeno erro na API logística, por exemplo, pode ser inofensivo isoladamente, mas, quando combinado com um incidente cibernético que afeta um gateway de pagamento, pode desencadear uma falha sistêmica.
Uma estrutura de governança construída em torno de uma visão de risco centrada na empresa é pouco adequada para acompanhar essas dinâmicas transfronteiriças. Como os riscos de propagação se desenrolam em sistemas interconectados, muitas vezes além da visibilidade ou controle de qualquer organização, administrá-los exige uma mudança de uma perspectiva centrada na empresa para uma uma visão sistêmica do ecossistema.
Essa mudança envolve três atividades complementares: mapeamento de interdependências, monitoramento de infraestruturas compartilhadas e institucionalização da supervisão antecipada. Juntas, essas práticas ajudam a evidenciar riscos que permanecem imperceptíveis quando os controles focam apenas em sistemas isolados ou saídas individuais.
Os testes de estresse setoriais de ciberresiliência conduzidos pelo Banco Central Europeu mostram como controles de risco de propagação podem ser implementados em nível de ecossistema. Esses exercícios mapeiam as interdependências entre câmaras de compensação, sistemas de pagamento e instituições financeiras; monitoram infraestruturas compartilhadas em busca de vulnerabilidades que possam afetar múltiplas organizações; e simulam como interrupções localizadas podem se disseminar por todo o sistema financeiro. Essas práticas oferecem lições que vão além da regulação, podendo ser aplicadas a qualquer ambiente altamente interconectado.
As organizações podem implementar controles de risco de propagação ao redistribuir visibilidade, responsabilidade e direitos de decisão entre os participantes de um ecossistema, em vez de depender exclusivamente de regras internas ou de intervenções “ex post”.
Como os riscos de propagação atravessam fronteiras organizacionais, uma governança eficaz exige tanto coordenação entre organizações quanto mecanismos robustos de controle interno. Para isso, algumas empresas precisarão transformar suas normas culturais, incentivando o compartilhamento de dados, a definição conjunta de padrões e o coinvestimento em infraestruturas de supervisão com parceiros, concorrentes, reguladores e, em alguns casos, comunidades de código aberto.
Reduzir riscos de propagação exige a compreensão de que a resiliência não é mais algo que uma organização pode alcançar sozinha, mas, sim, uma propriedade do sistema mais amplo do qual todas dependem.
À medida que os ecossistemas se tornam mais densamente interconectados, esses riscos tendem a se intensificar. O surgimento da IA agêntica – capaz de iniciar transações de maneira autônoma, negociar contratos ou realocar recursos entre redes – amplia essa lógica, aumentando tanto a velocidade quanto o alcance da propagação de falhas. Em setores como finanças, logística e saúde, erros não apenas podem se disseminar com maior rapidez: eles podem fazê-lo cada vez mais sem a supervisão direta de seres humanos.
Da estratégia à prática
Uma vez que os líderes identificam os riscos de IA relevantes para suas organizações e os controles necessários para mitigá-los, o desafio passa a ser incorporá-los aos processos e sistemas existentes, garantindo que sejam aplicados, monitorados e aprimorados continuamente. Isso envolve três práticas-chave: incorporar controles aos fluxos de trabalho e aos sistemas de incentivos, construir fluência entre diferentes domínios e institucionalizar a governança como um sistema vivo de aprendizagem. Veja como fazer isso.
1. Incorporar protocolos de controle de risco às operações. Protocolos de risco devem ser projetados e incorporados diretamente a fluxos de trabalho, estruturas de responsabilidade e incentivos. A supervisão deve fluir diretamente para o planejamento, auditorias e revisões de liderança, em vez de ficar em uma área separada de compliance. Somente quando a governança se tornar parte da estrutura operacional a IA poderá ser escalada com confiança. Essa é uma condição necessária.
Um banco global, cujos líderes entrevistamos, incorporou controles de IA em seu fluxo padrão de empréstimos, em vez de tratá-los como uma etapa separada de compliance. Para cada uso aprovado de IA, o comitê de análise desses usos do banco documentou (1) o nível de risco (alto, médio ou baixo) com base no impacto no cliente, impacto regulatório, sensibilidade dos dados e tipo de modelo; (2) os controles obrigatórios associados a esse nível (como validação independente do modelo, testes de amostragem por gestores de relacionamento ou frequência das revisões pós-implantação); e (3) alçadas de decisão (quem poderia aprovar mudanças de modelo e sob quais condições).
Esses requisitos foram então incorporados diretamente aos processos e sistemas de aprovação de crédito. Gestores de relacionamento não podiam ignorar etapas de validação dos modelos ou revisões pós-implementação; exceções exigiam aprovação explícita tanto das equipes de negócio quanto das áreas de gestão de riscos. A supervisão passou a fazer parte dos ciclos regulares de tomada de decisão, em vez de depender de comitês ad hoc ou auditorias pontuais.
2. Permitir decisões fundamentadas em diferentes áreas de especialização e perfis de risco. A governança adaptativa da IA não exige consenso ou julgamento compartilhado. Muito pelo contrário: requer mecanismos que permitam julgamento fundamentado entre expertises, métodos e perfis de risco heterogêneos. Essa é frequentemente a tarefa mais difícil – e decisiva – a se realizar.
À medida que os riscos da IA se deslocam entre categorias e cortam silos organizacionais, a responsabilidade não pode residir em uma única função. Diferenças entre domínios não são uma falha, mas uma característica: elas refletem expertises distintas, métodos avaliativos e tolerâncias ao risco. O desafio da governança, portanto, não é homogeneizar essas perspectivas, mas criar as condições sob as quais as organizações possam traduzi-las em decisões conclusivas em larga escala – evitando tanto a homogeneização de julgamentos quanto a aprovação acrítica dos resultados da IA.
Entre os desafios centrais para institucionalizar uma capacidade duradoura de julgamento fundamentado está o fato de que os controles baseados em regras são frequentemente prejudicados por conhecimento isolado quando vários especialistas de domínio não compartilham um quadro comum.
Para superar essas barreiras, é necessário compartilhar conhecimento entre diferentes domínios por meio de revisões conjuntas de modelos e documentação compartilhada (como os model cards descritos anteriormente), além de realizar sessões regulares de validação multifuncional que tornem explícitas e passíveis de contestação a lógica de decisão, as premissas e os limites adotados.
Nos controles de alinhamento “ex post”, o desafio não envolve apenas silos de conhecimento, mas também diferentes níveis de tolerância ao risco e abordagens metodológicas desalinhadas. O alinhamento pode se perder quando equipes distintas operam com limites implícitos de risco diferentes – interrompendo avaliações antes do necessário, por um lado, ou entrando em um ciclo de análise excessiva, por outro.
O uso de métodos divergentes para reconciliar resultados esperados com resultados observados (como validação analítica, experimentos controlados ou julgamentos baseados em casos) também pode gerar desalinhamentos. Nesses cenários, a divergência não diz respeito apenas ao que o modelo recomenda, mas ao nível de risco considerado aceitável e ao que constitui evidência suficiente de que o modelo está funcionando conforme planejado.
Uma resposta crítica, portanto, não é apenas “construir confiança” nas recomendações de IA, mas estabelecer rotinas avaliativas compartilhadas que evidenciem e reconciliem diferenças tanto nas tolerâncias ao risco quanto nas abordagens metodológicas. Avaliações sistemáticas após a implantação ancoram as discussões no comportamento observado do sistema, em vez de em percepções abstratas sobre a qualidade do modelo.
As organizações podem fazer isso por meio de rotinas estruturadas de revisão que combinem a análise de incidentes e quase incidentes, o monitoramento de desvios de desempenho e comparações explícitas entre os usos pretendidos e os resultados reais das decisões. Fundamentalmente, essas rotinas criam pontos de referência comuns – como limiares de risco acordados, padrões probatórios compartilhados e métricas comparáveis – que permitem a equipes orientadas por análise, grupos envolvidos em experimentação e responsáveis por casos de uso avaliar conjuntamente se o modelo está funcionando conforme planejado.
Com o tempo, esse processo permite recalibrar pressupostos, limiares e controles, reduzindo tanto interrupções prematuras causadas por cautela excessiva quanto a paralisia de análise decorrente de divergências metodológicas.
O controle de propagação do risco depende de uma mudança fundamental de mentalidade: de tratar o risco como um problema centrado na empresa para administrá-lo como um fenômeno em nível de ecossistema – assim como nos ecossistemas digitais de negócios, os riscos em sistemas de IA se propagam de modo desigual entre atores que têm diferentes papéis, incentivos e graus de interdependência.
Mapear essas interdependências além dos limites da empresa é um primeiro passo necessário (e muitas vezes um alerta), mas por si só é insuficiente. Conforme demonstraram pesquisas sobre estratégia de ecossistemas, a coordenação falha quando a responsabilidade é difusa, os incentivos permanecem localmente otimizados e nenhum ator é explicitamente responsável por orquestrar trade-offs entre áreas ou organizações.
Dinâmicas semelhantes minam os controles de risco de propagação da IA. As equipes continuam incentivadas a focar estritamente em seus próprios sistemas; a responsabilidade pelos riscos permanece fragmentada entre unidades organizacionais e parceiros externos; e riscos de impacto ou reputacionais acabam sendo tratados como responsabilidade de terceiros.
Sem o apoio da liderança para uma responsabilidade em nível de ecossistema – e sem mecanismos de governança que atribuam a posse do risco de acordo com o tipo de interdependência envolvida – o mapeamento de interdependências corre o risco de se tornar apenas um exercício analítico isolado, em vez de uma capacidade de governança contínua e sustentada. Uma mentalidade de ecossistema exige não apenas visibilidade sobre conexões, mas também regras compartilhadas de engajamento, direitos de escalonamento e alçadas de decisão para gerenciar como os riscos se propagam atravessando fronteiras organizacionais e tecnológicas ao longo do tempo.
Superar essas barreiras é essencial para criar condições para um julgamento conclusivo que respeite diferenças de expertise, métodos e tolerância ao risco, em vez de colapsá-las em um único quadro avaliativo acrítico.
3. Institucionalizar a governança como um sistema de aprendizagem. A governança da IA não pode ser estática: os riscos se transformam, então os controles precisam evoluir. A governança eficaz exige, portanto, que as organizações estabeleçam ciclos de aprendizagem com papéis claros, para captar lições de incidentes ocorridos, ou quase, e traduzir essas lições em padrões, limites e regras atualizados.
Em vez de depender apenas de controles, sistemas ou plataformas de governança em larga escala, uma governança adaptativa eficaz da IA depende da construção da mentalidade adequada e da incorporação de ciclos práticos de aprendizagem à supervisão cotidiana. Isso envolve atribuir responsabilidades explícitas pela revisão de incidentes e quase incidentes; documentar sistematicamente o que deu errado; e garantir que os insights sejam traduzidos em políticas revisadas, limiares recalibrados ou controles reforçados.
Com o tempo, a governança deixa de se concentrar apenas em protocolos e sistemas e passa a incorporar a melhoria contínua como uma prática institucionalizada, garantindo que os sistemas de IA permaneçam alinhados à intenção organizacional à medida que os modelos evoluem, os contextos mudam e novos riscos surgem.
JUNTOS, ESSES PASSOS REPRESENTAM UMA MUDANÇA FUNDAMENTAL NA GOVERNANÇA DA IA. O modelo adaptativo de governança não consiste em multiplicar controles, comitês ou listas de verificação. Trata-se de identificar os mecanismos adequados a cada propósito e integrá-los diretamente à forma como a organização opera, toma decisões e aprende – incorporando-os aos fluxos de trabalho e incentivos, a estruturas compartilhadas de julgamento e a sistemas vivos capazes de absorver experiências e agir continuamente a partir delas.
Organizações que tratam a governança como estática inevitavelmente ficarão para trás de sistemas que aprendem, se adaptam e propagam riscos em tempo real. Em contraste, aquelas que institucionalizam a governança como uma capacidade de aprendizagem – conectando estratégia, execução e supervisão – podem transformar a governança da IA de uma restrição em um facilitador de escala.
Na era dos sistemas inteligentes, a vantagem não virá apenas de adotar IA mais rapidamente, mas de governá-la melhor, incorporando supervisão aos pontos em que decisões são tomadas, riscos se propagam e valor é criado.
De 2022 a 2025, os autores deste artigo conduziram entrevistas semiestruturadas e aprofundadas com líderes seniores e profissionais responsáveis por governança, risco, compliance, dados e decisões de produto em IA.
1. Veja, por exemplo, “Artificial Intelligence Risk Management Framework (AI RMF 1.0),” PDF file (National Institute of Standards and Technology, U.S. Department of Commerce, January 2023), https://doi.org/10.6028/NIST.AI.100-1.
2. C. O’Neil, “Audit the Algorithms That Are Ruling Our Lives,” Financial Times, July 30, 2018, www.ft.com. See also C. O’Neil, H. Sargeant, and J. Appel, “Explainable Fairness in Regulatory Algorithmic Auditing,” West Virginia Law Review 127, no. 1 (September 2024): 79-133.
3. M. Pagani and T.H. Davenport, “How AI Changes Partner Collaboration,” MIT Sloan Management Review, Nov. 20, 2024, https://sloanreview.mit.edu. See also J.R. Pereira, G. Viscusi, and C.L. Tucci, “Managing Digital Crowds for Generativity: The Role of Scalability and Forking,” Strategic Management Review, forthcoming.
4. N. Staudenmayer, M. Tripsas, and C.L. Tucci, “Interfirm Modularity and Its Implications for Product Development,” Journal of Product Innovation Management 22, no. 4 (July 2005): 303-321, https://doi.org/10.1111/j.0737-6782.2005.00128.x.
5. G. Lanzolla and C.C. Markides, “How to Choose the Right Ecosystem Partners for Your Business,” Harvard Business Review, March 28, 2022, https://hbr.org; and G. Lanzolla and C. Markides, “Diversification in the World of Data and AI” (Cambridge University Press, 2025).
6. M. Pagani and O.A. El Sawy, “Challenges of Boundaryless Metaverses: Implications for IS Research,” European Journal of Information Systems, preprint, Jan. 18, 2026, https://doi.org/10.1080/0960085X.2025.2612487.
Você leu o post? Então faça login e tenha acesso ao recurso de “Marcar como lido”.