©2026 MIT Sloan Management Review Brasil. Todos os direitos reservados. A reprodução, total ou parcial, é proibida sem a autorização prévia e expressa do CNEX.

Em 2016, a instituição financeira americana Wells Fargo esteve no centro de um escândalo. Foi quando manchetes revelaram que seus funcionários, pressionados por metas agressivas de vendas, haviam aberto milhões de contas sem autorização dos clientes. A causa-raiz não se limitou a desvios éticos individuais, mas refletiu uma falha estrutural na forma como o desempenho era medido. Ao incentivar a venda de oito produtos financeiros por cliente, a liderança do banco acabou estimulando, ainda que de modo não intencional, comportamentos de manipulação – com impactos negativos para clientes, colaboradores e a própria organização. A métrica passou a se sobrepor ao propósito comercial do negócio.

Embora a aplicação da lei de Goodhart nem sempre resulte em escândalos dessa magnitude, organizações de todos os setores estão sujeitas ao mesmo risco: “Quando uma métrica se torna uma meta, ela deixa de ser uma boa medida”. Apesar de décadas de alertas, muitos líderes continuam estruturando incentivos com base em indicadores estreitos, o que pode levar a decisões distorcidas, dilemas éticos e perda de desempenho.

Soluções tradicionais para superar a lei de Goodhart, como balanced scorecards e KPIs, frequentemente falham, pois permanecem vulneráveis a visões limitadas de desempenho e a incentivos mal calibrados, sobretudo na ausência de monitoramento mais rigoroso. A persistência desse desafio indica a necessidade de abordagens mais sofisticadas para lidar com os riscos associados à gestão por métricas.

Uma nova perspectiva: lições do treinamento de IA

Líderes têm passado a enxergar organizações como sistemas a serem otimizados para a obtenção de resultados específicos, de maneira semelhante à forma como pesquisadores de machine learning buscam algoritmos cada vez mais eficientes. Em ambos os contextos, o desafio está em refinar métricas que, com o tempo, podem se distanciar dos objetivos reais. Nesse sentido, abordagens inspiradas em pesquisas em IA oferecem caminhos promissores para enfrentar problemas persistentes na avaliação de desempenho organizacional.

É importante reconhecer, no entanto, que organizações são formadas por pessoas, com autonomia e motivações complexas, diferentemente dos algoritmos. Por isso, essas abordagens devem ser entendidas como estruturas de apoio à decisão, que exigem adaptação e julgamento humano, e não como soluções puramente mecanicistas.

Pesquisadores de IA estudam há muito tempo um fenômeno chamado “overfitting” (ajuste excessivo a um conjunto específico de dados), em que modelos de machine learning têm bom desempenho com dados de treinamento, mas falham quando confrontados com cenários do mundo real porque não conseguem generalizar para gerar resultados com os novos dados. 

Considere um exemplo hipotético simples: um modelo de reconhecimento de imagem treinado para distinguir cães de gatos a partir de milhares de fotos. Durante o treinamento, o desempenho parece impecável, com identificação correta de todos os animais. Mas quando mostram novas fotos no mundo real, ele falha drasticamente. Por quê? O modelo não aprendeu a reconhecer as características essenciais de cães e gatos; em vez disso, descobriu padrões irrelevantes nos dados de treinamento. Talvez as fotos dos cachorros tivessem fundo de grama, enquanto as dos gatos tenham sido tiradas dentro de casa. O sistema está otimizado para avaliar a precisão do treinamento, não para o objetivo esperado, de identificar características reais. Assim, fotos em ambientes internos sempre serão de gatos. 

Pesquisadores de IA reconhecem que vincular resultados de maneira excessivamente rígida a determinadas métricas pode, paradoxalmente, comprometer o desempenho no mundo real. Jascha Sohl-Dickstein, um dos pioneiros nesse campo, observa que “o aumento da exatidão pode, às vezes, de modo contraintuitivo, levar a resultados piores”, observando que isso acontece “em praticamente todos os contextos”, sejam eles de machine learning ou organizacionais.

No contexto de machine learning, os estudos mostram que o desempenho em relação ao objetivo real de um modelo tende a seguir um padrão recorrente: inicialmente melhora à medida que o sistema é otimizado para uma determinada métrica, depois se estabiliza e, por fim, pode se deteriorar de maneira significativa à medida que a otimização se intensifica. Esse comportamento ilustra como a busca agressiva por métricas pode acabar minando exatamente os resultados que se pretendia alcançar.

O fenômeno ocorre também nas organizações, quando as equipes buscam resultados de maneiras que as desconectam de sua intenção estratégica:

• as equipes de vendas atingem as metas promovendo produtos que não interessam à empresa,
• as escolas melhoram as notas dos alunos ao treiná-los especificamente para provas em vez de construir um entendimento mais profundo,
• o pessoal de atendimento ao cliente acelera a conclusão da ligação para reduzir a duração da chamada enquanto sacrificam a qualidade da resolução dos problemas de cada cliente.
  
  Vitórias de curto prazo nesses indicadores podem esconder ou agravar questões mais profundas.

Sua empresa pode sofrer do mesmo “overfitting” dos modelos de machine learning. Nesse caso, a busca das metas é desconectada da intenção estratégica

Entender como pesquisadores de IA evitam o problema de usar um modelo muito limitado pode ajudar os gestores a repensar como projetam e acompanham indicadores de desempenho para evitar manipulações ou resultados inúteis e, em vez disso, gerar resultados significativos.

Um framework do machine learning para sua empresa

O machine learning desenvolveu quatro estratégias para combater o “overfitting”, cada uma com implicações diretas para o design organizacional.

1. Suspensão rápida: evitar a supervalorização de uma medida por meio de uma reavaliação oportuna. 

Pesquisadores de machine learning observaram que continuar o treinamento de um modelo além de certo ponto pode prejudicar seu desempenho quando exposto a novos dados. A solução é interromper o processo antes que isso aconteça, o que exige monitorar o desempenho em um conjunto de validação separado e encerrar a otimização quando esse desempenho atinge seu pico, mesmo que o modelo ainda possa apresentar melhorias adicionais nos dados de treinamento.

Em um sistema típico de reconhecimento de imagens, engenheiros treinam o modelo com milhares de imagens rotuladas e, paralelamente, avaliam seu desempenho em um conjunto separado de validação. Ao acompanhar a taxa de erro em ambos os conjuntos de dados, é possível identificar o ponto ideal para interromper o treinamento: quando o erro na validação começa a aumentar (sinal de overfitting), ainda que o erro nos dados de treinamento siga diminuindo.

As organizações podem, a qualquer tempo, suspender o uso de KPIs em teste, reavaliando regularmente métricas em relação aos objetivos reais. A Amazon aplica esse princípio revisando e ajustando periodicamente suas métricas de desempenho. A empresa notoriamente mudou seu foco de margens de lucro para o fluxo de caixa por ação em 2004. Isso evita que as equipes se voltem demais para um indicador em particular e garante alinhamento com as necessidades de um negócio em constante mudança.

A experiência da Intel, no final dos anos 1990, também ilustra bem esse processo. A empresa costumava enfatizar a velocidade do clock do processador como seu principal indicador de desempenho e foco de marketing. Ao auditar essa métrica, no entanto, descobriu que o aumento contínuo da velocidade estava causando consumo excessivo de energia, superaquecimento dos chips e retornos decrescentes no desempenho real da computação. Essa percepção levou a Intel a adotar um conjunto mais equilibrado de métricas, que inclui eficiência energética e capacidades computacionais gerais – medições que se alinham melhor com o valor esperado pelo cliente.

A mudança da Microsoft para um processo mais dinâmico de definição de metas ilustra bem esses princípios. Quando Satya Nadella assumiu como CEO, em 2014, dedicou atenção significativa a mostrar que indicadores como receita e lucro são medidas imperfeitas diante da missão mais ampla da empresa. 

Essa mudança cultural – sair de uma lógica centrada em métricas para uma compreensão mais crítica de suas limitações – contribuiu para que os colaboradores passassem a equilibrar metas quantitativas com julgamento qualitativo. Em vez de seguir rigidamente objetivos anuais, independentemente das mudanças de contexto, a empresa passou a adotar revisões trimestrais, nas quais equipes podem ajustar metas e avaliações à luz de novas informações e das condições de mercado.

A nova abordagem permite interromper a busca por resultados em métricas que, ao longo do tempo, podem se tornar contraproducentes, favorecendo decisões mais adaptativas e alinhadas ao desempenho real do negócio.

Outra forma de evitar os efeitos negativos de métricas mal calibradas é substituir metas de maximização por metas mínimas. Diferentemente do caso dos “oito produtos por cliente” da Wells Fargo – que incentivaram práticas de venda agressivas –, metas mínimas estabelecem um patamar aceitável de desempenho, sem recompensas adicionais por superá-lo.

Por exemplo, um departamento de atendimento ao cliente pode definir como meta resolver ao menos 85% das solicitações em até 24 horas. Uma vez atingido esse nível, as equipes podem direcionar esforços para outras dimensões relevantes de desempenho, evitando a concentração excessiva em um único indicador.

2. Injeção de ruído: construir robustez por meio de aleatoriedade controlada.

Sistemas de IA se beneficiam da aleatoriedade deliberada. Quando os modelos dependem demais de padrões específicos, eles “decoram” peculiaridades em vez de aprender correlações genuínas. Como em nosso exemplo anterior, se todas as fotos de cachorro nos dados de treinamento tiverem fundos de grama, o modelo pode aprender “grama significa cachorro” em vez de identificar características reais do cão.

Para evitar esse tipo de confusão, algumas conexões no modelo são desligadas aleatoriamente durante o treinamento. Da mesma forma, alterar ligeiramente os dados de treinamento, como girar imagens ou adicionar ruído de fundo ao áudio, garante que a IA aprenda padrões significativos em vez de coincidências irrelevantes. Essa abordagem é conhecida como injeção de ruído (variabilidade controlada).

As organizações podem aplicar o princípio da “injeção de ruído” em diferentes contextos por meio de práticas como auditorias aleatórias, rotação de equipes, alternância de tomadores de decisão e variação nas condições operacionais. Por exemplo, uma equipe de vendas que responde sempre ao mesmo gestor pode acabar otimizando seus resultados para as preferências individuais dessa liderança – e não necessariamente para o valor gerado ao cliente. 

Ao introduzir variabilidade de forma intencional e controlada, as empresas reduzem o risco de que pessoas ou equipes passem a explorar padrões previsíveis, incentivando decisões mais alinhadas aos objetivos reais do negócio.

Instituições financeiras, como o JPMorgan Chase, utilizam auditorias aleatórias de conformidade que refletem o princípio de “injeção de ruído” aplicado na IA. Ao tornar o momento das avaliações imprevisível, essas práticas desestimulam comportamentos repetitivos e estratégias de “jogo” que tendem a surgir em ambientes com cronogramas previsíveis.

A eficácia dessa abordagem é bem documentada no programa de auditorias aleatórias do Internal Revenue Service. Estudos indicam que, para cada dólar investido nesse tipo de auditoria, podem ser gerados até US$ 6 em receita adicional, ao reduzir práticas oportunistas. Além disso, contribuintes auditados aleatoriamente tendem a manter níveis mais elevados de conformidade por pelo menos cinco anos após a auditoria, gerando benefícios de longo prazo que superam a receita imediata recuperada.

Usando técnicas que mantêm modelos de IA alinhados com objetivos reais, gestores podem aprimorar a forma como o desempenho organizacional é medido

A Food and Drug Administration (FDA) implementa esse princípio por meio de seu programa de inspeção não anunciada para empresas farmacêuticas. Diferente das auditorias programadas, em que as instalações podem fazer ajustes temporários para o dia da avaliação, inspeções surpresa impedem que as empresas escondam problemas de conformidade. 

Essas avaliações aleatórias revelam, de maneira consistente, problemas que tenderiam a passar despercebidos em inspeções previamente agendadas, incentivando as empresas a manter padrões contínuos de conformidade. A eficácia dessa abordagem tem sido tão significativa que a FDA ampliou, em 2025, seu programa de inspeções não anunciadas.

Organizações de atendimento ao cliente aplicam esse princípio ao utilizar clientes ocultos em momentos imprevisíveis, evitando que funcionários ofereçam um serviço excepcional apenas quando sabem que estão sendo avaliados. Da mesma forma, empresas de vendas podem realizar auditorias aleatórias das interações com clientes (e não apenas das transações concluídas), assegurando que seus representantes mantenham padrões éticos ao longo de todo o processo comercial.

A Transportation Security Administration adota uma lógica semelhante ao rotacionar agentes de triagem entre diferentes funções e pontos de controle – como inspeção de bagagens, detectores de metal e verificação de documentos – para evitar falhas de segurança que possam surgir em situações previsíveis. Por exemplo, se o mesmo funcionário sempre fizesse a triagem no mesmo ponto de controle, criminosos poderiam estudar seus padrões de triagem ou até cultivar relacionamentos com eles para facilitar suas ações. A rotação aleatória e sistemática garante que ninguém possa prever ou influenciar quem fará a triagem.

3. Alinhamento de capacidade: ajustar a complexidade das métricas às capacidades organizacionais. 

Pesquisadores de machine learning adaptam a complexidade do modelo aos seus dados e à sua capacidade de monitoramento. Isso significa que uma equipe com milhões de exemplos de treinamento e métodos fortes de validação pode implantar modelos complexos, com muitos parâmetros, com segurança. Por outro lado, equipes com dados limitados devem usar modelos mais simples para evitar overfitting.

As organizações também devem combinar a complexidade do indicador com sua capacidade de acompanhamento. Uma empresa com infraestrutura avançada de análise e cientistas de dados qualificados pode implementar métricas complexas e multidimensionais mantendo sua integridade. Organizações com capacidade limitada de acompanhamento devem se ater a métricas mais simples e robustas, ainda que com menos nuances. O risco aumenta quando a complexidade da métrica é maior do que a qualidade dos dados e a supervisão. 

A mesma falha ocorre no aprendizado de máquina: modelos excessivamente complexos treinados com dados limitados colapsam rapidamente, especialmente quando o mesmo pequeno conjunto de validação é usado repetidas vezes.

O “ebitda ajustado” da WeWork ilustra esse perigoso meio-termo. A empresa criou um indicador que excluía não apenas os ajustes padrão do ebitda, mas também despesas operacionais básicas, como marketing, custos administrativos e gastos de desenvolvimento. Essa métrica era complexa o suficiente para obscurecer a posição financeira da empresa para investidores que não tinham a expertise para analisá-la, mas não era uma medida sofisticada que capturasse o desempenho real dos negócios.

Quando a SEC, comissão de valores mobiliários americana, interveio, solicitando a remoção dessa métrica dos relatórios S-1 da WeWork, a empresa tentou mudar o nome para “margem de contribuição” para atender às exigências da agência reguladora. Na ocasião, porém, o indicador já havia ajudado a atrair bilhões em investimentos, apesar de ser irrelevante para a avaliação da saúde dos negócios. A falência final da WeWork provou que seu modelo de negócios era fundamentalmente falho.

Dinâmicas semelhantes se desenrolaram no setor financeiro. No início da década de 2010, vários grandes bancos implementaram métricas sofisticadas de avaliação de risco após a crise financeira, mas muitos careciam da infraestrutura analítica para validar adequadamente essas medidas. 

O caso do “London Whale” (baleia de Londres), no JPMorgan Chase, em 2012, ilustra bem esse problema. O banco havia implementado um modelo sofisticado de avaliação de risco (VaR, na sigla em inglês) que, na prática, mostrou-se profundamente falho (incluindo erros em planilhas que subestimavam o risco em cerca de 50%).

A complexidade do modelo abriu espaço para manipulação: traders conseguiam ajustar preços dentro de faixas tecnicamente aceitáveis, distorcendo os resultados sem levantar alertas imediatos. Ao mesmo tempo, os gestores de risco não dispunham de ferramentas analíticas adequadas para identificar nem os erros estruturais nem essas distorções deliberadas.

Essa combinação – um modelo complexo, porém defeituoso, incentivos para manipulação e mecanismos de controle insuficientes – resultou em perdas superiores a US$ 6 bilhões.

Startups tendem a se destacar no alinhamento de métricas ao focar em indicadores simples e adequados ao seu estágio de desenvolvimento, como custo de aquisição de clientes, receita recorrente mensal e taxas de retenção. Esses indicadores são fáceis de acompanhar e estão diretamente conectados a objetivos críticos, como product-market fit e geração de caixa.

À medida que as empresas crescem, as métricas se expandem para incluir outros itens, como custo de aquisição, retenção líquida de receita, análise de grupo e nível de serviço. Em grandes empresas, a mensuração de desempenho evolui para análises avançadas, incluindo escores preditivos de saúde do cliente, impacto incremental, desempenho e consistência de modelos em sistemas de IA e ROI (retorno sobre o investimento) ajustado ao risco em todos os portfólios. Esses indicadores costumam ser integrados em balanced scorecards, conectando dimensões financeiras, de clientes e operacionais, em uma visão mais abrangente do desempenho organizacional.

5. Regularização: crie equilíbrio por meio de incentivos para a simplicidade

A regularização aborda um problema central tanto na IA quanto nas organizações: a tendência de otimizar de maneira tão eficiente um indicador considerado representativo que isso acaba prejudicando o objetivo real que se busca alcançar.

No contexto de machine learning, a regularização atua para evitar que modelos se tornem excessivamente específicos, penalizando níveis elevados de complexidade. Em termos práticos, alguns métodos desestimulam regras muito detalhadas, incentivando o modelo a identificar padrões mais simples e gerais. Sem esse mecanismo, os modelos tendem a se ajustar demais aos dados de treinamento, comprometendo seu desempenho diante de novos dados.

Nas organizações, o princípio é semelhante. A introdução de restrições pode limitar comportamentos oportunistas que surgem quando métricas são exploradas de modo excessivamente específico. Ao tornar mais difícil (e menos vantajoso) “jogar” com o sistema, essas limitações incentivam formas mais diretas e consistentes de desempenho. Assim como a regularização força os modelos de IA a seguirem padrões mais simples, restrições organizacionais tornam o desempenho simples mais fácil do que estratégias elaboradas de jogo.

A abordagem da Amazon para a avaliação dos vendedores ilustra esse princípio. Seu algoritmo pode detectar padrões incomuns no feedback dos clientes, como picos repentinos de avaliações cinco estrelas de contas com histórico de compras mínimo ou agrupamentos de avaliações genéricas publicadas em períodos curtos. Esses padrões indicam que o vendedor tem solicitado avaliações positivas, o que é proibido e resulta em penalidades severas. 

As restrições organizacionais impedem os vendedores de manipular o sistema de avaliações e mantém o alinhamento entre o indicador (avaliações por estrelas) e o verdadeiro objetivo (qualidade do vendedor). Sem tais limitações, os vendedores encontrariam maneiras de inflar suas avaliações ao custo da qualidade real do serviço.

A Netflix reconheceu que usar apenas horas assistidas como referência poderia incentivar a produção de conteúdo que capte atenção sem oferecer valor que retenha os assinantes. Para evitar essa distorção, a empresa implementou uma abordagem multimétrica. “O sucesso na Netflix vem de todas as formas e tamanhos, e não é determinado apenas pelas horas assistidas”, afirmou em seu relatório sobre audiência (What We Watched: A Netflix Engagement Report) publicado em 2023. Na ocasião, mudou a métrica de horas para visualizações (horas visualizadas divididas pelo tempo de execução), chamando-a de “nossa melhor medida de satisfação dos membros e um fator-chave para a retenção.” 

Ao usar múltiplas métricas complementares que se equilibravam, a Netflix criou o equivalente organizacional da regularização: impedir que qualquer medida individual fosse manipulada em detrimento da verdadeira satisfação do espectador. Essa estratégia permitiu que a empresa investisse em conteúdo diversificado com horizontes temporais variados, em vez de focar em métricas imediatas de audiência, apoiando sua posição competitiva de longo prazo.

As organizações podem equilibrar crescimento e eficiência por meio da regularização, adicionando complexidade a processos altamente otimizados. Após descobrir que a maximização pura do lucro estava levando a questões ambientais, a Unilever incorporou requisitos de sustentabilidade como restrições à busca de lucros por meio de seu “Plano de Vida Sustentável”. Em vez de adicionar complexidade, esses requisitos funcionam como termos de regularização que impedem a otimização extrema do lucro ao exigir desempenho equilibrado em múltiplas dimensões.

Estruturas progressivas de remuneração também podem funcionar como mecanismos de regularização. A Whole Foods Market, antes de ser adquirida pela Amazon, adotou tetos salariais executivos vinculados ao salário médio dos colaboradores, criando uma restrição que desincentiva a concentração excessiva de recompensas na alta liderança.

Algumas organizações também implementam mecanismos de monitoramento adicional para equipes que superam metas de maneira consistente, acionando revisões automáticas para garantir que resultados excepcionais não estejam sendo alcançados às custas de outras dimensões relevantes de desempenho.

A Ben & Jerry’s oferece outro exemplo. Apesar de desafios recentes, a empresa historicamente vinculou iniciativas de crescimento a seus investimentos obrigatórios em engajamento comunitário, assegurando que a busca por resultados financeiros permaneça equilibrada com objetivos de impacto social.

Regularização não é sobre simplificar as coisas. Trata-se de estabelecer restrições que mantenham resultados alinhados a objetivos reais. Essas restrições funcionam melhor quando criam estruturas equilibradas de incentivos que desencorajam comportamentos fora do desejado, ao mesmo tempo em que recompensam a melhoria genuína.

Ao adaptar essas abordagens, as organizações podem preservar os benefícios da mensuração de desempenho sem incorrer nos riscos da fixação excessiva em métricas. Cada estratégia atua sobre um aspecto distinto do problema descrito pela lei de Goodhart, compondo uma estrutura mais robusta de gestão por indicadores – capaz de impulsionar resultados sem estimular comportamentos oportunistas.

Como melhorar a medição

A combinação de pesquisa em inteligência artificial e design organizacional oferece soluções práticas para a fixação de indicadores. Ao aplicar técnicas que mantêm os modelos de IA alinhados com os objetivos do mundo real, os gestores podem melhorar a forma como o desempenho organizacional é medido.

Essas abordagens devem funcionar em conjunto, e não isoladamente. Organizações que adotam inteligência métrica tratam a avaliação como uma prática contínua que exige refinamento constante, e não como uma solução de “configurar e aplicar para sempre”. Implementações bem-sucedidas envolvem aqueles que serão avaliados no design do sistema de medição, resultando tanto em métricas melhores quanto em maior adesão às novas práticas. Adotar essa estrutura significa superar obstáculos conhecidos tanto para gestores quanto para desenvolvedores de IA. 

Os líderes precisam ter paciência e resistir à pressão por resultados de curto prazo, assim como as equipes de IA devem adiar a implantação de modelos até estarem totalmente treinados e testados. 

A resistência cultural a novas métricas anda lado a lado com problemas de confiança com algoritmos caixa-preta, cujas decisões podem parecer opacas. E o sucesso depende da integração: métricas devem se conectar entre silos organizacionais, assim como novos algoritmos precisam ser integrados em softwares e operações existentes.

Além disso, embora essas abordagens inspiradas pela IA melhorem a medição, exigem supervisão humana cuidadosa. Como Jerry Muller argumenta em seu livro The Tyranny of Metrics, nem tudo o que importa pode ser quantificado e – dado que as organizações são compostas por indivíduos com motivações e comportamentos complexos – o julgamento por parte da gestão continua essencial. A abordagem ideal equilibra estrutura com flexibilidade, adicionando atrito suficiente para evitar tentativas de favorecimento sem sufocar a iniciativa e usando medidas suficientes sem se afogar em dados.

Isso se torna ainda mais relevante à medida que as métricas se multiplicam e ganham maior nível de detalhe. Sem abordagens mais sofisticadas de mensuração, as organizações correm o risco de repetir erros do passado, marcados por visões estreitas de desempenho.

À medida que agentes de IA passam a desempenhar papéis cada vez mais diretos nas organizações, a necessidade de métricas robustas se intensifica. Os insights do treinamento em IA não apenas ajudarão gestores a avaliar melhor o desempenho humano, mas também orientarão os profissionais de IA sobre como as metas são definidas e avaliadas.

Salvar conteúdo 0