Os especialistas, o pensamento crítico e você

Analisar evidências empíricas exige tantos pressupostos que às vezes o processo é descrito como um caminho com bifurcações. Em cada bifurcação, os analistas precisam fazer uma suposição que pode alterar o resultado final. 

Um tipo de pressuposto comum, e problemático, envolve a atribuição de valores a variáveis que não podem ser medidas diretamente. É esse o caso de pesquisadores que estudam o mal de Alzheimer, porque a lenta progressão da enfermidade dificulta a mensuração. Os analistas têm de investigar a história dos pacientes em busca de possíveis causas e muitas conjecturas são feitas sobre as informações faltantes. Por exemplo, pessoas que jogam bridge têm menos chance de desenvolver Alzheimer? Se jogadores e não jogadores são iguais, talvez o bridge possa mesmo prevenir Alzheimer, mas, se os dois grupos diferem, fatores ocultos podem explicar isso.

É claro que a necessidade de supor também enevoa o trabalho de quem estuda a área de gestão. Os pesquisadores gostam da ilusão de estarem 

certos. Tanto que Richard Feynman, ganhador do Prêmio Nobel de Física, articulou o seguinte aforismo para todos os cientistas empíricos: “O primeiro princípio é que você não deve se enganar, e você é pessoa mais fácil de ser enganada.”

Descubra que suposições os especialistas usaram para transformar dados brutos em um conjunto de conclusões.

BUSCAR EXPLICAÇÕES ALTERNATIVAS

Para ligar efeitos a suas causas verdadeiras, os pesquisadores devem, rigorosamente, tentar eliminar hipóteses rivais. A maioria dos cientistas não faz isso, sendo pouco criativa e tendendo a cair de amores por uma explanação específica. 

Exemplo: um grupo de pesquisadores que estuda estereótipos de gênero relatou que furacões matam mais pessoas quando recebem nomes femininos em vez de masculinos, porque nomes femininos fazem com que pareçam menos perigosos. A ideia despertou estereótipos de gênero tão profundos que muitas pessoas aceitaram a explicação. A seguir, outros pesquisadores mostraram que os dados registrados não confirmavam o que havia sido relatado.

Sei, por experiência própria, que é trabalhoso considerar explicações alternativas e é fácil tornar-se complacente. No decorrer de um projeto no qual eu estimava os determinantes que provocam interesse por certos tipos de entretenimento, apeguei-me aos meus fatores preditivos favoritos e parei de buscar outras causas. Daí que  o modelo falhou em prever a demanda futura.

Para evitar essa armadilha, nunca suponha que o analista considerou exaustivamente explicações rivais. Faça uma lista das suas próprias conjecturas, pergunte-se se elas terão sido consideradas e eliminadas. Você pode contestar inclusive trabalhos publicados. Autores de pesquisas costumam escrever alguns parágrafos contendo explicações alternativas; se não o fizeram, ou se a lista parecer incompleta, conteste.

Identifique razões alternativas para uma conclusão e pergunte por que não são melhores.

ENTENDER OS LIMITES

Tentar provar que algo é “a verdade” apresenta dificuldades, como deixou claro o filósofo David Hume. Por isso, os pesquisadores geralmente usam a lógica do judô. Em vez de buscar uma evidência direta que confirme causa–efeito, eles “derrubam” a análise e calculam a probabilidade de a evidência ser apenas um erro.

Considere a noção de “significância estatística”, que muita gente pensa medir a confiança em uma causa sugerida para um efeito observado. Na verdade, ela mede o oposto – a probabilidade de que o acaso seja responsável pelo que foi observado. Assim, uma estimativa estatisticamente significativa não é necessariamente verdadeira, e uma “não significativa” não é obrigatoriamente falsa. Significância é apenas um jeito de sinalizar “Ei, talvez exista um padrão verdadeiro aqui”.

Significância também é confundida com importância. Tendo-se um grande número de amostras, qualquer diferença pode se tornar estatisticamente significativa, mas isso não quer dizer que a diferença seja importante. Um exemplo: pelo histórico de cada milha viajada, viagens aéreas nos Estados Unidos são estatística e significativamente mais seguras que viagens de trem. Devemos então ter medo de viajar de trem? Não. A diferença não é importante, porque os dois modos de viajar apresentam uma taxa de mortalidade bastante baixa (0,07 mortes por bilhões de milhas aéreas e 0,43 de mortes por bilhões de milhas ferroviárias). Viajar de moto nos EUA, por sua vez, é significativa e substancialmente mais mortal (213 mortes por um bilhão de milhas).

Sempre se pergunte: “Essa descoberta implica em diferença material na vida real?”.

EXIGIR UMA ANÁLISE DE ROBUSTEZ

Até um estudo bem elaborado fornece apenas uma estimativa das muitas que são possíveis. Quando estimativas são inconsistentes dentro de um leque de pressupostos, os resultados de um estudo são considerados menos que robustos, para usar um termo técnico de pesquisas estatísticas.

Um exemplo clássico envolve a análise da noção de que a posse de armas diminui o crime. Um estudo sugeria que taxas de criminalidade caíam em áreas onde a lei permitia o porte não ostensivo de armas.Mas estudos posteriores, usando os mesmos dados com um pressuposto um pouco diferente, chegou a diferentes conclusões.Cada lado acusou o outro de ser um fantoche político. O conselho dos pesquisadores dos EUA tentou organizar o debate, mas nem seus membros conseguiram entrar em acordo. Por fim, uma equipe de pesquisadores mostrou que pressupostos ligeiramente diferentes resultavam em conclusões bastante distintas. A posse de armas causava menos, mais ou a mesma quantidade de crimes, dependendo dos fatores observados. Os pesquisadores até utilizaram um método sofisticado, a análise bayesiana, para avaliar se existia uma resposta melhor, mas concluíram que não se pode afirmar qual é o efeito do porte não ostensivo de armas na taxa de criminalidade. Em resumo, a conclusão não era robusta.

Já o trabalho sobre clusters do economista Steven Klepper, em contrapartida, tem resistido a repetidos testes de robustez. Klepper e seus colegas mostraram que, conforme empresas são criadas como spin-offs de suas empresas-mães, elas caem como frutos de uma árvore e tornam-se organizações fortes por mérito próprio.

Confirme se as descobertas resistem a uma série de pressupostos.

EVITAR O EXCESSO DE APLICAÇÃO

Mesmo que as conclusões de uma pesquisa sejam robustas em uma amostra particular (como em uma população específica), elas talvez não sejam aplicáveis a outros cenários ou grupos. Por exemplo, ferramentas educacionais que funcionam em uma sociedade talvez não funcionem em outra. Se você realizar um estudo de marketing com, digamos, calouros universitários norte-americanos, terá uma boa ideia do impacto de um produto sobre esse grupo, mas não sobre um grupo demográfico mais abrangente. Só tire conclusões sobre outros grupos quando estudá-los.

A amostra é importante.

ENCARAR TUDO COM CETICISMO

Todos queremos entender nosso mundo, por isso tendemos a ver padrões onde não existem – canais em Marte, rostos na Lua ou em montanhas. Os especialistas em análise empírica de hoje dizem que nós, seres humanos, tendemos a acreditar que sabemos coisas e gostamos de ser vistos como experts, e isso com frequência nos leva a fazer afirmações mais enérgicas do que deveríamos.

Costumo ouvir especialistas dizerem que “sabem” de algo com base em evidências – na verdade, não sabem nem teriam como saber. Eles podem ter boas razões só para suspeitar de algo.

Evite a linguagem da certeza.

Quando Richard Feynman disse que “A ciência é a crença na ignorância dos experts”, ele não estava falando mal dos cientistas. Apenas lembrava que todos podemos ajudar o progresso do conhecimento. Ao usar dados para aprender algo sobre o mundo e tomar as melhores decisões possíveis nos negócios e na gestão, nós nos engajamos todos na pesquisa científica. Ao consumir ensinamentos alheios, podemos ser críticos úteis. Em qualquer posição que estivermos, devemos sempre questionar deduções, pensar criticamente sobre evidências e argumentos, admitir nossa própria falibilidade. Esse é o meu conselho. Mas você pode – e deve – questioná-lo.