A construção de sistemas de inteligência artificial responsáveis começa com o reconhecimento de que as soluções de tecnologia priorizam a eficiência sobre todo o resto
O interesse nas possibilidades oferecidas por algoritmos continua a crescer à medida que são divulgados os benefícios de sistemas de inteligência artificial (IA) que vêm automatizando decisões tão variadas quanto fazer recomendações para clientes, triar candidatos a empregos, detectar fraudes e otimizar rotas logísticas. Só que, quando a IA falha, o estrago pode ser feio.
O leitor acompanhou o escândalo “Robodebt”, na Austrália? Em 2015, o governo do país estabeleceu um programa de verificação de renda com o objetivo de recuperar os benefícios de desemprego e invalidez que foram concedidos erroneamente. A proposta era identificar pagamentos indevidos analisando as discrepâncias entre a renda anual relatada e a renda verificada pelo Australian Tax Office. O departamento já havia usado uma técnica de comparação de dados para identificar discrepâncias, que depois foram analisadas por funcionários do governo para verificar se as pessoas haviam de fato recebido benefícios aos quais não tinham direito. Para tornar esse processo mais rápido e com menor custo, um novo sistema automatizado presumia que toda discrepância refletia um pagamento maior. Uma carta de notificação exigindo a devolução foi emitida em todos os casos, e o ônus da prova recaiu sobre todos os que desejassem recorrer. Se alguém não respondesse à carta, seu caso era encaminhado para um cobrador de dívidas externo. Até 2019, o programa identificou cerca de 734 mil pagamentos indevidos, que correspondiam a US$ 1,3 bilhão. A ideia era que, ao eliminar o julgamento humano, o programa tomaria decisões mais justas e racionais a um custo muito menor.