A explicabilidade na construção de uma inteligência artificial

O universo corporativo já entendeu que aquela inteligência artificial que substitui e domina o ser humano está reservada à literatura de ficção científica ou aos filmes de Hollywood.

Na vida real e, sobretudo, nas organizações, a IA potencializa capacidades, automatiza funções repetitivas (além de entediantes e exaustivas), ajuda o ser humano a ter uma visão mais ampla sobre o mercado, a sociedade, os hábitos de consumo e até toma decisões de negócios. Mas você não gostaria de entender como a IA chega nessas decisões? É aí que entra a explicabilidade.

Com o avanço de modelos mais complexos de IA, há lideranças que ainda se sentem desconfortáveis quando o tema vem à tona nas reuniões de boards ou mesmo quando se é necessário entender como algumas iniciativas de IA já implementadas em seus negócios chegaram aos resultados, principalmente quando há impacto (negativo) nas metas ou no valor reputacional.

Atento a esse movimento, o SAS buscou a MIT Sloan Management Review e apoiou a realização, entre junho e julho de 2019, de um estudo global sobre como a IA tem mudado as regras do jogo corporativo e o que as empresas têm feito pelo mundo – inclusive, como as organizações lidam com a questão da explicabilidade dentro e fora de seus muros.

A pesquisa contou com a participação de 2.280 líderes e gerentes de 110 países, leitores da MIT Sloan Management Review e representantes dos cinco continentes.

Construindo confiança em IA

Segundo os gestores, as principais preocupações relacionadas à adoção da IA em suas empresas são: resultados pouco acurados, resultados que não podem ser explicados, decisões ilegais ou enviesadas, e o uso não ético da tecnologia.

Os participantes foram convidados a classificar a confiabilidade que possuem em seus sistemas corporativos de IA em uma escala de 0 a 10, sendo 10 o parâmetro para confiança máxima. O resultado mostrou que a classificação para a IA usada nas organizações é de 6. 

A pesquisa indicou ainda que construir essa confiança está diretamente ligada ao entendimento – e comunicação – sobre a lógica de resultados e tomada de decisões do sistema de IA.

Conforme citado no início, esse tipo de situação tem acontecido cada vez mais, pois a evolução desses sistemas torna quase que uma missão impossível explicar de maneira clara (e humana) de que maneira uma decisão foi indicada ou alcançada pela máquina.

A busca pela explicabilidade

A explicabilidade, portanto, é a capacidade de identificar os fatores-chave que um modelo de IA utiliza na produção de seus resultados, sejam recomendações em um sistema de apoio à decisão ou ações em um processo automatizado. Ao mesmo tempo, a explicabilidade pode ser definida como o grau de compreensão humana sobre a tomada de decisão de um sistema de IA.

Entre os entrevistados, o levantamento mostrou que esclarecimentos sobre como funciona todo esse processo e como a IA identifica esses fatores já são realidade em empresas onde amplas iniciativas de IA estão em curso. Dessas, 55% disponibilizam explicações para o público interno e 42% disponibilizam comunicações para o público externo como clientes.

A explicabilidade é importante para que esteja claro a todos os stakeholders que os dados e as decisões indicadas pelo sistema de IA são livres de vieses ilegais. Quando uma IA é abastecida por dados que não representam a diversidade de uma população, por exemplo, a decisão fornecida à empresa será reflexo de inferências generalistas, no mínimo; no máximo, pode reproduzir discriminações e preconceitos.

Dessa forma, tanto interna quanto externamente, entender como o processo de decisão da IA acontece garante transparência, segurança e cumprimento às regras estabelecidas pelo compliance e pelas leis vigentes.

O tema tornou-se preocupação número um das organizações europeias após o início da vigência da GDPR (General Data Protection Regulation, em inglês, ou Regulamento Geral Sobre Proteção de Dados), que garante aos cidadãos da União Europeia o direito de saber como seus dados foram utilizados para a tomada de decisões por terceiros.

Setores reconhecidos por serem fortemente regulamentados, como o de serviços financeiros e o da saúde, estão bem à frente no entendimento e gerenciamento da explicabilidade. Para explicar o porquê disso, basta se imaginar solicitando acesso a crédito em uma financiadora. Caso você tenha seu empréstimo negado, você não gostaria de saber o porquê? Ou, ao menos, que essa decisão tenha sido tomada por razões justas? 

Desenvolvedores pelo mundo têm se dedicado a aumentar a transparência de modelos “caixa-preta” de IA, os modelos de deep learning. Entre algumas das abordagens, o Lime (local-interpretável-modelo-agnóstico) é uma análise sensitiva que revela quais partes dos inputs importam mais para a tomada de decisão de um sistema. Já as técnicas de atenção iluminam as posições do input em que o modelo considera mais quando toma uma decisão.”