“Para que o amanhã não seja só um ontem com um novo nome”

Imagine que você está caminhando na rua e, de repente, recebe uma abordagem policial. A justificativa? Um dispositivo de reconhecimento facial indicou o seu rosto como o de alguém procurado pela Justiça.

Você sabe que não cometeu nenhum crime. Mas o fato de uma inteligência artificial, considerada altamente confiável ter apontado o dedo para seu rosto, leva as autoridades a realizarem a abordagem.

E se, numa outra situação, você estivesse tentando utilizar um dispositivo que também conta com a tecnologia de reconhecimento facial, mas dessa vez ele não reconhece seu rosto simplesmente porque ele não detecta o rosto de pessoas como você, negras?

E se você tivesse um crédito negado por ter seu CEP atrelado a um território geográfico considerado perigoso? O que você faria? Como iria se sentir?

Com a recente e crescente discussão sobre as expectativas com o metaverso, volto meu olhar, quase que inevitavelmente, para estas perguntas: quem cabe nos futuros tecnológicos que estamos construindo? Quem está produzindo essas tecnologias? Quem se beneficia delas? Quem tem acesso a elas? Quais os padrões que estamos reproduzindo? Quais os padrões éticos que queremos?

Esses são meus questionamentos recorrentes que, inclusive, permeiam meu trabalho, como alguém que trabalha em uma empresa de tecnologia. O que fica cada vez mais nítido quando me deparo com casos de racismo algorítmico e outras formas de discriminação em plataformas digitais é que estamos caminhando para um futuro cada vez mais tecnológico, reproduzindo padrões de um passado não tão distante. Tecnologias do século 21 com padrões e mentalidade do século passado.

A mudança tecnológica trouxe benefícios imensuráveis para bilhões de pessoas por meio de melhorias na saúde, produtividade e conveniência. No entanto, como os eventos recentes mostraram, a menos que tenhamos uma postura mais crítica e responsável frente aos riscos, as novas tecnologias também podem trazer consequências destrutivas imprevistas, principalmente para os grupos sub-representados na indústria de tecnologia.

Eu sou uma entusiasta da tecnologia. Com 13 anos, tive a oportunidade de fazer um curso de manutenção de computadores – minha primeira atividade profissional remunerada. Era início dos anos 1990 e poucas pessoas tinham acesso a um computador no Brasil. Consertar esses dispositivos eletrônicos foi o caminho mais curto que encontrei para que eu pudesse estar mais próxima deles.

Naquela época, a família de uma menina negra e de origem periférica dificilmente poderia arcar com os custos de uma daquelas máquinas. Desde muito nova, eu vislumbro uma ideia de como as tecnologias digitais poderiam criar outras possibilidades de futuros e de como eu poderia fazer parte disso. Queria continuar imaginando um futuro em que a tecnologia nos ajudaria a resolver problemas que faziam parte da vida de pessoas que vieram de onde eu vim – das margens.

Posso dizer, então, que a tecnologia faz parte da minha vida – e justamente por isso acredito que devemos sempre suspeitar e questionar a ausência de diversidade no grupo de pessoas que está por trás do desenvolvimento e evolução das tecnologias atuais. Sem diversidade, ferramentas como a adotada recentemente pela Amazon em seu recrutamento, que automatizava a fase inicial do processo seletivo de funcionários, passarão despercebidas pela sociedade.

O que tem de errado a empresa querer automatizar uma etapa do processo seletivo? Talvez você tenha se questionado.

Lançada em 2018, a inteligência artificial da gigante do varejo tinha uma tendência a excluir mulheres do processo seletivo. Uma vez que o erro foi encontrado, a empresa rompeu o contrato com o fornecedor. Mas quantas mulheres não foram afetadas por uma decisão enviesada?

O problema é que a IA não nasce sexista. De maneira simplista, nós munimos a máquina de imagens e informações e delegamos a ela o processamento e a decisão.

Isso quer dizer que a escolha é norteada por padrões passados. Se temos, por exemplo, um sistema prisional composto majoritariamente por pessoas negras e periféricas, seria muito ingênuo acreditarmos que um dispositivo de reconhecimento facial incriminaria injustamente uma pessoa branca.

Ou seja, deveríamos estar preocupados em saber o que é ensinado à inteligência artificial e quem está a ensiná-la. Porque se assim não o fizermos, continuaremos observando velhos padrões em roupagem de novas tecnologias.

Isso, necessariamente, me faz retomar os questionamentos iniciais: o que pensamos quando imaginamos um futuro tecnológico? Quem vai caber nessa ideia de futuro? Quem vai ter acesso? E, principalmente, quem se beneficia com essas tecnologias no fim do dia? A Linha do Tempo do Racismo Algorítmico, do Tarcízio Silva, parece apontar para uma resposta: historicamente, o pequeno grupo de homens brancos que comandam a indústria da tecnologia não reflete a pluralidade da sociedade.

Dito isso, acredito que estamos em um momento crucial da história: um momento em que o futuro pode se parecer com utopias e distopias. Estamos construindo as tecnologias que podem ditar o rumo da história. Justamente por esse motivo, precisamos, mais do que nunca, garantir que elas sejam feitas para resolver problemas que importam para mais pessoas, e não apenas para fazer ampliação do que já não faz sentido para a sociedade.

É urgente debatermos o tipo de tecnologia que está sendo construída. Buscar pessoas que estão à frente do debate para entendermos mais é fundamental. O trabalho que a cientista de dados e ativista digital Joy Buolamwini faz com a Liga da Justiça Algorítmica é inspirador, bem como as contribuições de Cathy O’Neil, matemática e cientista de dados que defende que a era da “fé cega” no big data tem de acabar.

Ambas fazem parte de uma mobilização em massa de mulheres em função das questões de gênero e raça na tecnologia. No Brasil, Nina da Hora e Sil Bahia são referências importantes para quem quer acompanhar e refletir criticamente sobre para onde a tecnologia está indo e como ela nos impacta.

Criticar as tecnologias que estão sendo criadas é ocupar o lugar de construir outras possibilidades. Não é um futuro que deveríamos criar. Um futuro no metaverso, onde o assédio sexual é amplificado – como já ocorreu no Horizon World, principal aposta do Facebook para o Metaverso – não é um metaverso que deveria existir.

Como consumidores, já estamos mais exigentes. De acordo com estudo da Brands in Motion, da WE Communications, 97% das pessoas esperam que as marcas usem a tecnologia eticamente na hora de inovar e 70% dos consumidores afirmaram que quando as empresas aperfeiçoam seus códigos de ética eles se sentem mais propensos a comprar algo delas.

Conforme mencionei, sou uma grande apaixonada pela tecnologia, trabalho em uma empresa de tecnologia e sou cercada por ela. Aliás, aqui na empresa estamos dando passos importantes rumo a um futuro tecnológico mais plural, como o desenvolvimento de um manual de responsabilidade tecnológica – O Playbook de Tecnologia Responsável é uma coleção colaborativa de ferramentas, métodos e estruturas que ajuda na avaliação, modelação e mitigação de riscos com ênfase especial no impacto do trabalho de tecnologistas nas pessoas e na sociedade.

Esse tema faz parte dos meus debates e das minhas ações, dentro e fora do trabalho. Porque estamos falando de instrumentos poderosos que habilitam e abarcam futuros possíveis e abrangentes, e que precisam ser construídos coletivamente e com bases éticas.

Deixo, por fim, a letra de um dos maiores nomes da música brasileira, que fala justamente sobre possibilidades múltiplas que a tecnologia humana e ancestral da esperança em um futuro mais justo pode nos trazer.

Queremos saber / Queremos viver / Confiantes no futuro / Por isso se faz necessário / Prever qual o itinerário da ilusão / A ilusão do poder / Pois se foi permitido ao homem / Tantas coisas conhecer / É melhor que todos saibam / O que pode acontecer / Queremos saber / Queremos saber / Todos queremos saber

“Queremos saber” – Gilberto Gil

Também sugiro alguns livros e um documentário que ilustram nosso debate.

Livros:

– Algorithms of Oppression: How Search Engines Reinforce Racism

Autora: Safiya Umoja Noble

– Race After Technology: Abolitionist Tools for the New Jim Code

Autora: Ruha Benjamin

– Surrogate Humanity: Race, Robots, and the Politics of Technological Futures Autoras: Neda Atanasoski, Kalindi Vora

Documentário:

– Coded Bias (Netflix)

O título deste artigo é um trecho da música AmarElo do rapper e cantor Emicida“