E se os algoritmos fossem construídos em torno dos objetivos dos usuários, em vez das metas finais da empresa?
As maiores preocupações com a IA hoje não giram em torno de visões distópicas de robôs controlando a humanidade. O problema são as máquinas turbinarem o mau comportamento humano. Algoritmos de mídia social são um dos exemplos mais evidentes. O YouTube ao longo dos anos implementou mecanismos de recomendação voltados a manter as pessoas grudadas em suas telas. Conforme relatado pelo New York Times em 2019, muitos criadores de conteúdo de extrema direita aprenderam a ajustar seu conteúdo para torná-lo mais atraente para o algoritmo e assim levar usuários a assistir a vídeos cada vez mais radicais. O YouTube reagiu, esforçando-se para remover o discurso de ódio. Um estudo independente publicado em 2019 afirmou que o algoritmo do YouTube estava indo bem no trabalho de desencorajar os espectadores a assistir a “conteúdo radical ou extremista”. Ainda assim, em julho de 2021, uma nova pesquisa descobriu que o YouTube ainda estava ajudando a espalhar desinformação nociva. Twitter e Facebook enfrentam controvérsias semelhantes, pois a questão inicial permanece: o objetivo do negócio é manter os usuários na plataforma.
Algoritmos de recomendação são programados para gerar engajamento. Para isso, o machine learning se adapta e otimiza com base no comportamento do usuário. Se um conteúdo estimula um engajamento maior, o algoritmo recomenda esse mesmo conteúdo a outras pessoas, todas a serviço do objetivo final de engajar.