RISCOS TECNOLÓGICOS 19 min de leitura

Algoritmos também erram – por isso precisam de auditoria

Mesmo sem ter essa intenção, modelos de IA podem causar danos graves, como discriminar pessoas ou dar conselhos errados. Conheça métodos simples de testá-los e não correr esse risco

Cathy O'Neil, Jake Appel e Sam Tyner-Monroe
Cathy O'Neil, Jake Appel e Sam Tyner-Monroe
27 de agosto de 2024
Algoritmos também erram – por isso precisam de auditoria
Link copiado para a área de transferência!

A inteligência artificial, os grandes modelos de linguagem (Large Language Models, ou LLMs) e outros algoritmos vêm assumindo tarefas burocráticas que antes eram realizadas só por humanos. Agora é a máquina que decide quem vai receber crédito, ficar com uma vaga de emprego ou entrar na faculdade – e que compila uma revisão de final de ano ou as anotações de admissão de pacientes em um dado hospital, por exemplo.

Mas como saber se esses sistemas estão funcionando como esperado? E se alguém pode estar sendo prejudicado involuntariamente?

Gerenciando os novos riscos
Este conteúdo faz parte da edição #26 do MIT SMR Brasil.Já tem acesso? Fazer loginAssinarComprar edição

Referências bibliográficas

1. C. O’Neil and H. Gunn, “Near-Term Artificial Intelligence and the Ethical Matrix”, ch. 8 em “Ethics of Artificial Intelligence”, ed. S.M. Laio (New York: Oxford University Press, 2020).

2. C. O’Neil, H. Sargeant, e J. Appel, “Explainable Fairness in Regulatory Algorithmic Auditing”, West Virginia Law Review.

3. N. Bhutta, A. Hizmo, and D. Ringo, “How Much Does Racial Bias Affect Mortgage Lending? Evidence from human and algorithmic credit decisions”, Finance and Economics Discussion Series 2022-067, Federal Reserve Board, Washington, D.C., 2022.

4. M. Leonhardt, “Black and Hispanic Americans Often Have Lower Credit Scores – Here’s why they’re hit harder”, CNBC, Jan. 28, 2021, www.cnbc.com.

5. B. Luthi, “How to Add Rent Payments to Your Credit Reports”, myFICO, Dez. 14, 2022, www.myfico.com.

6. “SB21-169 – Protecting Consumers From Unfair Discrimination in Insurance Practices”, Colorado Department of Regulatory Agencies, acessado em abril de 2024, 2024, https://doi.colorado.gov.

7. “3 CCR 702-10 Unfair Discrimination Draft Proposed New Regulation 10-2-xx”, Colorado Department of Regulatory Agencies Division of Insurance, acessado em abril de 2024, 2024, https://doi.colorado.gov/.

8. P. Liang, R. Bommasani, T. Lee, et al., “Holistic Evaluation of Language Models”, Transactions on Machine Learning Research, publicado online em agosto de 2023, https://openreview.net.

9. D. Hendrycks, C. Burns, S. Basart, et al., “Measuring Massive Multitask Language Understanding”, arXivLabs, publicado online em setembro de 2020, https://arxiv.org.

10. Liang et al., “Holistic Evaluation of Language Models”.

11. B. Edwards, “Anthropic’s Claude 3 Causes Stir by Seeming to Realize When It Was Being Tested”, Ars Technica, março, 2024, https://arstechnica.com.

12. A. Zou, Z. Wang, N. Carlini, et al., “Universal and Transferable Adversarial Attacks on Aligned Language Models”, arXivLabs, publicado online em julho de 2023, 

https://arxiv.org; and D. Ganguli, L. Lovitt, J. Kernion, et al., “Red Teaming Language Models to Reduce Harms: Methods, scaling behaviors, and lessons learned”, arXivLabs, publicado online em agosto de 2023, 

https://arxiv.org.

13. L. McCarthy, “A Wellness Chatbot Is Offline After Its ‘Harmful’ Focus on Weight Loss”, The New York Times, junho de 2023, www.nytimes.com.

14. K. Wells, “National Eating Disorders Association Phases Out Human Helpline, Pivots to Chatbot”, NPR, maio de 2023, www.npr.org.

15. Lecher, “NYC’s AI Chatbot Tells Businesses to Break the Law”, The Markup, março de 2024, https://themarkup.org.

16. G.A. Fowler, “TurboTax and H&R Block Now Use AI for Tax Advice. It’s Awful”, The Washington Post, março de 2024, www.washingtonpost.com.

Cathy O'Neil, Jake Appel e Sam Tyner-Monroe
Cathy O'Neil, Jake Appel e Sam Tyner-Monroe
Cathy O'Neil é CEO da O'Neil Risk Consulting e Algorithmic Auditing (ORCAA) e autora de “Weapons of Math Destruction: How big data increases inequality and threatens democracy”. Jake Appel é estrategista-chefe da ORCAA. Sam Tyner-Monroe é diretor-administrativo de IA responsável da DLA Piper.

Este conteúdo está tagueado como:

1 Trackback or Pingback

Deixe um comentário

Você atualizou a sua lista de conteúdos favoritos. Ver conteúdos
aqui