As alucinações dos LLMs podem ser gerenciadas, bem como a serendipidade

No universo em constante evolução da inteligência artificial (IA), dois fenômenos aparentemente contraditórios se entrelaçam de maneiras surpreendentes: a alucinação e a serendipidade. À primeira vista, a alucinação em IA – a tendência do grandes modelos de linguagem (LLMs) gerarem informações falsas ou infundadas – parece ser um obstáculo a ser superado. No entanto, uma análise mais aprofundada revela uma relação complexa e potencialmente frutífera com a serendipidade – o ato de fazer descobertas valiosas por acaso.

Imagine um modelo de IA propondo uma estrutura molecular “impossível” que, após investigação por químicos, leva a uma nova classe de compostos. Ou considere um sistema de design gráfico que, através de uma “alucinação”, cria uma forma estética nunca antes imaginada, inspirando uma revolução no design industrial. Estes são exemplos de como o “erro” pode se transformar em inovação.

A alucinação em IA, muitas vezes vista como um defeito, pode ocasionalmente ser a semente da inovação. Quando um modelo de linguagem ou de geração de imagens produz algo que parece absurdo ou impossível, essa aparente falha talvez tenha vindo abrir portas para novas perspectivas e ideias. É nesse espaço entre o erro e a inspiração que a serendipidade encontra terreno fértil.

Por que as alucinações acontecem

As alucinações em LLMs ocorrem principalmente devido à forma como esses sistemas funcionam. Em vez de entender o mundo ao nosso redor, os LLMs são treinados para reconhecer padrões em vastas quantidades de dados. Isso é o que lhes permite gerar respostas que soam convincentes, mas nem sempre estas são precisas ou corretas.

A ausência de uma compreensão real é um dos principais fatores que contribuem para essas alucinações, já que os modelos muitas vezes combinam informações de forma errada ou inventam dados que parecem plausíveis, mas não têm base sólida.

A qualidade dos dados com os quais esses sistemas são treinados também desempenha um papel crucial. Se os dados estiverem incorretos, desatualizados ou enviesados, o modelo tende a reproduzir esses erros.

Outro desafio é a ambiguidade da linguagem natural – a mesma frase pode ser interpretada de diferentes maneiras, levando a respostas equivocadas.

Resumindo: as alucinações surgem porque os LLMs operam como mestres de padrões estatísticos, mas não conseguem distinguir fatos reais de ficções convincentes.

Casos reais demonstram como esses erros podem ter consequências práticas:

• Um advogado nos EUA usou o ChatGPT para realizar pesquisas jurídicas e acabou citando casos inexistentes em um processo judicial. O erro foi tão grave que o juiz considerou aplicar sanções legais como mostra o artigo da Forbes “Lawyer used ChatGPT in court – and cited fake cases. A judge is considering sanctions”.
• Outro exemplo ocorreu com o Google Bard, que, durante uma apresentação, afirmou incorretamente que o telescópio espacial James Webb havia capturado as primeiras imagens de exoplanetas, o que não era verdade, segundo a CNN News, em“Google shares lose $100 billion after company’s AI chatbot makes an error during demo”.
• Até mesmo o Bing Chat, da Microsoft, cometeu deslizes, fazendo afirmações falsas sobre o ano, alegando que estávamos em 2022, quando, na verdade, já era 2023, contou o The Verge em “Microsoft’s Bing is an emotionally manipulative liar, and people love it”, Fev 2023).

As alucinações podem aparecer de várias formas[1] [2] , cada uma com diferentes impactos e consequências. Vejamos:

• Uma das mais comuns é a alucinação intrínseca, onde o modelo gera informações incorretas com base no seu próprio conhecimento interno, sem buscar fontes externas para validação. Imagine, por exemplo, o modelo afirmando que “a Torre Eiffel foi construída em 1950”, quando todos sabemos que isso ocorreu em 1889.
• Outro tipo, a alucinação extrínseca, acontece quando o modelo distorce ou mal interpreta as informações que foram fornecidas no contexto. Um exemplo típico seria o prompt falar sobre “gatos”, e o modelo responder sobre “cães”, confundindo conceitos relacionados.
• Existe também a alucinação factual, onde o modelo apresenta dados concretamente errados, como afirmar que um guia de viagem recomendar a turistas que visitem o Ottawa Food Bank, posto de distribuição de alimentos aos necessitados, como uma atração gastronômica.
• A alucinação lógica, por sua vez, gera conclusões absurdas, como dizer que “todos os pássaros são mamíferos porque voam”, ignorando a lógica básica.
• Há alucinação que é desconexa, como a alucinação contextual, em que o modelo perde o fio da conversa e começa a falar sobre algo completamente fora do tópico — como passar de uma discussão sobre física quântica para culinária.
• Uma alucinação criativa demais é a alucinação de entidade, na qual o modelo inventa pessoas ou instituições inexistentes, citando uma fictícia “Universidade de Atlantis” como se fosse uma referência acadêmica legítima.
• Não podemos esquecer a alucinação relacionada com o tempo, ou alucinação temporal, que confundem datas históricas, como afirmar que “a internet foi inventada no século 18”.
• Por fim, temos a alucinação de atribuição, que ocorre quando o modelo credita erroneamente uma citação ou descoberta a alguém, como dizer que “Einstein descobriu a penicilina”, quando, na verdade, foi Alexander Fleming.

Nem todo erro é alucinação

Isso mesmo que você leu. Muita gente chama de alucinação qualquer deslize cometido por um modelo de linguagem. Mas nem todo erro significa que a tecnologia alucinou. Veja alguns erros que têm sido erroneamente confundidos com alucinações:

• Quando o modelo oferece uma resposta coerente, mas interpreta mal uma pergunta ambígua, o problema é de interpretação, não de invenção.
• Opiniões ou previsões baseadas nos dados de treinamento também não se enquadram como alucinações, ainda que possam ser questionáveis.
• Da mesma forma, quando um modelo apresenta informações desatualizadas, não se trata de uma alucinação, e sim de um reflexo de que os dados usados no treinamento já se tornaram obsoletos.
• Respostas incompletas tampouco são alucinações, desde que o conteúdo apresentado esteja correto.
• Exemplos hipotéticos, se claramente identificados como tal, servem para ilustrar um ponto e não devem ser confundidos com invenções errôneas.

Além disso, há casos onde algo que inicialmente parece uma alucinação revela-se uma previsão ou conclusão válida após análise mais profunda. Reuni três exemplos, de muitos:

• O AlphaFold, uma IA desenvolvida para prever estruturas de proteínas, gerou resultados que pareciam improváveis, mas que foram confirmados experimentalmente conforme o artigo da Nature “AlphaFold’s new rival? Meta AI predicts shape of 600 million proteins“ .
• Outro exemplo foi a descoberta de um novo antibiótico por um modelo de IA, que previu propriedades inicialmente vistas como improváveis, mas que foram verificadas e confirmadas em laboratório, de acordo com o MIT News, no texto “Artificial intelligence yields new antibiotic”) .
• O GPT-3 foi acusado de alucinar ao resolver problemas matemáticos complexos, mas depois se descobriu que ele estava utilizando métodos válidos, ainda que não convencionais, como você pode conferir em “Large language models are zero-shot reasoners”, no portal Arxiv.

Esses casos destacam a complexidade de identificar alucinações em IA. Enquanto alguns erros são claramente alucinações, outros, que à primeira vista parecem improváveis ou incorretos, podem ser fruto de um processamento criativo e inovador, ou de abordagens não convencionais da IA.

Como lidar com as alucinações da IA

As alucinações em IA podem ser um problema significativo, mas existem maneiras eficazes de minimizar seu impacto.

• Os dados. Uma abordagem essencial é melhorar a qualidade dos dados usados para treinar os modelos. Quanto mais precisas, atualizadas e diversificadas forem as informações fornecidas, menor a probabilidade de que o sistema gere respostas incorretas ou distorcidas.
• A transparência. Além disso, a transparência é crucial. Os usuários devem estar cientes das limitações dos modelos de IA e abordar as respostas com cautela, especialmente em contextos que exigem precisão, como o setor jurídico ou médico.

É importante que os usuários entendam que essas ferramentas são poderosas, mas não infalíveis, e que a avaliação crítica de suas respostas é fundamental.

Técnicas de detecção e correção

Ferramentas de detecção automática de alucinações estão se tornando cada vez mais sofisticadas. Esses sistemas podem identificar incoerências nas respostas, bem como verificar se as informações fornecidas estão de acordo com fatos conhecidos. Algumas bases de funcionamento dessas ferramentas são:

• Uma técnica eficaz é a verificação cruzada de dados com fontes externas confiáveis, permitindo corrigir informações incorretas antes que elas sejam utilizadas.
• Para mitigar especificamente alucinações factuais, mecanismos de verificação de fatos podem ser integrados ao sistema, ajudando a evitar a disseminação de erros concretos.
• Um aspecto fundamental na redução das alucinações é o alinhamento dos modelos com valores e a moral humana. Para garantir que as respostas geradas sejam éticas e socialmente aceitáveis, os modelos devem ser ajustados para evitar a produção de conteúdo ofensivo ou prejudicial. Esse alinhamento não apenas reduz o risco de alucinações perigosas, mas também garante que o sistema opere de acordo com padrões éticos adequados ao público.

Além do que se pode fazer no front da programação, é preciso levar em conta habilidades do usuário dos modelos, como o pensamento crítico, o pensamento analítico e a curiosidade – tais habilidades desempenham papel vital nesse processo.

Quando os usuários aplicam uma mentalidade crítica ao interagir com modelos de IA, e uma analíticas, eles são mais capazes de detectar inconsistências e avaliar a veracidade das respostas.

A curiosidade impulsiona a busca por informações adicionais e a verificação de fontes, protegendo contra erros que podem passar despercebidos.

Portanto, cultivar esses comportamentos, em si e nas outras pessoas, é essencial para mitigar o impacto das alucinações e usar a IA de maneira mais eficaz.

Práticas simples para identificar alucinações

Os usuários também podem adotar algumas práticas simples para desconfiar de erros e identificar possíveis alucinações, a saber:

• Verificar a coerência interna da resposta.
• Comparar a resposta com informações amplamente conhecidas.
• Avaliar a relevância da resposta dentro do contexto.
• Tratar com cautela respostas que oferecem detalhes muito específicos e difíceis de verificar.
• Tratar com cautela quaisquer informações que pareçam desconexas ou absurdas (basta parecerem).
• Desconfiar de modelos que sempre expressam alta confiança nas respostas oferecidas. O melhor são os sistemas de IA programados para indicar incerteza em determinadas situações (e quando isso não ocorre, há mais motivos para questionar a validade da resposta).

Em suma, as alucinações em IA ainda representam um desafio, sim, mas o provedor de IA pode mitigá-las com o uso de dados de alta qualidade, transparência e alinhamento ético robusto, além de técnicas avançadas de detecção.

Do lado do usuário, a adoção de uma postura crítica, analítica e curiosa pode garantir que o uso dessas ferramentas seja não apenas mais seguro, mas também mais eficaz, aproveitando seu enorme potencial enquanto minimiza os riscos associados.

À medida que a pesquisa avança, espera-se que as técnicas de geração de texto se tornem mais refinadas e precisas, reduzindo a incidência de alucinações. E o feedback humano (com base na verificação das informações) também desempenha um papel essencial na garantia da confiabilidade desses sistemas.

É crucial que tanto desenvolvedores quanto usuários estejam cientes das limitações dos modelos e colaborem para mitigar seus efeitos, dando atenção constante às alucinações e considerando-as tanto obstáculos como oportunidades de inovação. No fim das contas, as alucinações em IA não devem ser vistas apenas como falhas, mas como parte do processo evolutivo para alcançar sistemas mais inteligentes e confiáveis.

A alucinação produtiva: rumo à serendipidade artificial

Por fim, quando falamos sobre alucinações em IA, a tendência inicial é vê-las somente como falhas a serem corrigidas, não é? Como simples erros que desviam os modelos do que seria considerado “correto”, concorda?

No entanto, será que deveríamos realmente considerar toda alucinação como algo negativo e descartá-la automaticamente? Ou será que essas distorções representam novas formas de explorar possibilidades, ainda não percebidas por quem as interpreta, e podem ser produtivas?

Quando uma IA gera uma alucinação, ela está explorando relações estatísticas não convencionais entre os dados com os quais foi treinada. Então, ela pode estar propondo uma ideia ou conexão que, embora à primeira vista pareça sem sentido, pode abrir portas para descobertas criativas e inovadoras. A IA, nesse processo, pode funcionar como um catalisador de pensamento lateral, onde explora o desconhecido, desenhando mapas à medida que avança em territórios inexplorados.[3] 

Naturalmente essa exploração não é livre de riscos. A linha entre uma alucinação produtiva e uma informação enganosa é muito tênue. É por isso que cabe a nós, seres humanos, o papel de discernir o que pode ser valioso e o que deve ser descartado. Esse discernimento requer mais do que conhecimento técnico; ele exige criatividade, curiosidade e pensamento crítico. Somente com esses atributos é que seremos capazes de transformar um erro em uma oportunidade e, talvez, encontrar uma joia serendipidosa em meio ao caos.

E não é só isso. A interação entre alucinação e serendipidade na IA também levanta questões éticas. Usar informações incorretas como base para inovação é um campo minado de responsabilidades, e qualquer avanço deve ser feito com transparência e consideração dos impactos sociais. As consequências de uma inovação mal fundamentada podem ser profundas, e é nossa responsabilidade garantir que o avanço tecnológico esteja alinhado com valores humanos.

EM SUMA, SUGIRO LIDAR com as alucinações em IA levando em conta tudo o que foi descrito, o que é negativo e o que pode ser positivo.

Salvar conteúdo 5