Quem vai cuidar dos agentes de IA?

Em 2022, o canadense Jake Moffatt precisava de uma passagem aérea de última hora: sua avó havia falecido e ele não tinha muitas opções para prestar suas últimas homenagens. Ao entrar no site da companhia aérea Air Canada, ele conversou com um chatbot, que ofereceu uma boa solução – Moffatt poderia comprar a passagem de US$ 1.200 pelo preço cheio e, em até 90 dias após o voo, pedir desconto por conta do luto. 

Só que havia um problema nessa história: essa não era uma prática real da organização. Por isso, ao pedir o tal reembolso, o passageiro ouviu um sonoro “não”. Ao recorrer à Justiça, porém, Moffatt ganhou uma indenização de US$ 800. Nesse caso, o juiz alegou que tudo o que estava no site da Air Canada era de responsabilidade da companhia – incluindo o chatbot, ao contrário do que dizia a empresa aérea. 

Esse é o paradigma: hoje, as organizações estão recorrendo cada vez mais ao uso de inteligência artificial. Muitas, inclusive, adotam novas tecnologias no melhor espírito do FOMO – o fear of missing out, ou medo de ficarem para trás. 

No entanto, dar esse passo sem compreender exatamente como funcionam os novos modelos computacionais pode gerar inúmeros problemas para as organizações, especialmente no que diz respeito à sua governança e à sustentabilidade financeira. 

As empresas estão recorrendo cada vez mais ao uso de inteligência artificial. No entanto, dar esse passo sem compreender exatamente como funcionam os novos modelos computacionais pode gerar inúmeros problemas

Mais do que isso: conforme os modelos computacionais avançam a olhos vistos, maior será a velocidade da transformação – e maior o risco de que muitas empresas façam uso descuidado de novas ferramentas, como é o caso dos agentes de IA, dos quais falaremos adiante. Antes de avançar, vale a pena dar um passo atrás. 

O primeiro passo é pensar no que consiste uma empresa. Uma organização tem base nos produtos que faz – pães para uma padaria, carros para uma montadora – e nos processos que governam a capacidade de gerar esses bens. 

Historicamente, os colaboradores de uma organização eram os responsáveis por operar esses processos. Com o avanço de tecnologias, começam a existir sistemas que buscam ajudar essas pessoas a melhorar os processos e aumentar a produtividade. 

A IA foi, durante anos, uma promessa de mudança no universo das automações. Mais do que apenas executar tarefas, as máquinas seriam capazes de aprender com suas atividades e se aperfeiçoar

De maneira rápida, podemos dizer que todas as tarefas automatizadas nas instituições seguiam um processo determinístico, bem calculado. Primeiro, é preciso desenhar uma tarefa desejada e implementá-la, para depois automatizá-la e, só aí, fazer com que essa automação ganhe escala, sendo repetida em toda a organização. Mas no meio do caminho podem acontecer bugs: falhas no código em que essa automação está escrita que a levem a não funcionar. 

Desenvolvida ao longo de várias décadas, a inteligência artificial foi, durante anos, uma promessa de mudança no universo das automações: mais do que apenas executar tarefas, as máquinas seriam capazes de aprender com suas atividades e se auto aperfeiçoar, além de responderem aos anseios dos humanos. 

Tinha um bug no meio do caminho

Se a tecnologia passou décadas com uma evolução lenta, de 2022 para cá ela mudou consideravelmente de patamar com a introdução dos LLMs – large language models, ou grandes modelos de linguagem, como o ChatGPT, o Gemini, o Meta AI e, agora, o DeepSeek.

Treinados com gigantescos bancos de dados, esses modelos são capazes de prever o resultado mais provável e seguir adiante, construindo textos, softwares ou até mesmo imagens e vídeos. Mais do que uma mudança de patamar, porém, eles trazem uma mudança na equação ao trazer uma dose de não-determinismo para seu funcionamento. 

Quem faz uma pergunta para um dos modelos pode acabar recebendo um resultado imprevisível, fora do esperado. Isso ocorre porque o sistema é baseado em previsões estatísticas: ele gera respostas ao identificar padrões e probabilidades em seus dados de treinamento, mas sem compreender o significado ou a veracidade do que está produzindo. 

Ao passo que a tecnologia evolui, o tipo de problema que pode acontecer com as empresas que implementam sistemas de IA sem cuidado pode crescer de maneira exponencial

Esse fenômeno é chamado de alucinação, caracterizado por respostas fabricadas ou incorretas que não correspondem à realidade ou aos dados disponíveis. E foi justamente isso o que aconteceu com o chatbot da Air Canada, que adotou rapidamente a tecnologia sem buscar conter seus problemas. 

Ao passo que a tecnologia evolui, o tipo de problema que pode acontecer com as empresas que implementam sistemas de IA sem cuidado pode crescer de maneira exponencial. Um exemplo é o que pode acontecer com a adoção massiva de agentes de IA: sistemas que não só respondem ao usuário com base em modelos treinados, mas que também são capazes de interagir com outros modelos para gerar respostas complexas. 

É como se em vez de ter acesso a só uma biblioteca específica, o sistema pudesse ter acesso a uma rede de bibliotecas – e tomar decisões em nome de pessoas físicas e jurídicas. Se as IAs generativas hoje são capazes de bolar um roteiro de viagem, indicando passagens e passeios, um agente terá a possibilidade de comprar as passagens e fazer todas as reservas com apenas uma ordem. 

Controlando os agentes de IA

Ao darmos aos agentes a capacidade de interagir com o mundo real, eles podem se tornar ainda mais produtivos, amplificando a capacidade de automação. É atraente. Imagine que cada organização poderá automatizar tarefas de atendimento, enquanto humanos terão um assistente pessoal e dedicarão mais tempo a atividades criativas ou pessoais. 

O problema é que inerentemente, tais agentes podem cometer enganos e alucinações.

Para serem adotadas em larga escala, as novas tecnologias precisam, primeiro, ser levadas para um nível de governança, expectativa e direcionamento com os quais a organização esteja de acordo. É preciso que sistemas e agentes sejam treinados de maneira cuidadosa, fazendo, principalmente, com que respeitem as políticas da empresa, que devem funcionar como guarda-corpos de suas capacidades. 

Além disso, introduzir mecanismos que façam com que o agente explique exatamente porque tomou tal decisão – como uma linguagem intermediária que mostre as “conversas” realizadas e as regras seguidas pelo agente para comprar uma passagem de avião, por exemplo, ou para determinar porque alguém não deveria receber crédito. É algo importante, inclusive, do ponto de vista de regulação, permitindo o escrutínio de governos e auditorias. 

Mais do que isso, porém, será preciso ter um sistema que auxilie as empresas a mediar as interações entre o que pode ou não ser feito por um agente. Se a integração entre softwares de gestão interna já é um desafio para muitas organizações, criar uma orquestração entre agentes de inteligência artificial que têm acesso a diferentes interfaces pode ser um desafio ainda maior. 

Nesse contexto, as plataformas iPaaS (Integration Platform as a Service) criam uma camada de abstração entre os agentes de IA e os sistemas internos das organizações, permitindo que as interações sejam governadas de forma clara e auditável. 

Leia também: “As alucinações dos LLMs podem ser gerenciadas, bem como a serendipidade”, de Gabriel Marostegam

Isso garante que os processos possam ser entendidos, ajustados e rastreados conforme as necessidades específicas da organização. Além disso, tentar desenvolver internamente todos os elementos que uma solução de iPaaS já entrega prontamente seria um esforço dispendioso em tempo e recursos, desviando o foco da organização de sua missão principal. Essas plataformas oferecem não apenas eficiência, mas também segurança e confiabilidade para empresas que buscam adotar a IA de maneira escalável e sustentável.. 

Pensar na adoção segura e sustentável de novas tecnologias é uma preocupação que deve estar no topo da mente dos líderes de negócios. Caso contrário, seja pelo caminho da inércia ou da adoção desleixada, pode ser tarde demais.