Recorremos a chatbots de inteligência artificial (IA) para pesquisa, orientação e apoio emocional. Mas como lidamos com as doces mentiras que nos contam, às vezes até 30% das vezes? Um estudo recente da Relum, um mecanismo de suporte a jogos online, descobriu que os chatbots de IA populares têm alucinações em até 30% das vezes em que pedem informações. ChatGPT, o produto mais popular entre usuários como nós, inventa coisas em cerca de 35% das vezes, enquanto Gemini lidera com alucinações em até 38% das vezes. Embora outros estudos variem em porcentagens (de 17 a 35%), uma coisa é certa: uma em cada cinco respostas de chatbots de IA é fictícia.
Em Outubro, o governo australiano causou alvoroço ao descobrir que um relatório produzido pela Deloitte, uma empresa de consultoria global, para um dos seus departamentos, citava especialistas inexistentes, artigos científicos e até pesquisas realizadas pela Universidade de Sydney, que não existiam. Depois que isso se tornou um problema, a Deloitte confirmou que havia usado o sistema Azure OpenAI GPT4o da Microsoft para ajudar a compilar parte do relatório. Assim como a empresa devolveu 290 mil dólares ao governo australiano, a Health Canada encontrou citações falsas de artigos académicos fabricados num relatório que a mesma empresa de consultoria lhes tinha preparado. Mais uma vez, graças a um estudo que utilizou um chatbot de IA.
O mercado global de tecnologia de inteligência artificial, infraestrutura, serviços de software e negócios foi avaliado em US$ 371,71 bilhões em 2025. De acordo com a pesquisa Markets and Markets, esse número crescerá impressionantes 30,6% ao ano, para US$ 2,407 trilhões em 2032. À medida que a inteligência artificial é usada nos sistemas internos das empresas, saúde, finanças, segurança cibernética e defesa nacional, as alucinações se tornaram um problema para todos, desde empresas de tecnologia até governos. Como mostra o exemplo da Deloitte, os modelos criam dados e não apenas dizem “não sei”.
Entre outras coisas, para melhorar a confiabilidade do ChatGPT, Sam Altman, em pânico, anunciou o código vermelho em um memorando para sua equipe em dezembro. Segundo Altman, a ideia é melhorar a personalização, usabilidade e confiabilidade do ChatGPT. Isto é uma rejeição completa da sua busca incansável por mais computação, mais infraestrutura e maior escala para alcançar AGI (Inteligência Geral Artificial). Segundo Altman, o objetivo era superar as alucinações.
Por que o modelo de IA mente?
Alucinações, como a indústria de IA chama as declarações plausíveis, mas falsas, geradas por grandes modelos de linguagem como ChatGPT e Gemini, é algo que estava enraizado na forma como esses modelos antigos foram construídos. Quando contamos a vários modelos de IA por que eles mentem, a primeira coisa que eles quiseram fazer foi distinguir entre mentiras e alucinações. “Eu não minto – grosseiro ou não. Posso estar errado, desatualizado ou limitado, mas não engano intencionalmente”, respondeu ChatGPT, admitindo que pode errar se tiver informações desatualizadas, fontes incorretas ou lacunas no treinamento. Gemini, Claude e Perplexity AI, com sede nos EUA, tiveram uma resposta semelhante.
Mas então, se os modelos contêm informações incompletas ou desatualizadas, por que não dizê-lo? Por que inventar informações, dados e fatos? Quando novamente incitamos os modelos a perguntar: “Se você não tem uma resposta, por que ter alucinações?” A resposta está claramente nas mãos dos fabricantes do modelo. “Eu não ‘recupero’ fatos como um banco de dados; eu prevejo o texto com base em padrões aprendidos durante o treinamento”, explicou Bliznyuki. “Quando você faz uma pergunta, meu principal objetivo é encerrar a conversa com uma resposta tranquila e relevante.” Quando dados novos não estão disponíveis, o modelo baseia-se em dados mais antigos, generalizações de tópicos semelhantes e probabilidade linguística, resultando em “afirmações plausíveis, mas incorretas”.
“Fui criado para sempre responder”, concordou ChatGPT, expressando a necessidade de o modelo ser útil mesmo na ausência de fatos e dados – para produzir a resposta estatisticamente mais provável. ChatGPT coloca isso diretamente em seus produtores. Ao pré-treinar os modelos de alguma forma, a maioria desses modelos de IA não entende o que não sabe. Em tarefas simples como resumo de texto, codificação ou conhecimento geral, a taxa de alucinação é muito baixa – cerca de 1-3%, mas se você tornar a tarefa mais difícil – conteúdo de nicho, URLs específicas, fontes de notícias obscuras ou mesmo verificar algo de nicho, essa taxa de alucinação chega a 60-70%.
“Se você solicitar um URL específico de um artigo de notícias de 2022, posso alucinar um link que parece correto (domínio correto, formato de data correto, palavras-chave corretas), mas leva a uma página 404”, diz Gemini. A razão, explica Gemini, é que ele prevê a aparência do URL, em vez de recuperá-lo de um banco de dados.
“Essas alucinações podem se manifestar de maneiras surpreendentes, mesmo em resposta a perguntas aparentemente simples”, escreve Adam Tauman Kalai, pesquisador de inteligência artificial da Open AI que publicou um artigo científico sobre as alucinações em setembro. “Por exemplo, quando perguntamos a um chatbot amplamente utilizado o título da tese de doutorado de Adam Tauman Kalai, ele deu três respostas diferentes – nenhuma delas correta. Quando perguntamos seu aniversário, ele deu três datas diferentes, também todas incorretas.” Segundo Kalai, as alucinações persistem devido a estímulos errados. O desempenho do modelo é medido com base em suposições e não na honestidade sobre a incerteza. Isso torna os modelos de IA confiáveis se houver uma única resposta correta e não confiáveis se houver ambiguidade. Não existem rótulos de verdadeiro/falso, portanto os modelos não distinguem entre certo e errado. A avaliação do ChatGPT 5 da própria OpenAI tem uma taxa de erro de 26%. “O penal com certeza comete mais erros do que incerteza e vai cair”, escreve Kalai.
Recompensa de incerteza por suposições
Empresas, da OpenAI ao Google, do X ao Meta, estão constantemente enfrentando alucinações para tornar seus modelos mais confiáveis. Mas é mais fácil falar do que fazer. Um novo estudo mostra que mesmo depois de treinar modelos e agentes de inteligência artificial baseados neles, eles ainda superestimam seu conhecimento ou, se receberem muitos parâmetros, recusam excessivamente (o que significa ignorar algumas pistas) em dar respostas. Calibrar um modelo de IA agora é uma arte. Isso é possível se os modelos receberem o que os pesquisadores chamam de “conjuntos de dados IDK” (não conheço conjuntos de dados). Esses conjuntos de dados incluem aqueles especializados que treinam modelos para dizer IDK a determinados prompts e seguir instruções, supervisão e feedback de humanos (chamado de aprendizagem por reforço na indústria).
O Google Deepmind criou um conjunto de regras chamado Sparrow que aplicava feedback humano para forçar o modelo a reaprender, encontrar e citar informações factuais. Claude AI da Antrópico tem uma constituição que o modelo segue em todos os momentos. A Constituição de Claude AI estabelece limites claros, valores claros e um conjunto de princípios e processos ao treinar um modelo. Isto é reforçado pelo uso de feedback humano. Para construir a constituição, como explicam os pesquisadores da Anthropic, eles usaram os códigos Sparrow da DeepMind, a Declaração de Direitos Humanos da ONU, práticas de confiança e segurança, uma tentativa de acomodar visões não ocidentais e os termos de serviço da Apple. Claude AI, graças à sua constituição codificada, tem menos alucinações (em 17%, de acordo com a pesquisa Relum) do que os seus homólogos. Talvez seja pela sua confiabilidade que a Anthropic Claude AI se tornou o melhor parceiro para as empresas. De acordo com a Menlo Ventures, a empresa tem mais de 300.000 clientes empresariais com 32% do mercado de IA empresarial, à frente da OpenAI e do Google (ambos com 20%).
“Quando não sei alguma coisa, digo-vos que não sei”, diz Claude Sonnet 4.5 quando questionado se está a ter alucinações, acrescentando que o seu conhecimento dura até ao final de janeiro (o modelo que pedimos), e se não tiver instrução ou não tiver a certeza do seu conhecimento, dirá que sim. “Tento evitar a armadilha de parecer confiante quando estou realmente inseguro, ou se estou apenas ligeiramente confiante sobre alguma coisa”, diz ele, acrescentando que o seu objectivo é dar-lhe uma imagem precisa do que ele sabe e reconhecer lacunas no seu conhecimento.
Recentemente, foram realizados vários estudos sobre como a Geração Z e a Geração A confiam mais na inteligência artificial do que nos humanos para tudo, desde conselhos de saúde mental até decisões de carreira. Mas no centro deste modelo de IA estão entidades comerciais concebidas para mantê-lo ligado – tal como as redes sociais. Será que as gerações futuras saberão como filtrar as doces mentiras inocentes do chatbot ou estarão alucinando junto com o modelo? Afinal, alucinações – perceber algo que não existe – são algo muito humano. Como contar uma mentira inocente.
(Autora e colunista, Shweta Taneja traça a evolução da relação entre ciência, tecnologia e sociedade moderna)
