As alucinações de IA podem ser frustrantes. Se você usou um LLM, provavelmente já o viu dar uma resposta errada ou completamente errada.
Cofundador, Presidente Executivo e Diretor de Inovação da Zappi.
Mas quando pedi ao modelo que avaliasse o feedback dos nossos clientes, ele concluiu com segurança que estávamos com um desempenho insatisfatório devido a falhas em nossos “sistemas estruturais elétricos”. À primeira vista – “hein?!” Mas ficou claro que o modelo nos confundiu com uma empresa não relacionada que compartilha nosso nome e fabrica carregadores EV.
A maioria das pessoas vê as alucinações como um bug irritante, mas a verdade é que as alucinações são um subproduto de como os modelos LLM são treinados e para que são otimizados. Se você espera que as ferramentas de IA sejam perfeitas, você está esperando a coisa errada.
Forneceu um contexto mais claro, o modelo produziu resultados precisos e obtive as informações que queria.
Por que as alucinações acontecem?
Então, por que exatamente acontecem as alucinações? Um artigo recente da OpenAI mostra que as alucinações ocorrem porque os modelos são recompensados por dar uma resposta, não por dizer “não sei”.
Um LLM nunca é determinístico; é sempre probabilístico.
Como explica a OpenAI, na fase de pré-treinamento, os modelos de IA aprendem a ingerir grandes quantidades de dados da Internet. Nesta fase inicial, estes modelos fazem um bom trabalho ao expressar o quão confiantes estão nas respostas que fornecem. Eles também podem expressar muito bem a incerteza, dizendo: “Aqui está uma resposta possível, mas não tenho certeza”.
Porém, quando se trata de pós-treinamento, os modelos são aprimorados por meio de aprendizado por reforço que recompensa a precisão… sem punir a imprecisão. Como um exame de múltipla escolha, o LLM é treinado para fornecer uma resposta, mesmo que seja um palpite. Tal como acontece com os humanos, muitas vezes é melhor para o sistema preencher algo em vez de deixar a pergunta em branco.
LLMs: Por design, provavelmente errado
Até ao advento da IA, vivíamos num mundo largamente determinista. Utilizamos ferramentas que deram uma resposta única e definitiva, com pouco espaço para interpretação. Por exemplo, se inserirmos um problema matemático em uma calculadora, obteremos a resposta.
Se consultássemos um documento em um banco de dados, ele retornaria. Podemos contar com essas ferramentas para retornar resultados previsíveis.
LLMs não são iguais. A IA foi projetada para imitar o funcionamento do cérebro humano, e os humanos são imperfeitos; eles erram as coisas o tempo todo. Portanto, se esperamos que os LLMs acertem as coisas 100% das vezes, em primeiro lugar, entendemos mal como funciona um LLM.
Os LLMs são um sistema probabilístico que produz a resposta mais provável, em vez de verdades garantidas; o que significa que eles certamente podem ser falíveis da mesma forma que os humanos (ou pelo menos muitos dos meus colegas me acusam!). Conclusão: Um LLM que nunca alucina não é possível.
Exigir perfeição e precisão de um sistema é um erro humano.
Como reduzir alucinações
Quando se trata de reduzir as alucinações de IA, saber que elas são um recurso e não um bug é metade da batalha. Ele começa a redefinir as expectativas, percebendo que os erros são naturais e não fatais. A boa notícia é que desenvolvedores de modelos como OpenAI também estão trabalhando para reduzir a taxa de ocorrência de alucinações.
Entretanto, o que podem as empresas e grupos fazer com eles? Aqui estão três dicas práticas para manter em mente:
1. Você não pode confiar apenas no modelo para obter os fatos. Conforme mencionado, os LLMs não são determinísticos. As empresas devem planejar erros revisando cuidadosamente as informações retornadas e duplicando as fontes das quais o LLM está extraindo.
Mesmo que você peça apenas ao LLM para responder com 100% de certeza, ainda é improvável que diga “Não sei a resposta”. Portanto, assim como você revisaria cuidadosamente o trabalho de um colega, você também deve monitorar a precisão dos LLMs.
2. Alimente um modelo confiável e informações conectadas. O que você dá a um sistema de IA é tão importante quanto o que você pede dele. Quanto mais um modelo se basear em fontes fiáveis e interligadas (investigação validada, relatórios internos, decisões documentadas e conhecimento institucional partilhado), mais úteis e fiáveis serão os seus resultados. Quando os dados estão fragmentados ou confusos, o modelo preenche as lacunas. Mas com entradas claras, conectadas e em tempo real, a IA pode raciocinar dentro de restrições reais, em vez de adivinhar.
3. Use recomendações cuidadosamente selecionadas. Quanto mais geral for o prompt, mais geral será a resposta. Você pode controlar melhor o resultado fornecendo o contexto e o material de origem apropriados e, em seguida, fazendo uma pergunta específica. Então esta pergunta é: “Responda a esta pergunta usando apenas os dados que forneci e depois cite de onde vieram as informações”.
Isso reduz significativamente as alucinações. Você também pode pedir que o modelo seja mais matizado, dizendo “se você não tiver 100% de certeza da resposta, não diga que eles não sabem. A precisão é muito importante aqui”.
Como um sistema de IA, não uma caixa mágica
A IA é uma ferramenta poderosa que continuaremos a incorporar na nossa vida profissional diária e muito mais. Devemos compreender, contudo, que a IA não é uma caixa mágica. É um sistema imperfeito que reflete a formação e o conhecimento proporcionados.
Somente quando pararmos de esperar a perfeição da IA poderemos usá-la da maneira que ela funciona melhor (conosco) para agregar valor comercial real.
Apresentamos o melhor chatbot de IA para negócios.
Este artigo foi produzido como parte do canal Expert Insights da TechRadarPro, onde apresentamos as melhores e mais brilhantes mentes da indústria de tecnologia atualmente. As opiniões expressas aqui são de responsabilidade do autor e não necessariamente da TechRadarPro ou Future plc. Caso tenha interesse em participar, mais informações aqui:
