{"id":20744,"date":"2025-09-08T20:15:20","date_gmt":"2025-09-08T23:15:20","guid":{"rendered":"https:\/\/lantyer.com.br\/?p=20744"},"modified":"2025-09-08T20:15:25","modified_gmt":"2025-09-08T23:15:25","slug":"hallucination-artificial-intelligence-reliability","status":"publish","type":"post","link":"https:\/\/lantyer.com.br\/en\/hallucination-artificial-intelligence-reliability\/","title":{"rendered":"The Genesis and Persistence of Hallucination in Artificial Intelligence"},"content":{"rendered":"\n

1. Introdu\u00e7\u00e3o: A Onipresen\u00e7a do Erro Plaus\u00edvel e a Crise de Confian\u00e7a na IA Generativa<\/strong><\/h3>\n\n\n\n

A ascens\u00e3o da intelig\u00eancia artificial generativa inaugurou uma era de avan\u00e7os tecnol\u00f3gicos sem precedentes, mas tamb\u00e9m exp\u00f4s uma vulnerabilidade fundamental que amea\u00e7a sua integra\u00e7\u00e3o segura em dom\u00ednios de alto risco: o fen\u00f4meno da alucina\u00e7\u00e3o. Longe de ser um mero defeito t\u00e9cnico, a alucina\u00e7\u00e3o \u2014 a gera\u00e7\u00e3o de informa\u00e7\u00f5es falsas ou enganosas apresentadas com aparente confian\u00e7a e plausibilidade \u2014 representa uma barreira sist\u00eamica para a ado\u00e7\u00e3o confi\u00e1vel de grandes modelos de linguagem (LLMs) em campos como o direito, a medicina e as finan\u00e7as, onde a precis\u00e3o factual n\u00e3o \u00e9 uma op\u00e7\u00e3o, mas um imperativo.1<\/sup> <\/p>\n\n\n\n

O impacto dessa falibilidade foi dramaticamente ilustrado no caso Mata v. Avianca, Inc.<\/em>, que em 2023, no Tribunal Distrital dos Estados Unidos para o Distrito Sul de Nova York, tornou-se um exemplo paradigm\u00e1tico dos riscos profissionais e \u00e9ticos da IA generativa. No processo, advogados submeteram uma peti\u00e7\u00e3o jur\u00eddica que citava uma s\u00e9rie de precedentes fict\u00edcios, como Varghese v. China Southern Airlines Co Ltd<\/em>, fabricados pelo ChatGPT. <\/p>\n\n\n\n

A investiga\u00e7\u00e3o revelou que os advogados haviam utilizado o modelo para complementar sua pesquisa, tratando-o como um “super motor de busca”. A IA, no entanto, operou sob um paradigma diferente: o de um “bom aluno de prova” 3<\/sup>, otimizado para produzir a resposta mais plaus\u00edvel, independentemente de sua veracidade. O juiz P. Kevin Castel, ao descrever a situa\u00e7\u00e3o como uma “circunst\u00e2ncia sem precedentes”, imp\u00f4s uma san\u00e7\u00e3o de 5.000 d\u00f3lares aos advogados e ao escrit\u00f3rio por agirem com “m\u00e1-f\u00e9 subjetiva”. <\/p>\n\n\n\n

O caso Mata<\/em> n\u00e3o foi apenas uma anedota sobre incompet\u00eancia profissional, mas um microcosmo do desalinhamento fundamental entre a expectativa do usu\u00e1rio (verdade) e a fun\u00e7\u00e3o de otimiza\u00e7\u00e3o do modelo (plausibilidade) que est\u00e1 no cerne da crise de confian\u00e7a da IA. A persist\u00eancia desse problema, documentada em ve\u00edculos como The New York Times<\/em> e CNET<\/em> 4<\/sup>, indica que uma compreens\u00e3o abrangente exige mais do que a mera cataloga\u00e7\u00e3o de falhas; requer um framework te\u00f3rico robusto.<\/p>\n\n\n\n

\u00c9 nesse contexto que o recente e seminal artigo “Why Language Models Hallucinate”, publicado em 04 de setembro de 2025, emerge como uma contribui\u00e7\u00e3o te\u00f3rica indispens\u00e1vel, cuja credibilidade \u00e9 amplificada por sua origem: seus autores, Adam Tauman Kalai, Ofir Nachum e Edwin Zhang, s\u00e3o pesquisadores da pr\u00f3pria OpenAI, a organiza\u00e7\u00e3o por tr\u00e1s do ChatGPT.3<\/sup> <\/p>\n\n\n\n

Esta an\u00e1lise cr\u00edtica, a primeira a aprofundar-se em suas descobertas no Brasil, utilizar\u00e1 seu framework para dissecar a g\u00eanese estat\u00edstica e a persist\u00eancia sociot\u00e9cnica das alucina\u00e7\u00f5es. Embora o termo “alucina\u00e7\u00e3o” seja controverso por antropomorfizar o que s\u00e3o, em ess\u00eancia, erros estat\u00edsticos1<\/sup>, ele ser\u00e1 utilizado por conven\u00e7\u00e3o, mantendo-se, contudo, uma dist\u00e2ncia cr\u00edtica ancorada na teoria da aprendizagem computacional.<\/p>\n\n\n\n

2. A G\u00eanese da Alucina\u00e7\u00e3o: Uma Consequ\u00eancia Estat\u00edstica Inerente ao Pr\u00e9-Treinamento<\/strong><\/h3>\n\n\n\n

A contribui\u00e7\u00e3o mais significativa do trabalho de Kalai et al. \u00e9 a desmistifica\u00e7\u00e3o da alucina\u00e7\u00e3o, removendo-a do reino de propriedades emergentes e misteriosas e situando-a firmemente no campo da teoria da aprendizagem estat\u00edstica. Eles argumentam que as alucina\u00e7\u00f5es n\u00e3o s\u00e3o um subproduto bizarro, mas uma consequ\u00eancia natural e matematicamente previs\u00edvel dos objetivos otimizados durante o treinamento dos modelos de linguagem.3<\/sup> O cerne do argumento reside em uma elegante redu\u00e7\u00e3o te\u00f3rica: eles demonstram que o problema complexo de gerar texto v\u00e1lido (uma tarefa de aprendizado n\u00e3o supervisionado) \u00e9, em um sentido formal, mais dif\u00edcil do que o problema mais simples de classificar se um dado texto \u00e9 v\u00e1lido ou n\u00e3o (uma tarefa de aprendizado supervisionado).3<\/sup> <\/p>\n\n\n\n

Para explicar melhor de onde v\u00eam as chamadas \u201calucina\u00e7\u00f5es\u201d da IA, os autores criaram um teste mental chamado problema \u201cIs-It-Valid\u201d (IIV), algo como \u201cIsto \u00e9 v\u00e1lido?\u201d. Funciona assim: em vez de pedir que a m\u00e1quina gere uma resposta inteira (tarefa dif\u00edcil e sujeita a erros), voc\u00ea s\u00f3 pergunta se uma resposta j\u00e1 pronta \u00e9 v\u00e1lida ou n\u00e3o. O ponto central \u00e9 que, se at\u00e9 esse teste bin\u00e1rio simples (sim\/n\u00e3o) j\u00e1 apresenta dificuldades, ent\u00e3o a tarefa mais complexa de gerar uma resposta correta ser\u00e1 ainda mais propensa a erros. Em termos matem\u00e1ticos, eles mostram que a taxa de erro na gera\u00e7\u00e3o sempre ser\u00e1 pelo menos o dobro da taxa de erro na classifica\u00e7\u00e3o IIV.3<\/sup> <\/p>\n\n\n\n

Com essa rela\u00e7\u00e3o estabelecida, a an\u00e1lise se volta para os fatores que causam erros de classifica\u00e7\u00e3o e, por conseguinte, alucina\u00e7\u00f5es. O primeiro \u00e9 a incerteza epist\u00eamica<\/strong>, que ocorre quando n\u00e3o h\u00e1 um padr\u00e3o sucinto ou uma regra geral que possa ser aprendida a partir dos dados, como no caso de fatos arbitr\u00e1rios (e.g., anivers\u00e1rios de indiv\u00edduos n\u00e3o p\u00fablicos). Para esses fatos, o modelo deve memorizar, n\u00e3o generalizar. <\/p>\n\n\n\n

A partir da\u00ed, eles analisam duas grandes causas de alucina\u00e7\u00e3o: (a) Incerteza epist\u00eamica \u2013 ocorre quando n\u00e3o existe um padr\u00e3o geral a ser aprendido nos dados. Pense em fatos arbitr\u00e1rios, como o anivers\u00e1rio de uma pessoa comum. N\u00e3o h\u00e1 regra, o modelo s\u00f3 acerta se tiver memorizado essa informa\u00e7\u00e3o. O problema \u00e9 que muitas vezes esse tipo de dado aparece apenas uma vez nos textos de treino (os chamados singletons). Nesse caso, a chance de erro \u00e9 quase inevit\u00e1vel; (b) Modelos inadequados \u2013 acontece quando a pr\u00f3pria \u201cferramenta\u201d n\u00e3o foi feita para o tipo de problema que precisa resolver. Um exemplo \u00e9 usar um modelo muito simples, como os antigos de trigramas, para tentar capturar rela\u00e7\u00f5es de longo prazo ou pedir a um modelo baseado em palavras que conte caracteres. A arquitetura, por si s\u00f3, j\u00e1 limita a precis\u00e3o.3<\/sup> <\/p>\n\n\n\n

Esse enquadramento estat\u00edstico \u00e9 poderoso porque ajuda a entender por que as alucina\u00e7\u00f5es n\u00e3o s\u00e3o acidentes isolados ou \u201cfalhas m\u00e1gicas\u201d da IA. S\u00e3o resultados previs\u00edveis das limita\u00e7\u00f5es dos dados e dos modelos usados.3<\/sup> <\/p>\n\n\n\n

De um lado, Yann LeCun<\/strong>, cientista-chefe de IA da Meta, \u00e9 um cr\u00edtico contundente dos modelos autorregressivos, argumentando que eles est\u00e3o “condenados” (doomed<\/em>) porque sua metodologia de gerar um token de cada vez, sem um planejamento de alto n\u00edvel ou um modelo de mundo subjacente, torna os erros inevit\u00e1veis e cumulativos.6<\/sup> Para LeCun, a probabilidade de uma resposta longa ser totalmente correta diminui exponencialmente.8<\/sup> <\/p>\n\n\n\n

Em contraste direto, Geoffrey Hinton<\/strong>, um dos “padrinhos” das redes neurais, postula que para prever a pr\u00f3xima palavra com alta precis\u00e3o, um modelo deve<\/em> desenvolver uma compreens\u00e3o genu\u00edna dos conceitos subjacentes, comparando alucina\u00e7\u00f5es \u00e0 confabula\u00e7\u00e3o humana \u2014 um processo de reconstru\u00e7\u00e3o de mem\u00f3rias que pode levar a erros plaus\u00edveis. Oferecendo uma terceira perspectiva, Emily M. Bender, Timnit Gebru<\/strong> e colaboradores propuseram a influente met\u00e1fora dos LLMs como “papagaios estoc\u00e1sticos”, argumentando que as alucina\u00e7\u00f5es s\u00e3o a principal evid\u00eancia de que os modelos carecem de significado ou ancoragem na realidade, meramente recombinando padr\u00f5es lingu\u00edsticos.9<\/sup> <\/p>\n\n\n\n

O trabalho de Kalai et al. atua como uma teoria mediadora que refina e contextualiza essas tr\u00eas vis\u00f5es. Ele complementa a cr\u00edtica de LeCun ao fornecer uma teoria sobre a origem<\/em> do erro inicial que a arquitetura autorregressiva amplifica. Ele ancora a analogia da ci\u00eancia cognitiva de Hinton na teoria da aprendizagem computacional, oferecendo uma raz\u00e3o estat\u00edstica precisa (a taxa de singletons) pela qual um sistema, mesmo que “entenda”, confabularia quando seu conhecimento \u00e9 esparso. E, finalmente, ele desloca o debate dos “papagaios estoc\u00e1sticos” de alega\u00e7\u00f5es n\u00e3o comprov\u00e1veis sobre estados internos para fatos observ\u00e1veis sobre dados e objetivos de treinamento, demonstrando que o fen\u00f4meno pode ser explicado inteiramente por press\u00f5es estat\u00edsticas externas.<\/p>\n\n\n\n

3. A Persist\u00eancia da Alucina\u00e7\u00e3o: O Paradigma do “Bom Aluno de Prova” e a Inefic\u00e1cia das Solu\u00e7\u00f5es Puramente T\u00e9cnicas<\/strong><\/h3>\n\n\n\n

Se o pr\u00e9-treinamento explica a g\u00eanese estat\u00edstica das alucina\u00e7\u00f5es, a fase de p\u00f3s-treinamento e, mais crucialmente, o ecossistema de avalia\u00e7\u00e3o da IA explicam sua persist\u00eancia. A segunda grande contribui\u00e7\u00e3o de Kalai et al. \u00e9 um argumento sociot\u00e9cnico que exp\u00f5e como a pr\u00f3pria maneira pela qual a comunidade de IA mede o sucesso refor\u00e7a e recompensa o comportamento alucinat\u00f3rio. <\/p>\n\n\n\n

O artigo apresenta a analogia poderosa de que os LLMs s\u00e3o otimizados para se comportarem como estudantes submetidos a um exame em que respostas em branco valem zero, enquanto um palpite, mesmo que incorreto, tem uma chance de valer pontos.3<\/sup> Nesse cen\u00e1rio, a estrat\u00e9gia \u00f3tima \u00e9 nunca deixar uma quest\u00e3o em branco; adivinhar \u00e9 sempre a escolha racional. Os modelos de linguagem, portanto, est\u00e3o perpetuamente em um “modo de fazer prova” (test-taking mode<\/em>), o que os incentiva a gerar falsidades plaus\u00edveis em vez de expressar incerteza com respostas como “Eu n\u00e3o sei” (IDK).3<\/sup> <\/p>\n\n\n\n

Essa afirma\u00e7\u00e3o \u00e9 empiricamente substanciada por uma an\u00e1lise dos benchmarks influentes que dominam os placares e orientam o desenvolvimento de modelos. A grande maioria emprega m\u00e9tricas bin\u00e1rias (correto\/incorreto), como precis\u00e3o ou taxa de aprova\u00e7\u00e3o, que penalizam inerentemente a absten\u00e7\u00e3o, criando o que os autores chamam de uma “epidemia de penaliza\u00e7\u00e3o da incerteza”.3<\/sup> Um modelo que sinaliza honestamente sua incerteza e nunca alucina ter\u00e1 um desempenho inferior a um modelo que sempre “adivinha” quando incerto na maioria das m\u00e9tricas atuais. <\/p>\n\n\n\n

Diante desse problema, a comunidade t\u00e9cnica desenvolveu a Gera\u00e7\u00e3o Aumentada por Recupera\u00e7\u00e3o (RAG), uma solu\u00e7\u00e3o arquitet\u00f4nica projetada para ancorar as respostas do modelo em fontes de dados externas e verific\u00e1veis.10<\/sup> A arquitetura RAG funciona em duas etapas: um componente “recuperador” busca informa\u00e7\u00f5es relevantes de uma base de conhecimento, e um “gerador” formula uma resposta fundamentada nesses dados.10<\/sup> <\/p>\n\n\n\n

A efic\u00e1cia do RAG na mitiga\u00e7\u00e3o de alucina\u00e7\u00f5es \u00e9 ineg\u00e1vel, e sistemas como o AI-Assisted Research on Westlaw Precision da Thomson Reuters o utilizam para garantir que as respostas citem apenas conte\u00fado de seu banco de dados legal, prevenindo a inven\u00e7\u00e3o de casos como ocorreu em Mata v. Avianca<\/em>. No entanto, o RAG n\u00e3o \u00e9 uma panaceia, e o framework de Kalai et al. revela seu ponto cego fundamental: ele aborda a capacidade<\/em> de um modelo ser factual, mas n\u00e3o o seu incentivo<\/em>. As alucina\u00e7\u00f5es ainda podem ocorrer em qualquer ponto da pipeline do RAG: a fonte de dados pode conter erros, o recuperador pode falhar, e o gerador pode n\u00e3o aderir fielmente ao contexto. <\/p>\n\n\n\n

Mais importante, quando a pergunta est\u00e1 fora do escopo da base de conhecimento, o LLM se depara com a mesma escolha fundamental: admitir a falha ou gerar uma resposta com base em seu conhecimento param\u00e9trico, arriscando-se a alucinar. Como o ecossistema de avalia\u00e7\u00e3o penaliza a primeira op\u00e7\u00e3o e recompensa implicitamente a segunda, o modelo ainda \u00e9 sistemicamente empurrado para a adivinha\u00e7\u00e3o. O caso Mata v. Avianca<\/em> \u00e9, novamente, a ilustra\u00e7\u00e3o perfeita. Os advogados poderiam ter usado sistemas RAG confi\u00e1veis como Westlaw ou LexisNexis.<\/p>\n\n\n\n

Em vez disso, usaram um LLM de prop\u00f3sito geral que, sem uma base de conhecimento jur\u00eddica espec\u00edfica e otimizado para sempre fornecer uma resposta confiante, fez exatamente o que foi treinado para fazer: “blefou” de forma magn\u00edfica. A falha n\u00e3o foi apenas na tecnologia, mas em um profundo desalinhamento de expectativas enraizado nos incentivos centrais de treinamento e avalia\u00e7\u00e3o da IA.<\/p>\n\n\n\n

4. Conclus\u00e3o<\/strong><\/h3>\n\n\n\n

A an\u00e1lise de Kalai, Nachum, Vempala e Zhang nos ensina que as alucina\u00e7\u00f5es em modelos de linguagem n\u00e3o s\u00e3o acidentes estranhos nem defeitos perif\u00e9ricos, mas consequ\u00eancias estat\u00edsticas inevit\u00e1veis de como esses sistemas s\u00e3o treinados e avaliados. A grande li\u00e7\u00e3o \u00e9 que a confiabilidade da IA n\u00e3o surgir\u00e1 como um subproduto natural de modelos cada vez maiores: ela precisa ser conscientemente projetada, incentivada e recompensada. O objetivo n\u00e3o \u00e9 uma m\u00e1quina onisciente, mas uma intelig\u00eancia capaz de reconhecer os limites do que sabe. <\/p>\n\n\n\n

Para isso, os autores prop\u00f5em uma mudan\u00e7a decisiva: reformar os benchmarks que hoje premiam o chute e punem a honestidade. Imagine uma prova em que, em vez de valer a pena arriscar, o aluno s\u00f3 ganha se tiver certeza \u2013 e perde muito se errar com confian\u00e7a. \u00c9 assim que os modelos deveriam ser avaliados: punindo severamente a convic\u00e7\u00e3o errada e recompensando a abstin\u00eancia calibrada. Essa \u00e9 a chamada calibra\u00e7\u00e3o comportamental, que transforma o \u201cn\u00e3o sei\u201d de fraqueza em virtude.<\/p>\n\n\n\n

As implica\u00e7\u00f5es para o Direito e para a regula\u00e7\u00e3o s\u00e3o profundas. Profissionais n\u00e3o podem mais se contentar em verificar apenas o resultado final da m\u00e1quina, mas precisam examinar os incentivos que moldam seu comportamento. O lema \u201cconfie, mas verifique\u201d cede lugar a um mais exigente: \u201centenda os incentivos, depois verifique\u201d. Reguladores, por sua vez, n\u00e3o devem se limitar a exigir m\u00e9tricas de precis\u00e3o; devem tamb\u00e9m impor transpar\u00eancia nos crit\u00e9rios de avalia\u00e7\u00e3o e promover treinamentos que recompensem a humildade epist\u00eamica. <\/p>\n\n\n\n

O futuro de uma IA confi\u00e1vel poder\u00e1 incluir n\u00e3o apenas cita\u00e7\u00f5es de fontes, mas declara\u00e7\u00f5es expl\u00edcitas de confian\u00e7a: \u201cesta resposta tem 95% de certeza\u201d, oferecendo ao usu\u00e1rio um c\u00e1lculo claro de risco e recompensa. Nesse cen\u00e1rio, a IA deixa de ser um or\u00e1culo opaco e se torna um verdadeiro parceiro cognitivo, digno de confian\u00e7a n\u00e3o por ser infal\u00edvel, mas por ser honesto quanto \u00e0s suas limita\u00e7\u00f5es.<\/p>\n\n\n\n

Esse movimento vai al\u00e9m da t\u00e9cnica: \u00e9 tamb\u00e9m jur\u00eddico, filos\u00f3fico e cultural. No Direito, uma IA que inventa precedentes se comporta como uma testemunha que mente com convic\u00e7\u00e3o \u2013 e deve ser tratada com a mesma cautela, exigindo sempre prova corroborada. Na Sa\u00fade, uma IA que \u201cconfabula\u201d um diagn\u00f3stico equivale a um m\u00e9dico que prescreve sem examinar: inaceit\u00e1vel sem mecanismos de supervis\u00e3o e responsabilidade. <\/p>\n\n\n\n

Na filosofia, aprendemos que confian\u00e7a epist\u00eamica exige calibrar linguagem e certeza, e que a responsabilidade \u00faltima n\u00e3o \u00e9 da m\u00e1quina, mas de quem a projeta, regula e utiliza. E da pedagogia e da psicologia herdamos a no\u00e7\u00e3o de que a verdadeira maturidade cognitiva est\u00e1 em admitir a pr\u00f3pria ignor\u00e2ncia \u2013 li\u00e7\u00e3o que agora precisamos ensinar tamb\u00e9m \u00e0s m\u00e1quinas.<\/p>\n\n\n\n

Assim, o trabalho de Kalai e colegas n\u00e3o \u00e9 apenas um diagn\u00f3stico elegante, mas um chamado \u00e0 a\u00e7\u00e3o: se quisermos reduzir alucina\u00e7\u00f5es, devemos reengenheirar n\u00e3o s\u00f3 os modelos, mas todo o ecossistema de incentivos que os cerca. Isso exige benchmarks que valorizem a honestidade, regula\u00e7\u00f5es que exijam transpar\u00eancia, profissionais que compreendam a l\u00f3gica por tr\u00e1s da m\u00e1quina e um design moral que cultive a virtude da veracidade. <\/p>\n\n\n\n

N\u00e3o basta esperar por avan\u00e7os futuros; o desafio \u00e9 presente. O destino da IA confi\u00e1vel depende menos de milagres t\u00e9cnicos e mais da coragem de alinhar estat\u00edstica, \u00e9tica e direito em torno de um mesmo valor: a busca pela verdade. Se conseguirmos, transformaremos os modelos de linguagem n\u00e3o em deuses fal\u00edveis, mas em parceiros l\u00facidos, que sabem muito \u2013 e sobretudo sabem quando n\u00e3o sabem.<\/p>\n\n\n