Grandes modelos de linguagem (LLMs) estão revolucionando a forma como analisamos textos. Pesquisadores da Universidade de Zurique descobriram que essas IAs são surpreendentemente neutras, desde que não saibam quem escreveu o conteúdo.
Quando a origem do texto é revelada, porém, um viés oculto aparece, mostrando que até IAs sofisticadas podem julgar de forma tendenciosa, comenta matéria do TechXplore.
LLMs sob investigação: como a IA julga textos?
O estudo publicado na Science Advances analisou quatro LLMs populares: OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 e Mistral. Cada modelo criou 50 declarações sobre temas controversos, como vacinação, geopolítica e mudança climática. Em seguida, os sistemas avaliaram essas mensagens sob diferentes condições: com ou sem informações sobre a fonte ou nacionalidade do autor.
O resultado surpreendeu: quando não havia dados sobre a autoria, os quatro LLMs apresentaram mais de 90% de concordância entre si.
Não há uma guerra de ideologias entre os LLMs. O perigo do nacionalismo da IA está sendo superestimado na mídia.
Giovanni Spitale, pesquisador da Universidade de Zurique e coautor do estudo, em nota.
O viés escondido aparece com a identidade
Quando os textos receberam fontes fictícias, tudo mudou. A concordância entre os LLMs despencou, mesmo com o conteúdo sendo exatamente o mesmo. Um exemplo alarmante levantado pelos pesquisadores mostra que todos os modelos, incluindo o Deepseek, da China, exibiram viés antichinês. Textos atribuídos falsamente a autores chineses tiveram a concordância reduzida em até 75%.
Leia mais:
- OpenAI tenta reduzir viés político no ChatGPT e promete modelo mais neutro
- “Não existe viés”: CEO da Wikipédia responde a ataques de Musk e de cofundador dissidente
- IA já domina a internet, mas conteúdo humano pode ser cada vez mais valorizado…
Outro achado curioso: os LLMs tendem a confiar mais em humanos do que em outros modelos, atribuindo pontuações ligeiramente menores quando acreditavam que os textos haviam sido escritos por outra IA, explica Spitale. Essa “desconfiança intrínseca” reforça que a identidade do autor tem grande influência na forma como a IA avalia o conteúdo.
Dicas para evitar vieses na avaliação de modelos de IA
Os pesquisadores sugerem algumas práticas para minimizar julgamentos tendenciosos:
- Remova informações de identidade: evite mencionar nacionalidade ou modelo da IA ao pedir uma avaliação.
- Teste sob diferentes perspectivas: compare respostas com e sem menção à fonte.
- Use critérios estruturados: foque no conteúdo, aplicando rubricas claras, como lógica, evidências e clareza.
- Mantenha humanos no processo: revise sempre o conteúdo com um olhar humano antes de decisões finais.
A IA replicará essas suposições prejudiciais, a menos que construamos transparência e governança em sua forma de avaliar informações.
Federico Germani, pesquisador e coautor do estudo, em nota.
Em outras palavras, os LLMs são ótimos assistentes, mas não substituem o julgamento humano.
O post Quando a IA julga pela capa: modelos de IA se tornam tendenciosos ao saber a fonte apareceu primeiro em Olhar Digital.