Um estudo recente destacou as limitações de chatbots de IA, como ChatGPT, Gemini e Grok, quando usados para busca de informações factuais. A pesquisa revelou que esses sistemas falham frequentemente em fornecer respostas precisas, errando em mais de 60% das vezes.
Mesmo quando conseguem uma resposta, muitas vezes estão excessivamente confiantes nas informações incorretas.
O estudo, conduzido pelo Tow Center for Digital Journalism, e publicado na Columbia Journalism Review, testou oito chatbots em tarefas simples, como encontrar e fornecer um link para um artigo específico.
Os chatbots testados foram o ChatGPT, Perplexity, Perplexity Pro, DeepSeek, Copilot, Grok-2, Grok-3
e Gemini.
Leia mais:
- Chatbot DeepSeek: como usar a nova inteligência artificial chinesa
- 8 coisas que você não deve compartilhar com inteligências artificiais
- Jovem se apaixona por chatbot de IA e tira a própria vida; mãe processa empresa
Embora a tarefa fosse realizável no Google, os chatbots cometeram erros significativos. O Perplexity teve o melhor desempenho, acertando 63% das vezes, enquanto o Grok-3 obteve apenas 6% de acerto.
Os principais problemas observados incluem: os chatbots fornecendo respostas erradas com confiança, ignorando protocolos de exclusão de robôs, fabricando links e citando versões erradas de artigos. Além disso, os chatbots premium (como o Copilot, da Microsoft) eram mais confiantes, mas igualmente imprecisos.
Apple acertou em parceria com o ChatGPT
- Apesar disso, a parceria da Apple com o ChatGPT para consultas não respondidas pela Siri é vista como algo positivo.
- Embora o desempenho do ChatGPT não tenha sido perfeito na atividade, foi relativamente bem entre os testados.
- O estudo confirma que chatbots podem ser úteis para gerar ideias, mas não devem ser confiáveis para respostas factuais.
O post Existe algo muito simples em que os chatbots são muito ruins, segundo estudo apareceu primeiro em Olhar Digital.