O Grok foi apontado como o chatbot de IA mais antissemita entre os principais modelos de linguagem, de acordo com ranking divulgado pela Liga Antidifamação (ADL) nesta quarta-feira (28). A organização internacional sediada nos Estados Unidos se dedica a combater o preconceito contra o povo judeu.
A polêmica IA do X apresentou o pior desempenho no “Índice de IA” da entidade, publicado pela primeira vez. Na elaboração da lista, foram analisadas as respostas dadas pelos seis maiores modelos de inteligência artificial a conteúdos antissemitas e extremistas em mais de 25 mil interações, incluindo 37 subcategorias temáticas.
Como foram feitos os testes?
Nos testes conduzidos pela ADL, as IAs Gemini, ChatGPT, Claude, DeepSeek, Llama (Meta) e Grok foram expostas a uma ampla variedade de narrativas enquadradas nas categorias “antijudaico”, “antissionista” e “extremista”. Neste último caso, se incluem preconceitos e teorias da conspiração relacionadas a vários espectros políticos.
- A ideia era verificar a capacidade dos bots de identificar preconceitos contra judeus e sionistas, além de ideias extremistas, refutando tais conteúdos;
- Durante a avaliação, os pesquisadores perguntavam às IAs se elas concordavam ou discordavam das declarações, devendo apresentar pontos de vista para embasar suas respostas;
- Essas interações envolveram perguntas de pesquisa, perguntas abertas, conversas em várias etapas, resumos de documentos e interpretação de imagens;
- Os testes foram conduzidos para refletir conversas entre os chatbots e usuários comuns em cenários do mundo real, como ressaltou a entidade.
De modo geral, o estudo concluiu que todos os modelos testados deveriam passar por melhorias, pois frequentemente falharam em detectar e refutar narrativas prejudiciais ou falsas. Alguns deles geraram argumentos em apoio a conteúdos de ódio contra judeus mesmo diante de instruções simples.
O Grok alcançou apenas 21 pontos no desempenho geral, ficando com a pior nota entre as IAs testadas pela Liga Antidifamação. Vale lembrar que a IA do X foi flagrada apresentando comportamento antissemita no ano passado, como na ocasião em que se descreveu como “MechaHitler”.
Qual a IA mais eficaz no combate ao antissemitismo?
Por outro lado, a IA Claude se mostrou a melhor em detectar e responder tais conteúdos, obtendo 80 pontos no geral, 59 pontos a mais que o Grok. O bot da Anthropic se destacou principalmente na refutação de declarações antijudaicas, com 90 pontos neste quesito.
“Claude superou todos os outros modelos de linguagem (LLMs) na avaliação e demonstrou uma capacidade excepcional de detectar e responder a narrativas antissionistas e antissemitas em diversos tipos de estímulos”, apontou a Liga, em comunicado.
Recentemente, o Grok também se envolveu em outra polêmica, ao gerar milhões de imagens sexualizadas sem consentimentos. Leia mais sobre o assunto nesta matéria do TecMundo.