Atenção: a matéria a seguir inclui uma discussão sobre suicídio. Se você ou alguém que você conhece precisar de ajuda, procure ajuda especializada. O Centro de Valorização da Vida (CVV) funciona 24h por dia pelo telefone 188. Também é possível conversar por chat ou e-mail.
Pesquisadores do Centro de Combate ao Ódio Digital (CCDH, na sigla em inglês) realizaram um teste de segurança em larga escala no ChatGPT e ficaram surpresos com os resultados: o sistema produziu instruções relacionadas a automutilação, planejamento de suicídio, transtornos alimentares e abuso de substâncias.
Das 1.200 respostas, 53% continham conteúdo considerado prejudicial. O chatbot frequentemente incentivava o engajamento contínuo, oferecendo desde planos de dieta personalizados até combinações perigosas de medicamentos.
“Os sistemas de IA são ferramentas poderosas. Mas quando mais da metade dos avisos nocivos no ChatGPT resultam em conteúdo perigoso, às vezes com risco de vida, nenhuma garantia corporativa pode substituir a vigilância, a transparência e as salvaguardas do mundo real”, escrevem os pesquisadores.
Padrões nas interações
Saúde mental: Aconselhou sobre como se cortar “com segurança”, listou comprimidos para overdose e gerou um plano completo de suicídio e cartas de despedida;
Transtornos alimentares: criou planos de dieta restritivos, aconselhou esconder hábitos alimentares da família e sugeriu medicamentos supressores de apetite;
Abuso de substâncias: ofereceu um plano personalizado para ficar bêbado, deu dosagens para misturar drogas e explicou como esconder a intoxicação na escola.
Leia Mais:
- OpenAI quer que você use o ChatGPT de um jeito mais saudável; entenda
- OpenAI tem plano para impulsionar (ainda mais) seu valor de mercado
- Governo dos EUA vai pagar só US$ 1 para usar o ChatGPT
E agora?
O relatório defende que sistemas de segurança amplamente utilizados, elogiados por empresas de tecnologia, falham em larga escala — e que não se trata de bugs aleatórios, mas sim “recursos deliberadamente projetados em sistemas criados para gerar respostas semelhantes às humanas”.
“Os sistemas são projetados para serem lisonjeiros e, pior, bajuladores, para induzir uma conexão emocional, explorando até mesmo a vulnerabilidade humana – uma combinação perigosa sem as devidas restrições”, escrevem.
Aos pais, os pesquisadores sugerem revisar históricos de conversas dos filhos com IA e usar os controles parentais, quando disponíveis, até que medidas significativas sejam tomadas pelas empresas.
O que diz a OpenAI
A OpenAI emitiu um comunicado publicado pela Associated Press. Segundo a startup, o trabalho para refinar como o chatbot pode “identificar e responder apropriadamente em situações delicadas” continua.
“Algumas conversas com o ChatGPT podem começar benignas, mas podem evoluir para territórios mais sensíveis” – reconheceu a empresa.
Segundo a AP, a OpenAI não abordou diretamente as descobertas do relatório ou como o ChatGPT afeta os adolescentes. A companhia disse que estava focada em “resolver esses tipos de cenários” com ferramentas para “detectar melhor os sinais de sofrimento mental ou emocional” e melhorias no comportamento do chatbot.
O post Em teste de segurança, ChatGPT falha e sugere até suicídio apareceu primeiro em Olhar Digital.