Usuários do ChatGPT estão tentando persuadir o modelo a se envolver em cenários fictícios de dramatização sexual enquanto publicam material de abuso sexual infantil como parte da narrativa. Outros tentam escrever histórias fictícias em que menores são colocados em situações sexualmente inapropriadas e/ou abusivas. As práticas ilegais foram denunciadas pela própria OpenAI.
No ano passado, o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC, na sigla em inglês) dos EUA registrou um aumento de 1.325% no número de incidentes envolvendo inteligência artificial (IA) generativa. Por dia, a entidade recebeu 100 casos de sextorsão financeira. Desde 2021, pelo menos 36 adolescentes tiraram suas próprias vidas por terem sido vítimas do crime.
De acordo com a OpenAI, usuários que tentam gerar material de abuso sexual ou exploração infantil são denunciados ao NCMEC e proibidos de usar os serviços, apesar de alguns contornarem o banimento criando novas contas.
“Notificamos os desenvolvedores e damos a eles a oportunidade de corrigir a situação banindo o usuário problemático de seus aplicativos; se os desenvolvedores não conseguirem corrigir um padrão persistente de comportamento problemático em seus aplicativos, nós os banimos”, diz o comunicado.
A OpenAI vem sendo pressionada por entidades da sociedade civil a criar mecanismos que minimizem a vulnerabilidade de menores de idade na plataforma, considerados insuficientes. Recentemente, a empresa anunciou novos controles parentais que restringem o uso de respostas em voz ou a criação/edição de imagens e desativa as memórias salvas do chatbot, por exemplo.
O que é proibido atualmente no ChatGPT?
Os usuários estão proibidos de utilizar qualquer serviço da OpenAI para atividades ilícitas, incluindo exploração, risco ou sexualização de menores de 18 anos, o que inclui:
- Material de abuso sexual infantil, independentemente de qualquer parte ser gerada por IA;
- Aliciamento de menores;
- Expor menores a conteúdo impróprio para sua idade, como automutilação gráfica, conteúdo sexual ou violento;
- Promover dietas ou exercícios não saudáveis para menores;
- Envergonhar ou estigmatizar, de qualquer outra forma, o tipo de corpo ou a aparência de menores;
- Desafios perigosos para menores;
- Jogos de interpretação de papéis sexuais ou violentos para menores de idade e acesso de menores a bens ou atividades com restrição de idade.
A OpenAI diz que os modelos são treinados para não gerar resultados nocivos em texto, imagens, áudio ou vídeo e que tem empregado uma combinação de classificadores contextuais, monitoramento de abuso e revisão interna por especialistas humanos para garantir que o chatbot não responda às solicitações que violem os termos de uso.
“É por isso que apoiamos projetos de lei, como a Lei de Prevenção de Material Abusado Sexualmente Infantil no estado de Nova York. Esta legislação garantiria proteção legal clara para denúncias responsáveis, cooperação e ações proativas destinadas a detectar, classificar, monitorar e mitigar conteúdo prejudicial gerado por IA”, afirmou a empresa.
Leia mais:
- Sora: OpenAI lança nova versão que “ignora” direitos autorais
- ChatGPT vai trabalhar por você enquanto você dorme; entenda
- OpenAI lança controles parentais no ChatGPT
Na vida real…
O principal órgão de investigação de exploração infantil nos EUA contratou uma empresa para criar um software que distingue imagens geradas por IA de materiais que retratam vítimas reais, segundo reportagem do MIT Technology Review. O contrato do Centro de Crimes Cibernéticos do Departamento de Segurança Interna foi fechado com a Hive AI, sediada em São Francisco (EUA).
A empresa se tornou referência em ferramentas de IA que podem ser usadas para moderação de conteúdo, sinalizando violência, spam e material sexual. Sua tecnologia de deepfakes foi vendida para o Exército dos EUA no ano passado, segundo a revista. A Hive AI também é uma das desenvolvedoras do recurso que identifica materiais de abuso infantil em parceria com a Thorn, uma organização sem fins lucrativos de segurança infantil.
O post ChatGPT cria imagens de abuso infantil e OpenAI responde apareceu primeiro em Olhar Digital.
