A Deloitte decidiu reembolsar parcialmente o governo da Austrália após a divulgação de um relatório, que contou com IA na elaboração, apresentar referências inexistentes e inventar uma citação jurídica, entre outros erros. Conforme noticiou a Fortune na terça-feira (7), o trabalho custou US$ 290 mil, o equivalente a R$ 1,5 milhão pela cotação atual.
No final do ano passado, o Departamento de Emprego e Relações de Trabalho australiano contratou a gigante da consultoria para auditar o sistema que automatiza a aplicação de penalidades a quem recebe auxílio de um programa social. A versão inicial do texto foi publicada em julho, mas a revisão feita por um pesquisador apontou vários problemas.
IA alucinando
Analisando o relatório da Deloitte, o pesquisador de direito de saúde e bem-estar da Universidade de Sydney, Chris Rudge, descobriu várias imprecisões. Ele especulou que os erros eram fruto de uma alucinação de IA, que acontece quando o chatbot responde à consulta com informações inventadas.
- Uma das inconsistências identificadas foi a citação a um livro supostamente escrito pela professora de Direito da Universidade de Sydney, Lisa Burton Crawford;
- Duas referências a um trabalho do professor da Universidade de Lund (Suécia), Björn Regnell, igualmente inexistente, também estavam entre os erros;
- O documento trazia, ainda, uma citação inventada a respeito de uma decisão judicial sobre um caso julgado em um tribunal australiano;
- A grafia errada do nome da juíza envolvida neste último caso também chamou a atenção de Rudge, assim como outros erros.
“Eu soube instantaneamente que era alucinação de IA ou o segredo mais bem guardado do mundo, porque eu nunca tinha ouvido falar do livro e parecia absurdo”, afirmou o pesquisador, em entrevista à Associated Press, se referindo à suposta obra de Lisa que aparecia no texto.
Para ele, esses problemas eliminaram qualquer credibilidade que o trabalho pudesse ter, ainda mais com a análise principal sendo feita por uma ferramenta de IA. O acadêmico também criticou a falta de informações sobre a “metodologia falha”, lembrando que a empresa não informou o uso da tecnologia.
Relatório atualizado
Após o alerta de Rudge, a Deloitte revisou as 237 páginas do documento e realizou as correções, divulgando uma nova versão na última sexta-feira (3). Em comunicado, o órgão responsável pela contratação disse que as inconsistências haviam sido removidas, além de citar o uso parcial de IA na sua elaboração original.
Um porta-voz do departamento comentou que, apesar das alterações, a essência do texto foi mantida, bem como as recomendações apontadas pelo relatório. Ele também afirmou que a consultoria concordou em devolver a última parcela do trabalho, mas não revelou o valor.
Vale destacar que a Deloitte firmou contrato de US$ 25 milhões (R$ 133,8 milhões) com o órgão em 2021, porém não há informações se a parceria continuará depois do incidente.
Gostou do conteúdo? Leia mais notícias no TecMundo e compartilhe-as nas redes sociais com os amigos.