Pesquisadores da Apple desenvolveram um novo modelo de linguagem capaz de escrever textos longos cerca de 128 vezes mais rápido do que as ferramentas de inteligência artificial generativa convencionais, conforme revelou o 9to5Mac na segunda-feira (13). A tecnologia também promete melhorar a qualidade das respostas.
Denominada Few-Step Discrete Flow-Matching (FS-DFM), a rede neural criada em parceria com a Universidade Estadual de Ohio (Estados Unidos) é classificada como um modelo de difusão, que gera vários dados simultaneamente, refinando-os em etapas sucessivas. Já os modelos autorregressivos, entre os quais o ChatGPT, criam um token por vez, tornando o processo mais lento.
Como funciona o FS-DFM?
O modelo de difusão desenvolvido pelos especialistas da Apple e da universidade americana foi treinado para lidar com diferentes etapas de refinamento, no entanto recebeu ajustes para gerar textos completos com bem menos do que isso. A abordagem também incluiu um modelo “professor”.
- Este orientador auxilia o FS-DFM a apresentar atualizações mais robustas e precisas sem alterar o tamanho da resposta pretendida;
- Há, ainda, a otimização de cada etapa para que a IA chegue ao resultado desejado em uma menor quantidade de etapas e com mais estabilidade;
- A nova rede neural teve desempenho de destaque nas métricas de perplexidade e entropia, quando comparada a modelos de difusão maiores nos experimentos;
- Durante os testes, as versões da novidade tinham entre 0,17 bilhão e 1,7 bilhão de parâmetros, enquanto as utilizadas para comparação chegavam a até 8 bilhões de parâmetros.
Segundo o relatório, o FS-DFM alcançou menor perplexidade e manteve a entropia estável em todos as comparações. Isso significa que o modelo foi capaz de criar textos mais precisos e naturais, assim como menos repetitivos e com maior fluidez, mesmo sendo muito menor que os concorrentes.
No geral, a tecnologia forneceu respostas completas precisando somente de oito rodadas de refinamento rápido. Por sua vez, os modelos de difusão maiores dependeram de mais de 1 mil etapas para chegar a um resultado semelhante, conforme o estudo detalhando a novidade, publicado na plataforma arXiv.
Quando as melhorias estarão disponíveis?
As melhorias fornecidas pelo novo modelo de linguagem da Apple podem trazer grandes aprimoramentos para os serviços de IA da gigante de Cupertino, tornando-os mais rápidos, eficientes e baratos. No entanto, ainda não se sabe quando estarão disponíveis.
Enquanto isso, a big tech planeja liberar o código e os checkpoints do FS-DFM para que diferentes pesquisadores testem e ampliem o trabalho, o que pode resultar em otimizações ainda maiores para as ferramentas de IA.
Gostou do conteúdo? Leia mais notícias no TecMundo e compartilhe-as nas redes sociais com os amigos.
