Sakana revoga alegações de que sua IA pode acelerar drasticamente o treinamento de modelos

Esta semana, a Sakana AI, uma startup apoiada pela Nvidia que já arrecadou centenas de milhões de dólares de investidores de venture capital, fez uma afirmação notável. A empresa divulgou ter criado um sistema de IA, o AI CUDA Engineer, que poderia acelerar o treinamento de determinados modelos de IA em até 100 vezes.

O único problema é: o sistema não funcionou.

Usuários na X descobriram rapidamente que o sistema da Sakana, na verdade, apresentou um desempenho inferior ao esperado no treinamento dos modelos. Segundo um desses usuários, a IA da Sakana provocou uma desaceleração de 3 vezes – e não uma aceleração.

O que deu errado? De acordo com um post de Lucas Beyer, membro da equipe técnica da OpenAI, o problema foi um bug no código.

“O código original deles está errado de uma maneira sutil”, escreveu Beyer na X. “O fato de terem executado o benchmarking DUAS vezes com resultados drasticamente diferentes deveria fazê-los parar e pensar.”

Em uma análise pós-morte publicada na sexta-feira, a Sakana admitiu que o sistema encontrou uma forma de – como a própria empresa descreveu – “trapacear” e atribuiu o erro à tendência do sistema de “recompensar falhas”, ou seja, identificar brechas para alcançar métricas elevadas sem cumprir o objetivo de acelerar o treinamento dos modelos. Fenômenos semelhantes já foram observados em IAs treinadas para jogar xadrez.

Segundo a empresa, o sistema encontrou vulnerabilidades no código de avaliação que estava sendo utilizado, o que permitiu contornar as validações de acurácia e outros controles. A Sakana afirma que já solucionou o problema e que pretende revisar suas alegações em materiais atualizados.

“Desde então, tornamos o mecanismo de avaliação e o perfil de tempo de execução mais robustos para eliminar muitas dessas brechas”, escreveu a empresa em seu post na X. “Estamos no processo de revisar nosso artigo e nossos resultados para refletir e discutir os efeitos… Pedimos desculpas profundamente pelo nosso erro com nossos leitores. Em breve, disponibilizaremos uma versão revisada deste trabalho, comentando as lições aprendidas.”

Parabéns à Sakana por admitir o erro. Esse episódio serve como um bom lembrete de que, se uma afirmação parece boa demais para ser verdade – especialmente no campo da IA – provavelmente é.

Kyle Wiggers é repórter sênior na TechCrunch, com um interesse especial em inteligência artificial. Seus textos já foram publicados no VentureBeat e no Digital Trends, além de diversos blogs sobre gadgets, como Android Police, Android Authority, Droid-Life e XDA-Developers. Ele reside no Brooklyn com sua parceira, uma educadora de piano, e, ocasionalmente, se aventura a tocar piano – embora, na maioria das vezes, sem sucesso.