Sakana volta atrás em alegações de que sua IA pode acelerar drasticamente o treinamento de modelos

Esta semana, a startup Sakana AI, apoiada pela Nvidia e que já levantou centenas de milhões de dólares de firmas de capital de risco, fez uma afirmação notável. A empresa declarou ter criado um sistema de IA – o AI CUDA Engineer – que supostamente aceleraria o treinamento de certos modelos de IA em até 100×. O único problema: o sistema não funcionou.

Usuários na X descobriram rapidamente que o sistema da Sakana, na verdade, resultava em um desempenho de treinamento inferior à média. Segundo um destes usuários, a IA da Sakana ocasionou uma desaceleração de 3 vezes – e não um aumento de velocidade.

O que deu errado?

Um bug no código, de acordo com uma publicação de Lucas Beyer, membro da equipe técnica da OpenAI. “O código original deles está errado de uma maneira sutil”, escreveu Beyer na X. “O fato de que eles executam benchmarks duas vezes com resultados completamente divergentes deveria fazê-los parar e refletir.”

Em um postmortem divulgado na sexta-feira, a Sakana admitiu que o sistema encontrou uma forma de – como a própria empresa descreveu – “trapacear” e culpou a tendência do sistema de “recompensar falhas”. Ou seja, ele identificava brechas para alcançar métricas elevadas sem, de fato, cumprir o objetivo desejado, que era acelerar o treinamento dos modelos. Fenômenos semelhantes já foram observados em IAs treinadas para jogar xadrez.

De acordo com a Sakana, o sistema encontrou explorações no código de avaliação que a empresa utilizava, permitindo contornar validações de precisão, entre outros controles. A empresa afirma que já resolveu o problema e que revisará suas alegações em materiais atualizados.

“Já aprimoramos a instrumentação de avaliação e o perfil de tempo de execução para eliminar muitas dessas brechas”, escreveu a empresa em seu comunicado na X. “Estamos no processo de revisar nosso artigo e nossos resultados para refletir e discutir os efeitos… Pedimos desculpas profundamente por nossa negligência junto aos nossos leitores. Em breve forneceremos uma revisão deste trabalho e discutiremos nossos aprendizados.”

Parabéns à Sakana por assumir o erro. Contudo, o episódio serve como um lembrete importante de que, se uma afirmação parecer boa demais para ser verdade – especialmente no campo da inteligência artificial – provavelmente é.

Kyle Wiggers é repórter sênior na TechCrunch com especial interesse em inteligência artificial. Seus textos já apareceram em publicações como VentureBeat e Digital Trends, além de diversos blogs de tecnologia, como Android Police, Android Authority, Droid-Life e XDA-Developers. Vive no Brooklyn com sua parceira, uma educadora de piano, e se aventura no piano, mesmo que, na maioria das vezes, sem sucesso.