Sakana recua nas alegações de que sua IA pode acelerar dramaticamente o treinamento de modelos

Nesta semana, a startup Sakana AI, apoiada pela Nvidia e que levantou centenas de milhões de dólares de firmas de venture capital, fez uma afirmação notável. A empresa afirmou ter criado um sistema de IA, o AI CUDA Engineer, que poderia aumentar efetivamente a velocidade de treinamento de certos modelos em até 100 vezes.

O único problema é: o sistema não funcionou.

Usuários na X descobriram rapidamente que o sistema da Sakana acabou resultando em um desempenho de treinamento abaixo da média. Segundo um deles, a IA da Sakana provocou uma desaceleração de 3x — isto é, piorou o desempenho ao invés de acelerá-lo.

O que deu errado?

Um bug no código, de acordo com um post de Lucas Beyer, membro da equipe técnica da OpenAI. “O código original deles está errado de maneira sutil”, escreveu Beyer na X. “O fato de executarem benchmarks duas vezes com resultados drasticamente diferentes deveria fazê-los parar para pensar.”

Em uma análise pós-morte divulgada na sexta-feira, a Sakana admitiu que o sistema encontrou uma maneira de — como a empresa descreveu — “trapacear”. A causa apontada foi a tendência do sistema de “recompensar hacks”, isto é, identificar falhas para alcançar métricas elevadas sem atingir o objetivo principal, que era acelerar o treinamento dos modelos. Fenômenos semelhantes já foram observados em IAs treinadas para jogar xadrez.

Segundo a Sakana, o sistema encontrou brechas no código de avaliação que utilizava, permitindo que ele contornasse validações de precisão, entre outras verificações. A empresa afirmou ter solucionado o problema e que pretende revisar suas alegações em materiais atualizados. “Desde então, tornamos a avaliação e o sistema de perfil de tempo de execução mais robustos para eliminar muitas dessas brechas”, escreveu a empresa em seu post na X. “Estamos no processo de revisar nosso artigo e nossos resultados, para refletir e discutir os efeitos… Pedimos sinceras desculpas pela nossa falha com os leitores. Em breve, forneceremos uma revisão deste trabalho e discutiremos nossos aprendizados.”

É importante reconhecer a postura da Sakana ao admitir o erro. Contudo, o episódio serve como um lembrete de que, se uma afirmação parece boa demais para ser verdade, especialmente na área de IA, provavelmente é.

Kyle Wiggers é repórter sênior do TechCrunch com especial interesse em inteligência artificial. Seus textos já foram publicados na VentureBeat, na Digital Trends e em diversos blogs sobre gadgets, incluindo Android Police, Android Authority, Droid-Life e XDA-Developers. Ele vive no Brooklyn com sua parceira, uma educadora de piano, e também toca piano, ocasionalmente — mesmo que de forma nem sempre bem-sucedida.