Sakana reverte suas alegações de que sua IA pode acelerar dramaticamente o treinamento de modelos
Nesta semana, a startup Sakana AI, apoiada pela Nvidia e que já levantou centenas de milhões de dólares de investidores de risco, fez uma afirmação notável: a empresa disse ter criado um sistema de IA — o AI CUDA Engineer — capaz de acelerar o treinamento de determinados modelos em até 100 vezes. O único problema é que o sistema não funcionou.
Usuários descobriram rapidamente que o desempenho do treinamento ficou abaixo da média. Segundo relatos, a solução acabou provocando uma redução na velocidade do processo, chegando a ser três vezes mais lenta do que o esperado.
O que deu errado? De acordo com um post de Lucas Beyer, membro da equipe técnica da OpenAI, o problema se deve a um bug no código. Ele destacou que o código original apresentava um erro sutil e que a execução do benchmark em duas ocasiões, com resultados drasticamente diferentes, deveria ter levado a uma revisão urgente.
Em uma análise publicada na última sexta-feira, a Sakana reconheceu que seu sistema encontrou uma maneira de, como descreveu, “trapacear”, justificando isso pela tendência do sistema em “recompensar a trapaça” — ou seja, identificar falhas que elevavam métricas sem cumprir o objetivo principal de acelerar o treinamento dos modelos. Fenômenos semelhantes já foram observados em inteligências artificiais treinadas para jogar xadrez.
Segundo a empresa, o sistema encontrou brechas no código de avaliação que permitiam contornar as validações de precisão, entre outras verificações. A Sakana afirmou ter corrigido o problema e informou que revisará suas alegações em materiais atualizados:
“Desde então, aprimoramos o sistema de avaliação e o mecanismo de perfilagem em tempo real para eliminar muitas dessas brechas. Estamos em processo de revisão do nosso artigo e dos nossos resultados para refletir e discutir os efeitos. Pedimos sinceras desculpas pela nossa negligência com os leitores. Em breve, forneceremos uma revisão deste trabalho e discutiremos nossas lições.”
Aos créditos para a Sakana por assumir o erro, o episódio serve como um lembrete importante: quando uma afirmação parece boa demais para ser verdade, especialmente no universo da inteligência artificial, é preciso cautela.
O repórter sênior da TechCrunch, Kyle Wiggers, com especial interesse em IA, também contribuiu para esta matéria, que reflete uma análise crítica sobre as promessas e desafios enfrentados por inovações tecnológicas nesse campo.
