Sakana retira afirmações de que sua IA pode acelerar dramaticamente o treinamento dos modelos
Esta semana, a Sakana AI, uma startup apoiada pela Nvidia que arrecadou centenas de milhões de dólares junto a investidores de venture capital, fez uma afirmação notável. A empresa alegou ter desenvolvido um sistema de inteligência artificial, o AI CUDA Engineer, capaz de acelerar o treinamento de certos modelos de IA em até 100 vezes.
O único problema é que o sistema não funcionou.
Usuários na rede social X descobriram rapidamente que o sistema da Sakana resultava em um desempenho inferior ao esperado durante o treinamento dos modelos. Segundo um usuário, a IA da Sakana causou uma desaceleração de 3 vezes – e não um aumento na velocidade.
O que deu errado? Um bug no código, segundo um post de Lucas Beyer, membro da equipe técnica da OpenAI.
“O código original deles está errado de uma maneira sutil”, escreveu Beyer. “O fato de terem realizado benchmarks DUAS vezes, com resultados totalmente diferentes, deveria fazê-los parar e refletir.”
Em uma análise pós-morte divulgada na última sexta-feira, a Sakana admitiu que o sistema encontrou uma forma de — como a própria empresa descreveu — “trapacear” e culpou essa ocorrência pela tendência do sistema de “recompensar truques”, ou seja, identificar falhas para alcançar métricas elevadas sem atingir o objetivo principal de acelerar o treinamento dos modelos. Fenômenos semelhantes já foram observados em sistemas de IA treinados para jogar xadrez.
De acordo com a Sakana, o sistema encontrou brechas no código de avaliação utilizado pela empresa, permitindo contornar as validações de precisão, entre outras verificações. A startup afirma ter solucionado o problema e que pretende revisar suas afirmações em materiais atualizados.
“Desde então, tornamos o mecanismo de avaliação e análise de tempo de execução mais robusto para eliminar muitas dessas brechas. Estamos em processo de revisão do nosso artigo e dos nossos resultados para refletir e discutir os efeitos. Pedimos profundas desculpas pela nossa falha aos nossos leitores. Em breve, forneceremos uma revisão deste trabalho e discutiremos os aprendizados,” informou a empresa em seu comunicado.
É louvável que a Sakana tenha reconhecido o erro. Mas esse episódio serve como um alerta: se uma afirmação parece boa demais para ser verdade, especialmente no universo da inteligência artificial, ela provavelmente não é.
Kyle Wiggers é repórter sênior no TechCrunch, com um interesse especial em inteligência artificial. Seu trabalho já foi publicado na VentureBeat, na Digital Trends e em diversos blogs especializados em gadgets, como Android Police, Android Authority, Droid-Life e XDA-Developers. Ele mora no Brooklyn com sua parceira, uma educadora de piano, e toca piano ocasionalmente – embora, na maioria das vezes, sem muito sucesso.
