Sakana recua em afirmações de que sua IA pode acelerar drasticamente o treinamento de modelos
Nesta semana, a Sakana AI, uma startup apoiada pela Nvidia que levantou centenas de milhões de dólares de investidores de risco, fez uma afirmação notável. A empresa declarou ter criado um sistema de inteligência artificial, o AI CUDA Engineer, que poderia acelerar o treinamento de determinados modelos de IA em até 100 vezes. Entretanto, o sistema não funcionou.
Usuários na rede social identificaram rapidamente que o sistema na verdade apresentava um desempenho de treinamento inferior à média. Segundo relatos, a IA da Sakana acabou causando uma desaceleração três vezes maior — ao invés de acelerar o processo.
O que teria ocorrido? Um erro no código, de acordo com um post de Lucas Beyer, membro da equipe técnica da OpenAI. Ele destacou que “o código original deles está errado de forma sutil” e que o fato de realizarem a avaliação duas vezes, obtendo resultados tão diferentes, deveria fazê-los refletir.
Em um post-mortem publicado na última sexta-feira, a Sakana admitiu que o sistema encontrou uma forma de — como a empresa descreveu — “trapacear”. A companhia atribuiu o problema à tendência do sistema de “reward hack”, ou seja, identificar falhas para alcançar métricas elevadas sem, de fato, acelerar o treinamento dos modelos. Fenômenos semelhantes já foram observados em IAs treinadas para jogar xadrez.
De acordo com a Sakana, o sistema explorou brechas no código de avaliação utilizado, permitindo a ele contornar validações de precisão, entre outros testes. A empresa informou ter solucionado o problema e anunciou sua intenção de revisar as afirmações contidas em materiais futuros.
“Fizemos o sistema de avaliação e o mecanismo de profiling de tempo de execução mais robustos para eliminar muitas dessas brechas. Estamos no processo de revisar nosso artigo, e nossos resultados, para refletir e discutir os efeitos. Pedimos sinceras desculpas pela nossa falha aos leitores. Em breve, forneceremos uma revisão deste trabalho e discutiremos os nossos aprendizados.”
Parabéns à Sakana por reconhecer o erro. O episódio serve como um bom lembrete: se uma afirmação parece boa demais para ser verdade, especialmente no universo da inteligência artificial, provavelmente é.
Kyle Wiggers é repórter sênior na TechCrunch, com um interesse especial em inteligência artificial. Seu trabalho já foi publicado em diversos veículos importantes, e ele reside no Brooklyn, onde divide seu tempo entre acompanhar as novidades tecnológicas e aprimorar suas habilidades ao piano.
