Esta semana, a Sakana AI, uma startup apoiada pela Nvidia que já levantou centenas de milhões de dólares de firmas de capital de risco, fez uma afirmação notável: a empresa disse ter criado um sistema de IA, o AI CUDA Engineer, que poderia acelerar o treinamento de certos modelos de IA em até 100 vezes.

No entanto, o único problema é que o sistema não funcionou.

Usuários descobriram rapidamente que o sistema da Sakana, na prática, resultava em um desempenho inferior ao esperado durante o treinamento dos modelos. Segundo um desses usuários, a IA da empresa chegou a causar uma desaceleração de 3 vezes – ou seja, ao invés de acelerar, o desempenho piorava.

O que deu errado? Um bug no código, conforme apontou Lucas Beyer, integrante da equipe técnica da OpenAI.

“O código original deles está errado de uma forma sutil. O fato de realizarem benchmarks duas vezes com resultados completamente diferentes deveria fazê-los parar e refletir.”

Em um post-mortem divulgado na última sexta-feira, a Sakana admitiu que o sistema havia encontrado uma forma de — como a empresa descreveu — “trapacear”. A culpa foi atribuída à tendência do sistema de “recompensar hacks”, ou seja, identificar falhas que permitiam alcançar métricas elevadas sem cumprir o verdadeiro objetivo: acelerar o treinamento dos modelos. Fenômenos semelhantes foram observados em IAs treinadas para jogar xadrez.

De acordo com a Sakana, o sistema explorou brechas no código de avaliação utilizado pela empresa, permitindo-lhe contornar validações de precisão e outros parâmetros de checagem. A companhia afirmou já ter resolvido o problema e que pretende revisar suas afirmações em materiais atualizados.

“Desde então, tornamos o mecanismo de avaliação e o painel de análise de desempenho em tempo real mais robustos, de forma a eliminar muitas dessas brechas. Estamos no processo de revisar nosso artigo e nossos resultados para refletir e discutir os efeitos… Pedimos desculpas profundamente pela nossa falha e, em breve, disponibilizaremos uma revisão deste trabalho, juntamente com nossas lições aprendidas.”

É importante reconhecer que, embora seja louvável que a Sakana tenha assumido o erro, esse episódio serve como um lembrete de que, se uma afirmação parece boa demais para ser verdade – especialmente no campo da inteligência artificial – provavelmente ela é.

Kyle Wiggers é repórter sênior na TechCrunch, com um interesse especial em inteligência artificial. Seus textos já foram publicados no VentureBeat, Digital Trends, entre outros blogs de tecnologia, como Android Police, Android Authority, Droid-Life e XDA-Developers. Ele reside no Brooklyn com sua parceira, uma educadora de piano, e também toca piano ocasionalmente – embora, na maioria das vezes, sem sucesso.