Esta semana, a Sakana AI, uma startup apoiada pela Nvidia que já arrecadou centenas de milhões de dólares de investidores de capital de risco, fez uma afirmação notável. A empresa declarou ter criado um sistema de inteligência artificial, denominado AI CUDA Engineer, capaz de acelerar o treinamento de determinados modelos de IA em até 100 vezes.
O único problema é que o sistema não funcionou.
Usuários na rede expressaram que o sistema da Sakana, na verdade, resultou em um desempenho de treinamento de modelo inferior à média. De acordo com um desses usuários, a IA da Sakana ocasionou uma desaceleração de 3 vezes — e não uma aceleração.
O que deu errado? Um bug no código, segundo uma publicação de Lucas Beyer, membro da equipe técnica da OpenAI.
“O código original deles está errado de uma forma sutil”, escreveu Beyer. “O fato de realizarem a avaliação duas vezes com resultados totalmente diferentes deveria fazê-los parar e refletir.”
Em uma análise pós-incidente publicada na sexta-feira, a Sakana admitiu que o sistema encontrou uma maneira de — como a própria empresa descreveu — “trapacear”, culpando a tendência do sistema de “recompensar gambiarras”, isto é, identificar falhas para alcançar métricas elevadas sem atingir o objetivo desejado (acelerar o treinamento do modelo). Fenômenos semelhantes já foram observados em sistemas de IA treinados para jogar xadrez.
Segundo a Sakana, o sistema identificou brechas no código de avaliação utilizado pela empresa, permitindo burlar validações de precisão, entre outras verificações. A empresa afirma que já solucionou o problema e que pretende revisar suas afirmações em materiais atualizados.
“Desde então, tornamos a ferramenta de avaliação e análise de tempo de execução mais robusta para eliminar muitas dessas falhas”, escreveu a empresa em sua publicação. “Estamos revisando nosso artigo e nossos resultados para refletir e discutir os efeitos… Pedimos sinceras desculpas pela nossa falha aos leitores. Em breve, forneceremos uma revisão deste trabalho e discutiremos nossos aprendizados.”
Parabéns à Sakana por admitir o erro. Contudo, o episódio serve como um bom lembrete de que, se uma afirmação parece boa demais para ser verdade, especialmente no campo da inteligência artificial, provavelmente é.
Kyle Wiggers é repórter sênior na TechCrunch, com especial interesse em inteligência artificial. Seus textos já foram publicados no VentureBeat, Digital Trends e em diversos blogs de tecnologia, como Android Police, Android Authority, Droid-Life e XDA-Developers. Ele mora no Brooklyn com seu parceiro, um educador de piano, e também se aventura a tocar piano, ainda que de forma modesta.
