O novo motor de raciocínio da Clarifai torna modelos de IA mais rápidos e menos caros
Na quinta-feira, a plataforma de IA Clarifai anunciou um novo motor de raciocínio que, segundo a empresa, tornará a execução de modelos de IA duas vezes mais rápida e 40% menos cara. Projetado para ser adaptável a uma variedade de modelos e provedores de nuvem, o sistema emprega uma série de otimizações para extrair mais poder de inferência do mesmo hardware.
“Existem vários tipos diferentes de otimizações, desde os kernels CUDA até técnicas avançadas de decodificação especulativa”, afirmou o CEO Matthew Zeiler. “Você pode extrair mais do mesmo conjunto de placas, basicamente.”
Os resultados foram verificados por uma série de testes comparativos realizados por uma empresa terceirizada, que registrou desempenhos de ponta tanto em taxa de processamento quanto em latência.
O processo foca especificamente na inferência – as exigências computacionais para operar um modelo de IA já treinado. Essa demanda cresceu significativamente com a ascensão de modelos agentivos e de raciocínio, que exigem múltiplas etapas para responder a um único comando.
Inicialmente lançada como um serviço de visão computacional, a Clarifai vem direcionando seu foco para a orquestração computacional, em meio ao boom da IA que elevou drasticamente a demanda por GPUs e data centers. A empresa anunciou sua plataforma de computação durante o AWS re:Invent em dezembro, mas o novo motor de raciocínio é o primeiro produto especificamente voltado para modelos agentivos de múltiplas etapas.
O produto surge em meio à intensa pressão sobre a infraestrutura de IA, que impulsionou uma série de acordos bilionários. A OpenAI revelou planos para até US$ 1 trilhão em novos investimentos em data centers, projetando uma demanda quase ilimitada por capacidade computacional. Contudo, apesar da intensa expansão do hardware, o CEO da Clarifai acredita que ainda há muito a ser feito na otimização da infraestrutura existente.
“Existem truques de software que alavancam um bom modelo, como este motor de raciocínio da Clarifai, mas também melhorias algorítmicas que podem ajudar a reduzir a necessidade de data centers com gigawatts de potência. E não creio que já tenhamos alcançado o fim das inovações algorítmicas”, diz Zeiler.
