BitNet b1.58 2B4T é um novo modelo de linguagem da Microsoft projetado para operar com consumo mínimo de energia e uso reduzido de memória. Ao contrário dos modelos convencionais, que utilizam números de ponto flutuante de 16 ou 32 bits, o BitNet emprega apenas 1,58 bits por peso, reduzindo significativamente os requisitos de memória, cortando o consumo de energia e aprimorando os tempos de resposta – especialmente em dispositivos com capacidade computacional limitada. O modelo é baseado em trabalhos anteriores desenvolvidos pela equipe BitNet.
Modificando a arquitetura Transformer para eficiência
Embora o BitNet seja construído sobre a arquitetura Transformer padrão, ele incorpora diversas modificações com o objetivo de aumentar a eficiência. Por exemplo, os desenvolvedores substituiram os componentes computacionais tradicionais por camadas denominadas BitLinear, que utilizam representações numéricas simplificadas. Além disso, as funções de ativação foram reduzidas para valores de 8 bits. Mesmo com essas reduções, o BitNet apresenta um desempenho comparável a modelos que são duas a três vezes maiores.
O modelo foi treinado com quatro trilhões de palavras provenientes de conteúdos públicos da web, materiais educacionais e problemas matemáticos sintéticos. Em seguida, passou por um ajuste fino com conjuntos de dados especializados em diálogos, sendo otimizado para gerar respostas que sejam ao mesmo tempo úteis e seguras.
Avaliando o BitNet b1.58 2B4T para implantação local
Em testes de desempenho, o BitNet superou outros modelos compactos e se mostrou competitivo quando comparado a sistemas significativamente maiores e menos eficientes. Com uma utilização de memória de apenas 0,4 gigabytes, o modelo é ideal para implantação em laptops ou mesmo em ambientes de nuvem. Em comparação com modelos simplificados após o treino – como aqueles que utilizam quantização INT4 – o BitNet demonstra um equilíbrio superior entre desempenho e eficiência.
Para facilitar a adoção, a Microsoft disponibilizou ferramentas de inferência dedicadas para execução tanto em GPU quanto em CPU, incluindo uma versão leve em C++. Os planos futuros incluem a expansão do modelo para suportar textos mais longos, a incorporação de novos idiomas e a integração de entradas multimodais, como imagens.
Resumo
- O BitNet b1.58 2B4T, da Microsoft, é um modelo de linguagem extremamente eficiente, utilizando apenas 1,58 bits por peso, o que diminui a necessidade de memória, energia e processamento.
- Apesar das adaptações, como o uso de camadas BitLinear e ativações de 8 bits, o BitNet alcança um desempenho comparável a modelos muito maiores e supera outros modelos de baixo custo em testes.
- Com uma pegada de memória de apenas 0,4 gigabytes, o modelo é simples de implementar em hardware padrão. A Microsoft planeja expandir o BitNet para suportar textos mais longos, integrar novos idiomas e incluir entradas multimodais no futuro.
