A Bloomberg desenvolveu um modelo de linguagem especificamente para o setor financeiro. Para treinar a IA, a empresa usou seus próprios dados financeiros e aumentou-os com dados de texto on-line. Isso demonstra como as empresas podem desenvolver modelos de linguagem específicos de domínio que são mais úteis para sua indústria do que modelos genéricos.
As equipes de IA da Bloomberg primeiro construíram um conjunto de dados de documentos financeiros em inglês: 363 bilhões de tokens financeiros específicos vieram de seus próprios ativos de dados e outros 345 bilhões de tokens genéricos vieram de conjuntos de dados de texto on-line The Pile, C4 e Wikipedia.
Usando 569 bilhões de tokens desse conjunto de dados, a equipe treinou o “BloombergGPT” específico do domínio, um modelo de linguagem somente decodificador de 50 bilhões de parâmetros otimizado para tarefas financeiras. A equipe da Bloomberg usou o modelo de linguagem Bloom de código aberto como sua arquitetura base.
Para tarefas específicas de finanças, o BloombergGPT supera os modelos populares de linguagem de código aberto, como GPT-NEOX, OPT e Bloom. Mas também supera esses modelos em tarefas de linguagem genérica, como resumos, em alguns casos significativamente, e está quase no mesmo nível do GPT-3 de acordo com os benchmarks da Bloomberg.
“A qualidade dos modelos de aprendizado de máquina e PNL se resume aos dados que você coloca neles”, explicou Gideon Mann, chefe da equipe de produtos e pesquisa de ML da Bloomberg.
BloombergGPT ilustra o valor de modelos de linguagem específicos de domínio
De acordo com a Bloomberg, os modelos de linguagem podem ser usados em muitas áreas da tecnologia financeira, desde a análise de sentimentos em artigos, como aqueles relacionados a empresas individuais, até o reconhecimento automático de entidades, até a resposta a questões financeiras. Por exemplo, a divisão de notícias da Bloomberg pode usar o modelo para gerar automaticamente títulos para boletins informativos.
Além disso, o modelo precisava apenas de alguns exemplos para formular consultas na própria linguagem de consulta da Bloomberg (BQL) para extrair dados de um banco de dados. Você pode usar a linguagem natural para dizer ao modelo quais dados você precisa e isso gerará o BQL apropriado.
“Por todas as razões pelas quais os LLMs geradores são atraentes – aprendizado de poucas tomadas, geração de texto, sistemas de conversação, etc. – vemos um tremendo valor em ter desenvolvido o primeiro LLM focado no domínio financeiro”, disse Shawn Edwards, diretor de tecnologia da Bloomberg.
O modelo de linguagem específico do domínio, disse ele, permite que a Bloomberg desenvolva muitos novos tipos de aplicativos e obtenha um desempenho muito maior do que com modelos personalizados para cada aplicativo – tudo com um tempo de comercialização mais rápido.
