Os Grandes Modelos de Linguagem (LLMs) tomaram o mundo de assalto com suas capacidades e recursos semelhantes aos humanos. A mais recente adição à longa lista de LLMs, o modelo GPT-4, aumentou exponencialmente a utilidade do ChatGPT devido à sua natureza multimodal. Esta versão mais recente recebe informações na forma de texto e imagens e já está sendo usada para criar sites e chatbots de alta qualidade. Recentemente, um novo modelo foi introduzido para democratizar o ChatGPT, ou seja, torná-lo mais acessível e disponível para um público mais amplo, independentemente das restrições linguísticas ou geográficas.

Este último modelo, chamado Phoenix, visa alcançar um desempenho competitivo não apenas em inglês e chinês, mas também em idiomas com recursos limitados, como idiomas latinos e não latinos. Phoenix, o LLM multilíngue que alcança um ótimo desempenho entre os modelos ingleses e chineses de código aberto, foi lançado para disponibilizar o ChatGPT em locais com restrições impostas pela OpenAI ou pelos governos locais.

O autor descreveu o significado de Phoenix da seguinte forma:

  1. Phoenix foi apresentado como o primeiro modelo de ChatGPT de código aberto, multilíngue e democratizado. Isso foi conseguido usando dados multilíngues ricos nos estágios de pré-treinamento e de ajuste fino de instrução.
  2. A equipe conduziu a adaptação de instruções em vários idiomas, com foco em idiomas não latinos. Tanto a instrução quanto os dados de conversação foram usados para treinar o modelo. Essa abordagem permite que a Phoenix se beneficie de ambos, permitindo gerar respostas contextualmente relevantes e coerentes em diferentes configurações de idioma.
  3. O Phoenix é um modelo chinês de primeira linha que alcançou um desempenho próximo ao do ChatGPT. Sua versão em latim Chimera é competitiva na língua inglesa.
  4. Os autores alegaram que Phoenix é o modelo de linguagem grande de código aberto SOTA para muitas línguas além do chinês e do inglês.
  5. Phoenix está entre os primeiros a avaliar sistematicamente LLMs extensos, usando avaliações automáticas e humanas e avaliando vários aspectos das gerações de linguagem.

A Phoenix demonstrou desempenho superior em comparação com os LLMs de código aberto existentes em chinês, incluindo modelos como BELLE e Chinese-LLaMA-Alpaca. Em outros idiomas não latinos, como árabe, japonês e coreano, o Phoenix supera em grande parte os modelos existentes. A Phoenix não alcançou os resultados do SOTA para o Vicuna, que é um chatbot de código aberto com parâmetros 13B treinados pelo ajuste fino do LLaMA em conversas compartilhadas pelo usuário.

Isso ocorre porque a Phoenix teve que pagar um imposto multilíngue ao lidar com línguas não latinas ou não cirílicas. O «imposto multilingue» refere-se à degradação do desempenho que um modelo multilingue pode sofrer ao gerar texto noutras línguas que não a sua língua principal. O pagamento do imposto foi considerado digno pela equipe para a democratização como uma maneira de atender a grupos menores que falam línguas de recursos relativamente baixos. A equipe propôs uma solução livre de impostos Phoenix: Chimera para mitigar o imposto multilíngue em línguas latinas e cirílicas. Isso envolve a substituição da espinha dorsal do Phoenix pelo LLaMA. No idioma inglês, a Chimera impressionou o GPT-4 com 96,6% de qualidade ChatGPT.

Phoenix parece promissor devido ao seu potencial multilíngue e sua capacidade de permitir que pessoas de diversas origens linguísticas utilizem o poder dos modelos de linguagem para suas necessidades específicas.

Confira o Paper e o Github.