ChatGLM (versão de teste interna alfa: QAGLM) é um robô de chat projetado especificamente para usuários chineses. Ele utiliza um modelo de linguagem chinês-inglês com 100 bilhões de tokens, com recursos de perguntas e respostas e conversação. Ele foi ajustado, o teste interno restrito está em andamento e sua abrangência será ampliada ao longo do tempo.

Além disso, os pesquisadores lançaram o novo modelo de discussão bilíngue chinês-inglês, ChatGLM-6B, que, em conjunto com a tecnologia de quantização do modelo, pode ser implantado localmente em placas gráficas de uso comum (INT4). Isso segue o modelo GLM-130B 100 bilhões de tokens de código aberto. No nível de quantização, apenas 6 GB de memória de vídeo são necessários.

O ChatGLM-6B, com 6,2 bilhões de parâmetros, é menor do que os modelos de 100 bilhões, mas reduz significativamente o limiar para implantação do usuário. Após aproximadamente 1 trilhão de identificadores de treinamento bilíngue chinês-inglês, ele gerou respostas alinhadas com as preferências humanas, complementadas por supervisão e ajuste fino, feedback de autoajuda, reforço de aprendizado com feedback humano e outras tecnologias.

ChatGLM

O ChatGLM parte do conceito do ChatGPT como ponto de partida, incorporando o treinamento prévio de código no modelo base GLM-130B 1 de 100 bilhões de tokens, alcançando o alinhamento com a intenção humana usando o Ajuste Fino Supervisionado e outros métodos. O modelo base exclusivo GLM-130B de 100 bilhões de tokens é em grande parte responsável pelo aumento das capacidades na versão atual do ChatGLM. Esse modelo é uma arquitetura de treinamento prévio autoregressiva com inúmeras funções de objetivo, diferentemente do BERT, GPT-3 ou T5. Os pesquisadores disponibilizaram o modelo denso GLM-130B 1 com 130 bilhões de parâmetros para as comunidades acadêmica e empresarial em agosto de 2022.

Vantagens e recursos-chave do ChatGLM

  • Processa texto em vários idiomas e possui capacidades de compreensão e geração de linguagem natural.
  • Foi ensinado em várias áreas e possui um amplo conhecimento para fornecer informações e respostas precisas e úteis às pessoas.
  • Pode inferir as relações relevantes e a lógica entre textos em resposta às consultas dos usuários.
  • Pode aprender com seus usuários e ambientes, atualizando e aprimorando automaticamente seus modelos e algoritmos.
  • Vários setores se beneficiam dessa tecnologia, incluindo instrução, saúde e bancos.
  • Auxilia as pessoas a encontrar respostas e resolver problemas de forma mais rápida e fácil.
  • Promove conscientização e impulsiona o progresso no campo da inteligência artificial.

Desafios e Limitações

  • Foi concebido como um modelo de máquina desprovido de sentimentos e consciência, portanto, carece da capacidade de empatia e raciocínio moral compartilhados pelos seres humanos.
  • Pode ser facilmente induzido ao erro ou tirar conclusões incorretas, uma vez que o conhecimento depende dos dados e algoritmos disponíveis.
  • Pode enfrentar dificuldades em responder a questões abstratas ou complexas; pode precisar de ajuda para responder com precisão a esse tipo de pergunta.

ChatGLM-130B

O Centro de Modelos Grandes da Universidade de Stanford avaliou 30 dos modelos grandes mais populares em todo o mundo em novembro de 2022, e o GLM-130B foi o único modelo da Ásia a ser selecionado. De acordo com o relatório de avaliação, em termos de indicadores de precisão e malícia, robustez e erro de calibração, o GLM-130B se aproxima ou é igual ao GPT-3 175B (davinci) para todos os modelos grandes de pedestal na escala de 100 bilhões. Isso se compara aos principais modelos da OpenAI, Google Brain, Microsoft, Nvidia e Facebook.

ChatGLM-6B

O ChatGLM-6B é um modelo de linguagem chinês-inglês com 6,2 bilhões de parâmetros. Ele é um sistema de pergunta e resposta e discussão em chinês que utiliza a mesma tecnologia do ChatGLM (chatglm.cn) para ser executado em uma única 2080Ti e permitir o raciocínio. Os pesquisadores disponibilizaram o modelo ChatGLM-6B como código aberto simultaneamente para facilitar o desenvolvimento da comunidade em tecnologias de modelos grandes.

O modelo ChatGLM-6B é uma versão multilíngue de código aberto com 6,2 bilhões de parâmetros do framework Generic Language Model (GLM). O método de quantização permite que os usuários o implantem localmente em hardware gráfico de baixo custo.

Usando um método muito semelhante ao do ChatGPT, o ChatGLM-6B foi projetado para facilitar sessões de pergunta e resposta em mandarim. Os pesquisadores utilizaram o ajuste fino supervisionado, o bootstrap de feedback e o aprendizado por reforço com entrada humana para treinar o modelo com um corpus combinado de 1 trilhão de tokens em chinês e inglês. O modelo pode responder consistentemente às escolhas humanas, com cerca de 6,2 bilhões de parâmetros.

Recursos que diferenciam o ChatGLM-6B:

  • Os 1 trilhão de tokens do ChatGLM-6B são multilíngues, treinados em uma mistura de conteúdo em chinês e inglês na proporção de 1:1.
  • A técnica de codificação de posição RoPE bidimensional foi aprimorada usando a estrutura FFN convencional com base na experiência de treinamento do GLM-130B. O tamanho gerenciável de parâmetros do ChatGLM-6B, de 6B (6,2 bilhões), também permite ajuste e implantação independentes por acadêmicos e desenvolvedores individuais.
  • São necessários pelo menos 13 GB de memória de vídeo para que o ChatGLM-6B raciocine com meia precisão FP16. Essa demanda pode ser reduzida ainda mais para 10GB (INT8) e 6GB (INT4) quando combinada com a tecnologia de quantização do modelo, permitindo que o ChatGLM-6B seja implantado em placas gráficas de uso comum.
  • O ChatGLM-6B possui um comprimento de sequência de 2048, tornando-o adequado para chats e aplicações mais longos do que o GLM-10B (comprimento de sequência: 1024).
  • O modelo é treinado para interpretar as intenções de ensino humanas usando o Ajuste Fino Supervisionado, Bootstrap de Feedback e Aprendizado por Reforço a partir do Feedback Humano. O formato de markdown mostrado é o resultado desse treinamento.

Limitações do ChatGLM-6B:

  • O espaço de armazenamento limitado de 6B é responsável pela pequena memória do modelo e habilidades linguísticas do ChatGLM-6B. Ele pode fornecer conselhos inadequados ao lidar com questões que exigem muito conhecimento factual ou solução de dificuldades lógicas (como matemática ou programação).
  • Sendo um modelo de linguagem apenas vagamente sintonizado com a intenção humana, o ChatGLM-6B tem o potencial de produzir saídas tendenciosas e talvez destrutivas.
  • É necessário mais eficiência na capacidade do ChatGLM-6B de interpretar o contexto. É possível que a conversa perca seu contexto e ocorram erros na compreensão se demorar muito para gerar respostas ou se forem necessárias várias rodadas de conversa.
  • A maioria dos materiais de treinamento está escrita em chinês, enquanto apenas uma pequena parte está em inglês. Portanto, a qualidade da resposta pode ser comprometida quando são usadas instruções em inglês, e pode até entrar em conflito com a resposta fornecida quando são usadas instruções em chinês.
  • Enganoso: o ChatGLM-6B pode ter problemas de “auto percepção”, tornando-o suscetível a ser levado ao erro e fornecer informações incorretas. Se a versão atual do modelo estiver com falhas, por exemplo, ele terá uma percepção distorcida de si mesmo. Embora o modelo tenha sido submetido a instruções de ajuste fino, pré-treinamento multilíngue de cerca de 1 trilhão de identificadores (tokens) e aprendizado por reforço com feedback humano (RLHF), ele ainda pode causar danos sob instruções específicas devido às suas capacidades limitadas – coisas enganosas.

Confira o Link do Github e o Projeto. Todo o crédito desta pesquisa vai para os pesquisadores deste projeto.