ChatGLM（内部アルファテスト版：QAGLM）は、特に中国人ユーザーのために設計されたチャットボットです。1,000億のトークンを持つ中英言語モデルを利用し、質問と回答、会話機能を備えています。現在、微調整が行われ、制限付きの内部テストが進行中であり、その範囲は時間をかけて拡大される予定である。

さらに、研究者たちは、新しい中国語と英語のバイリンガルディスカッションモデルChatGLM-6Bをリリースした。このモデルは、モデルの数量化技術と組み合わせることで、一般的に使用されているグラフィックカード（INT4）上でローカルに展開することができる。これは、GLM-1300Bの1000億トークンオープンソースモデルに続くものです。量子化レベルでは、6GBのビデオメモリが必要なだけです。

ChatGLM-6Bは62億のパラメータを持ち、1,000億モデルより小さいが、ユーザー展開の敷居を大幅に下げる。約1兆個の中国語と英語のバイリンガル・トレーニング識別子の後、監督と微調整、自助フィードバック、人間のフィードバックによる強化学習、その他の技術によって補完され、人間の嗜好に沿った応答を生成した。

ChatGLM

ChatGLMは、ChatGPTのコンセプトを出発点として、1000億トークンのGLM-130B 1ベースモデルで事前のコードトレーニングを取り入れ、監視付きファインチューニングやその他の手法を使って人間の意図との整合性を実現しています。ユニークな1000億トークンGLM-130Bベースモデルは、ChatGLMの現行バージョンにおける機能拡張に大きく関わっています。このモデルは、BERT、GPT-3、T5とは異なり、多数の目標関数を持つ自己回帰型事前学習アーキテクチャです。研究者たちは、1300億のパラメータを持つGLM-130B 1密モデルを、2022年8月に学術界とビジネス界に公開した。

ChatGLMの利点と主な特徴

  • 多言語のテキストを処理し、自然言語理解と生成機能を持つ。
  • 様々な分野での教育実績があり、正確で有用な情報や回答を人々に提供するための豊富な知識を持っている。
  • ユーザーからの問い合わせに対して、テキスト間の関連性や論理を推論することができる。
  • ユーザーや環境から学習し、モデルやアルゴリズムを自動的に更新・改善することができる。
  • 教育、医療、銀行など、さまざまな分野でこの技術の恩恵を受けている。
  • 人々が答えを見つけ、問題をより早く簡単に解決できるようになる。
  • 人工知能分野の認知度を高め、進歩を促進する。

課題と限界

  • 人工知能は、感覚や意識を持たない機械モデルとして設計されているため、人間に共通する共感能力や道徳的推論能力がない。
  • 知識は利用可能なデータとアルゴリズムに依存するため、容易に惑わされたり、誤った結論を出したりする可能性がある。
  • 抽象的で複雑な質問に答えるのが難しい。

チャットGLM-130B

スタンフォード大学の大型モデルセンターは、2022年11月に世界中で最も人気のある大型モデル30機種を評価し、GLM-130Bはアジアから唯一選ばれました。評価報告書によると、精度と悪質性の指標、ロバスト性、校正誤差の点で、GLM-130Bは1000億スケールのすべての大型ペデスタルモデルにおいてGPT-3 175B（davinci）に迫る、あるいは同等である。これは、OpenAI、Google Brain、Microsoft、Nvidia、Facebookの主要モデルと比較しています。

ChatGLM-6B

ChatGLM-6Bは、62億のパラメータを持つ中国語と英語の言語モデルです。ChatGLM（chatglm.cn）と同じ技術を利用し、シングル2080Tiで動作し、推論が可能な中国語の質疑応答・ディスカッションシステムである。研究者は、大規模モデル技術に関するコミュニティ開発を促進するために、ChatGLM-6Bモデルをオープンソースとして同時に利用できるようにした。

ChatGLM-6Bモデルは、汎用言語モデル（GLM）フレームワークの62億パラメータを持つオープンソースの多言語バージョンである。定量化手法により、ユーザは低コストのグラフィックス・ハードウェア上でローカルに展開することができます。

ChatGLM-6Bは、ChatGPTと非常によく似た方法を用いて、北京語での質疑応答セッションを促進するように設計されている。研究者たちは、中国語と英語の1兆トークンを合わせたコーパスを用いてモデルを訓練するために、教師ありの微調整、フィードバック・ブートストラップ、強化学習を人間の入力で利用した。このモデルは、人間の選択に一貫して反応することができ、約62億のパラメータを持つ。

ChatGLM-6Bの特徴

  • ChatGLM-6Bの1兆トークンは多言語であり、中国語と英語のコンテンツを1:1の比率で混合して学習しています。
  • 二次元RoPE位置符号化技術は、GLM-130Bの訓練経験に基づき、従来のFFNフレームワークを用いて改良された。ChatGLM-6Bの6B(62億)という扱いやすいパラメータサイズは、個々の学者や開発者による独立したチューニングや展開も可能にしている。
  • ChatGLM-6Bが半分のFP16精度で推論するためには、少なくとも13GBのビデオメモリが必要です。この要求は、モデル定量化技術と組み合わせることで、さらに10GB（INT8）と6GB（INT4）に削減することができ、ChatGLM-6Bを一般的に使用されているグラフィックカードに展開することができます。
  • ChatGLM-6Bのシーケンス長は2048であり、GLM-10B（シーケンス長：1024）よりも長いチャットやアプリケーションに適しています。
  • このモデルは、教師あり微調整、フィードバックブートストラップ、人間のフィードバックからの強化学習を使って、人間の教える意図を解釈するように訓練されています。表示されているマークダウン形式はこのトレーニングの結果です。

ChatGLM-6Bの限界：

  • ChatGLM-6Bのモデルや言語能力のメモリが小さいのは、6Bの記憶容量が限られているためです。多くの事実知識を必要とする問題や、論理的な困難（数学やプログラミングなど）を解決する問題を扱うとき、それは不十分な助言を提供するかもしれません。
  • ChatGLM-6Bは、人間の意図に緩くチューニングされた言語モデルであるため、偏った、おそらく破壊的な出力を生成する可能性があります。
  • ChatGLM-6Bの文脈解釈能力には、さらなる効率化が必要です。返答を生成するのに時間がかかりすぎたり、何度も会話を繰り返したりすると、会話の文脈が失われ、理解の誤りが生じる可能性がある。
  • トレーニング教材のほとんどは中国語で書かれており、英語はごく一部である。そのため、英語の指示を使用した場合、回答の質が低下する可能性があり、中国語の指示を使用した場合、提供された回答と衝突する可能性さえあります。
  • 誤解を招く: チャットGLM-6Bには「自己認識」の問題があり、誤解を招きやすく、誤った情報を提供する可能性があります。例えば、現在のバージョンに欠陥がある場合、モデルは自分自身について歪んだ認識を持つことになります。このモデルは、微調整の指示、約1兆個の識別子（トークン）の多言語事前学習、人間のフィードバックによる強化学習（RLHF）を経ているとはいえ、その限られた能力ゆえに特定の指示のもとでは被害をもたらす可能性がある–誤解を招くようなことを。

Githubのリンクと プロジェクトをチェックしてください。この研究のすべてのクレジットは、このプロジェクトの研究者に帰属する。