新しい大規模言語モデルLlama 2で、MetaはOpenAIに代わるオープンソースとして自らを位置づけている。マイクロソフトはパートナーとして参加している。
Llama 2は現在、研究目的や商用利用で自由に利用可能で、月間7億人のアクティブユーザーが利用している。メタ社によると、このモデルには70億、130億、700億のパラメータを持つ3つのサイズがあり、Llama v1よりも40％多いデータでトレーニングされている。
コンテキストの長さ（モデルが一度に処理できるAIの短期メモリ内の最大データ量）は4096トークンで、前モデルの2倍、GPT-3.5を使用したChatGPTに相当する。
Llama v1や他のオープンソースモデルと比較すると、Llama 2はすべてのベンチマークでより優れたパフォーマンスを示しています。特に重要なMassively Multi-Tasked Language Understanding (MMLU)ベンチマークでは、Llamaは前モデルやオープンソースの競合モデルを明らかに上回っています。
GPT-4やPaLM-2などのクローズド・ソース・モデルと比較して、Metaは「性能に大きな差がある」と話す。しかし、Llama-2はほとんどの場合、GPT-3.5でChatGPTのレベルに達すると予想される。
コーディング・タスクでは、コード・インタープリターを備えたGPT-4や、Starcoderのような特殊なモデルが、ベンチマークによれば優位に立つはずだ。
これらのモデル[Llama 2]は、GPT-4のような他のモデルにはまだ遅れをとっているものの、我々が調査した評価セットにおいて、既存のオープンソースチャットモデルと同等の競争力を示し、いくつかのプロプライエタリモデルと同等の能力も示している。
記事より
Metaによると、Llama 2は、一般に利用可能なオンライン・データ・ソースを使用してトレーニングされた。調整されたチャットモデルであるLlama-2-chatは、一般に利用可能なトレーニングデータセットと100万以上の人間のアノテーションを利用している。同じ手法、人間のフィードバックからの強化学習（RLHF）を使って、OpenAIはChatGPTも最適化しました。
Metaは、登録フォームに記入した後、Llamaウェブサイトでテンプレートを無料でダウンロードできるようにしています。各ダウンロードには、テンプレートコード、ウェイト、ユーザーマニュアル、責任ある使用ガイド、許容される使用ガイドライン、テンプレートカード、ライセンスが付属しています。
このウェブサイトでは、70億と130億のパラメータを持つチャットモデルの無料デモ版をご利用いただけます。
メタ、マイクロソフトと提携
少し意外なことに、MetaはOpenAIの最大の出資者であるマイクロソフトと提携してLlamaモデルを紹介している。どうやらマイクロソフトは、そのAzureインフラを通して企業がモデルを利用できるようにすることで、クローズドソースとオープンソースの両分野での地位を確立したいと考えているようだ。メタ社はまた、アマゾンウェブサービスやハギングフェイスなどのプロバイダーを通じてラマを提供している。
モデルの発表によると、両社はオープンなAIエコシステムを構築し、Metaが共同開発したAIフレームワークであるPyTorchをMicrosoft Azure上でサポートしてきたという共通の歴史を持っている。
この協業はまた、メタバースにおける未来の仕事と遊びのための没入型体験を可能にすることを目指している。昨年秋、マイクロソフトはメタのバーチャルリアリティデバイス用のOfficeソフトウェアを初めて発表した。
さらにメタ社は、AIの責任ある利用の重要性を強調し、Llama 2の公正で責任ある利用を保証するために、レッドチーム演習、透明性スキーム、責任ある利用ガイド、利用ポリシーなどのリソースを提供している。
メタ社はまた、リスクがあるにもかかわらず、このモデルの立ち上げを支持する一連の専門家の支持によって、オープンソースへの賭けにヘッジをかけている。「責任あるオープンイノベーションは、私たち全員にAI開発プロセスにおける利害関係を与え、これらの技術に可視性、精査、信頼をもたらします。今日のLlamaモデルのオープン性により、誰もがこのテクノロジーから利益を得ることができるようになる」と声明は書かれている。
メタ社のAI責任者で、人工知能分野で最も有名な研究者の一人であるヤン・ルクン氏は、ツイッターでラマ2の発売を祝福し、「これはLLM市場の風景を変えるだろう」と述べた。
このリリースは、Llama v2が商業的に実行可能であり、OpenAIの成長を抑制することが期待されるなど、過去数週間からのいくつかの噂を裏付けるものである。メタ社自身は、AIエコシステムのオープンソースムーブメントを利用することで、戦略的に興味深い立場に立つことができるだろう。
