メタ社の新しいAIチップは、ニューラルネットワークの実行を高速化するために設計され、強化されたスーパーコンピューターは、同社自身のAI研究を加速させるために設計された。
Meta Training and Inference Accelerator」（MTIA）は、推論と呼ばれるニューラルネットワークの処理性能を高速化し、安価にするために設計された新しいチップファミリーだ。このチップは2025年までに実用化される予定だ。当面の間、メタ社はデータセンターでまだNvidiaのグラフィックカードに頼っている。
グーグルのテンソル処理ユニット（TPU）のように、MTIAはニューラルネットワークに見られる行列乗算と活性化関数に最適化された特定用途向け集積回路（ASIC）だ。メタ社によると、このチップはGPUよりも低・中複雑度のAIモデルを処理できるという。
アマゾンはTrainiumとInferentiaによって、クラウドでのトレーニングと実行のためのAIチップへのアクセスも提供している。マイクロソフトはAMDと提携してAIチップを開発している。
リサーチ・スーパークラスター：メタのAIスーパーコンピューター「RSC」が第2段階に突入
2022年1月、メタはRSC AIスーパーコンピューターを発表した。当時、メタバースの基礎になると主張していた。完全に開発されれば、AI計算に特化した最速のスーパーコンピューターになるはずだ。同社は2020年からこのインフラを構築している。
メタ社によると、RSCは現在、第2段階に達しており、2,000基のNvidia DGX A100と16,000基のNvidia A100 GPUを搭載している。メタ社によると、最大性能は5エクサフロップス。RSCは、ジェネレーティブAIを含む様々な分野のAI研究に使用される。
RSCスパコンの特徴は、メタ社のプロダクション・システムのデータをAIトレーニングに活用できることだ。これまでメタ社は、膨大なデータの宝庫であるにもかかわらず、主にオープンソースや一般公開されているデータセットに依存していた。
RSCはすでに歴史に名を刻んでいる。メタ社はこのデータでLLaMA言語モデルをトレーニングし、一部は流出、一部は公開され、オープンソース言語モデル運動の原動力となった。メタ社によると、最大のLLaMAモデルのトレーニングには、2,048個のNvidia A100 GPUを使用して21日間を要した。
