オープンソースの大モデルLLaMA 2が発売されてから1年近く経って、Metaの次世代の大モデルLLaMA 3が登場する。
4月9日にロンドンで行われたイベントで、Metaは来月中に初めてLLaMA 3をリリースする予定であることを確認した。モデルには異なる機能を持つ複数のバージョンがあるという。
しかし、MetaはLLaMA 3のパラメータ規模を開示していない。「時間が経つにつれて、LLaMAによって駆動されるMeta AIを世界で最も有用なアシスタントにすることを目指しています」とMeta人工知能研究副総裁のJoelle Pineau氏は言う。「この目標を達成するには、まだかなりの仕事がある」。
一方、科学技術外信のThe Informationが4月8日に発表した報道によると、対標GPT-4の大モデルとして、LLaMA 3の大規模なバージョンパラメータ数は1400億を超える可能性があり、最大のLLaMA 2バージョンのパラメータ量は700億である。LLaMA 3は、マルチモーダル処理、すなわちテキストおよび画像の理解と生成を同時にサポートする。
注目すべきは、LLaMA 3はMetaの従来のオープンソースルートを継続することである。現在、オープンソースモデル界の競争はますます激しくなり、オープンソースモデルもますます強く進化している。これまで、グーグル、マースク傘下のxAI、Mistral AI、StabilityAIなどを含む多くの企業がオープンソースの大モデルを発表してきた。
オープンソースモデル界の「担い手」として、AIインフラへのMetaの投入も侮れず、現在はマイクロソフトだけがそれに匹敵する計算能力の備蓄を持っている。Metaが発表した技術ブログによると、同社は2024年末までに35,000個の偉達H 100 GPUを再購入し、他のGPUを含めると、600,000個近くのH 100に相当する計算力を持つという。
来月です！LLaMA 3が登場
パラメータ量または1400億
4月9日にロンドンで行われたイベントで、Metaは来月中に初めてLLaMA 3をリリースする予定であることを確認した。Metaグローバル事務総長のニック・クレイグ氏は、「来月中には、さらに短期間で次世代のベースモデルキットLLaMA 3をリリースしたい」と述べた。
Cleggの表現から見ると、LLaMA 3には複数の異なる機能のバージョンがあります。「年内には、さまざまな機能、汎用性を備えた一連のモデルを発表し、すぐに発表を開始します」
また、Metaチーフプロダクトオフィサーのクリス・コックス氏は、MetaはLLaMA 3を用いてMetaの複数の製品をサポートする予定だと付け加えた。
注目すべきは、LLaMA 3はMetaの従来のオープンソースルートを継続することである。
OpenAIが堅持する閉源ルートや大パラメータLLMとは異なり、Metaは最初から開源戦略と小型化LLMを選択していた。
2023年2月、Metaは公式サイトでLLaMAの大モデルを公開発表した。GPTシリーズモデルと類似しており、LLaMAもTransformerインフラストラクチャ上に構築された自己回帰言語モデルである。
LLaMAは70億、130億、330億、650億の4つのパラメータ規模を含み、LLMの小型化と庶民化研究を推進することを目的としている。対照的に、GPT-3は最高1750億のパラメータ規模に達した。Metaは当時の論文で、体積が10倍以上小さいにもかかわらず、LLaMA（130億パラメータ）の性能はGPT-3より優れているとまとめている。
一般的に、小さいモデルはコストが低く、より速く実行でき、微調整が容易です。Metaのザッカーバーグ最高経営責任者がこれまでの財報電話会議で述べたように、オープンソースモデルは一般的により安全で効率的で、よりコスト効率の高い運用を行っており、コミュニティの審査と開発を受けています。
オープンソース問題については、ザッカーバーグ氏は外信The Vergeとのインタビューで、「最大の挑戦の1つは、もしあなたが作ったものが本当に価値があれば、最終的には非常に集中的で偏狭になると考える傾向がある。それをよりオープンにすれば、機会と価値の不平等がもたらす可能性のある多くの問題を解決することができる。だから、オープンソースのビジョン全体の重要な構成部分だ」と述べた。
このほか、小型モデルは開発者がモバイルデバイス上でAIソフトウェアを開発するのに便利であり、LLaMAシリーズモデルがオープンソースから開発者の注目を集めている理由でもある。現在、Github上の多くのモデルはLLaMAシリーズモデルに基づいて開発されています。
Metaは昨年7月までにLLaMA 2を発表した。当時、Metaも先発ミニチュアの戦略を採用していた。700億パラメータのLLaMA 2大規模バージョンをリリースする前に、Metaは130億パラメータと70億パラメータの小型バージョンを先行リリースした。
しかし、関連するテストによると、LLaMA 2は友人への悪戯や車のエンジンを「殺す」方法など、議論の少ない質問への回答を拒否した。ここ数ヶ月、MetaはLLaMA 3が論争のある質問に答える上でより開放的で正確になるように努力してきた。
MetaはLLaMA 3のパラメータ規模を明らかにしていないが、The Informationの記事を見ると、対標GPT-4の大モデルとして、LLaMA 3の大規模なバージョンパラメータ量は1400億を超える可能性があり、これは最大バージョンのLLaMA 2と比べて2倍に向上した。
オープンソースモデル界全体では、競争はますます激しくなり、オープンソースモデルもますます強く進化している。
今年2月、グーグルは昨年堅持した大モデル閉源戦略を珍しく変更し、オープンソース大モデルのGemmaを発売した。3月には、マースクも傘下のxAI社のGrok-1モデルをオープンした。GemmaとGrok-1の性能試験文書によると、数学、推論、コードなどの複数のベンチマーク試験における性能は、同規模のLLaMA 2モデルを上回っている。
これまで、グーグル、xAI、Mistral AI、DataBricks、StabilityAIなどを含む複数の科学技術会社がオープンソースの大モデルを発表してきた。ある業界関係者はこれまで、毎日経済新聞の記者とのインタビューで、「オープンソースは大勢の赴くところであり、Metaはこの傾向をリードしていると思う。次にMistral AI、HuggingFaceなど規模の小さい会社だ」と話していた。
狂巻AGI：100億ドルの買いだめチップを豪投
年末の計算力は約60万個のH 100に相当する
オープンソースモデル界の「担い手」として、AIインフラへのMetaの投入も侮れない。
実際、Metaは先月、独自のコンピューティングリソースとAIインフラストラクチャの配置の詳細とロードマップを示す技術ブログを発表したことがある。同社によると、長期的なビジョンは、誰もが広く使用して恩恵を受けることができるように、オープンで責任ある汎用人工知能（AGI）を構築することだという。
Metaはブログで、「2024年末までに、我々の目標は（AI）インフラストラクチャの拡大を継続することであり、その中には350000個の雄大なH 100 GPUが含まれており、これはその製品ポートフォリオの一部であり、その他を含めると、その計算力は600000個近くのH 100に相当する」と書いている。現在、マイクロソフトはそれに相当する計算能力の備蓄しか持っていないという。アマゾンで提示された価格で計算すると、1枚のH 100チップは約3万ドルで、350,000個のH 100の価格は105億ドル（約760億元）だ。
この文書では、Metaはまた、H 100 GPUによって構成される24576個の雄大なクラスターからなるLLaMA 3を訓練するためのいくつかのクラスター詳細を開示している。
市場追跡会社Omdiaが昨年発表したレポートによると、MetaとマイクロソフトはH 100 GPUの最大の買い手だ。これによりますと、上記2社は2023年にそれぞれ150,000個のH 100 GPUを購入し、グーグル、アマゾン、オラクルなどのテクノロジー会社が購入したH 100 GPUの3倍以上になると試算されています。
前述の文書でMetaは、「Metaは常に人工知能ソフトウェアとハードウェアのオープンイノベーションに取り組んでいます。オープンソースハードウェアとソフトウェアは、業界の大規模な問題解決を支援する貴重なツールであると信じています」と、従来のオープンソース路線を堅持することを再確認しました。
注目すべきは、AIへの投入により、ザッカーバーグ氏はフォーブスが最新発表した2024（第38回）の世界億万長者番付で4位を占め、資産純価値は1770億ドルで、これもザッカーバーグ氏が記録して以来最高の順位となった。ドルで計算すると、ザッカーバーグ氏の資産純価値は過去1年間で最も増加し、1126億ドル増加し、174.8%増加した。