北京時間7月23日夜、Metaは最新のオープンソース大モデルLlama 3.1シリーズを正式に発表し、オープンソースモデルとクローズソースモデルの差をさらに縮小した。Llama 3.1は8 B、70 B、450 Bの3つのパラメータ規模を含み、そのうち450 Bパラメータのモデルは複数のベンチマークテストでOpenAIのGPT-4 oを上回り、Claude 3.5 Sonnetなどの先行するクローズドソースモデルに匹敵する。
Meta創業者のザッカーバーグCEOは同日、公式サイトにブログを掲載し、今回の発表を後押しした。同氏によると、Llama 3.1バージョンは業界の転換点となり、多くの開発者が主にオープンソースを使用し始め、オープンソースAIは将来の発展方向だという。
XでMetaチームを祝った英偉達高級研究科学者ジム・ファン氏は、「GPT-4の力は私たちの手にあり、本当に歴史的な瞬間だ」と述べた。
具体的な詳細については、Llama 3.1の3つのバージョンのモデルコンテキストウィンドウはすべて8 kから128 Kに増加し、16倍に拡大し、8つの言語をサポートしています。その中で、Llama 3.1-405 Bモデルは15兆個を超えるtokensを使用して訓練を行い、そしてこの訓練規模を達成するために、チームは1.6万個のH 100のGPUを使用した。公式によると、405 Bモデルはこの規模で訓練された最初のLlamaモデルだという。
オープンソースの大規模な言語モデルは機能と性能の面でクローズソースモデルに遅れていることが多いが、「しかし今、オープンソースがリードする新しい時代を迎えている」。
公式ブログでは、Metaは150を超えるベンチマークデータセットの性能を評価し、Llama 3.1と他のモデルの能力表現を比較し、旗艦モデルLlama 3.1-405 Bは常識、操作性、数学などの一連のタスクの中でGPT-4、GPT-4 o、Claude 3.5 Sonnetに匹敵することができる。また、8 Bと70 Bの小型モデルは、同じ数のパラメータを持つ閉源と開源モデルと競争力がある。
現実のシナリオでは、Llama 3.1 405 Bは、GPT−4 oおよびClaude 3.5 Sonnetよりも全体的に優れたパフォーマンスを有する人工評価と比較した。
今回のMetaはまた、開発者が初めてLlamaモデル（405 Bを含む）の出力を使用して他のモデルを改良できるようにオープンソースライセンスを更新した。GPT-4 oに対しては、モデルが画像とビデオを認識し、音声でインタラクションをサポートするために、画像、ビデオ、音声機能を組み合わせてLlama 3に統合することもあると公式に述べています。しかし、現在も開発中であり、リリースの準備はできていない。
公式ブログでMetaは、これまでのすべてのLlamaバージョンの総ダウンロード数が3億回を超えていることを明らかにした。
今回のモデル発表のほか、ザッカーバーグ氏は公式サイトで長文「Open Source AI Is the Path Forward」を発表し、その中でオープンソースの重要性に言及し、オープンソースはすべての開発者にとって、メッタにとって、そして世界にとって良いことだと考えている。
ザッカーバーグ氏は、オープンソース系Linuxがクローズドソース系Unixに勝ったことを例に、人工知能が同様の方法で発展すると考えている。「いくつかの科学技術会社が先行する閉鎖モデルを開発しているが、オープンソースは急速に差を縮めている」と同氏は述べ、昨年、Llama 2は旧世代モデルとしか比較できなかったと述べた。今年、Llama 3はいくつかの分野で競争力を持ち、いくつかの面で最先端のモデルをリードしている。
ザッカーバーグ氏は、オープンソースは革新を促進し、コストを削減し、安全性を高めることができると考えている。開発者にとっては、オープンソースを使用することで独自のモデルを訓練、微調整、蒸留することができ、各組織には異なるニーズがあり、これらのニーズを満たすために異なるサイズのモデルを使用することが好ましいが、これらのモデルは特定のデータによって訓練または微調整されている。
同時に、開発者は閉鎖されたベンダーにロックされず、データセキュリティを保護することができます。「オープンソースソフトウェアは、開発がより透明で、広くレビューされるため、より安全であることが多い」とザッカーバーグ氏は見ている。
ザッカーバーグ氏はまた、オープンソースモデルのコストはより低く、効率的であり、開発者はGPT-4 oのような閉鎖モデルの約50%を使用して、ユーザーインタフェースとオフライン推論に適しているLlama 3.1 405 B上の推論を彼ら自身のインフラストラクチャ上で実行することができると述べた。
「オープンソース人工知能は世界最高の機会を意味する」とザッカーバーグ氏は見ている。この技術を利用することで、最大の経済的機会と安全保障を創出することができる。