米太平洋時間7月23日、Meta（原題Facebook）は8 B、70 B、405 Bの3つのサイズを持ち、文脈の長さを128 Kに引き上げたLlama 3.1大モデルを正式に発表した。注目すべきは、Metaが提供するベンチマークテストデータによると、最も注目されている405 B（4050億パラメータ）は、OpenAI傘下のGPT-4と人工知能ベンチャー企業Anthropic傘下のClaude 3に性能的に匹敵するものとなっている。これは、すでにトップオープンソース大モデルの性能がトップクローズソース大モデルに正式に追いつき、開閉源の争いが一段落するかもしれないことを意味している。
製品を発表するほか、ザッカーバーグ氏は「オープンソース人工知能は前進の道」という「オープンソース宣言」を発表した。ザッカーバーグ氏は文の中で、「今日、いくつかの科学技術会社がリードする閉鎖モデルを開発している。しかし、オープンソースは急速に格差を縮小している」と述べた。
オープンソースLlama 3.1-405 Bの性能はクローズソースGPT-4に追いついた
公式資料によると、Llama 3.1は15兆個を超えるtokenのデータで訓練を行い、16000個のH 100を使った。使用された予備訓練データは、2023年12月現在。トレーニングの安定性を保証するために、現在流行しているハイブリッド・エキスパート・モデル（MoE）アーキテクチャではなく、Transformerモデル・アーキテクチャだけで調整しました。
現在、Llama 3.1は各国の言語対話をサポートしており、今回は8 B、70 B、405 Bの3つのサイズを発表し、文脈の長さは128 Kに向上した。シリコンベースのインテリジェント創業者の司馬華鵬氏は、Llama 3.1の情報処理能力が大幅に向上したと評価し、「例えば、4000個の中文字しか覚えられないから64000個の中文字を覚えられるようになった」と述べた。
長い間、業界では開閉源に関する議論が相次いできた。今月の世界人工知能大会では、百度の創始者で会長兼最高経営責任者の李彦宏氏が現場で「商業化された閉源モデルが最も打てる」と改めて語った。李彦宏氏によると、オープンソースモデルはいくつかの学術研究、教育分野で存在価値があり、大モデルの作業メカニズムを研究し、理論を形成するために使用できるという。しかし、激しいビジネス環境の中で、業務効率を同業者より高くし、コストを同業者より低くしたい場合、商業化された閉源モデルは「最も打ちやすい」。
しかし、Metaが提供する基準テストデータによると、オープンソースモデルは今回も「打てる」。その中で、Llama 3.1が最も注目されている405 B（4050億パラメータ）は、性能的にGPT-4とClaude 3に匹敵することができ、これはすでにトップオープンソース大モデル性が旗艦クローズソース大モデルに追いついていることを意味している。
注目すべきは、今回のオープンソースがより徹底していることだ。今年4月に製品Llama 3 8 BとLlama 3 70 Bを発売した時も、Metaは開発者がこのモデルを使って他の生成モデルを訓練することを禁止していた。今回のリリースでは、新しいオープンソースプロトコルでMetaが他のモデルを改良するために新しいモデルを使用することを禁止することはなくなりました。
Metaが新モデルを発表すると同時に、英偉達也氏は新NVIDIA AI FoundryサービスとNVIDIA NIM推理マイクロサービスを発表し、同じく発売されたばかりのLlama 3.1シリーズのオープンソースモデルとともに、グローバル企業のジェネレーションAIを強力に支援した。NVIDIA AI Foundryにより、企業や各国は現在、Llama 3.1およびNVIDIAソフトウェア、コンピューティング、および専門知識を使用して、特定の分野の業界ユースケース用にカスタムの「スーパーモデル」を作成できるようになったという。
製品を発表すると同時に、ザッカーバーグ氏は「オープンソース人工知能は前進の道」という公開書簡を発表した。ザッカーバーグ氏は初期のLinux（オペレーティングシステムカーネル）の発展過程を例に挙げている。高性能コンピューティングの初期には、テクノロジー各社が独自の閉源版Unixを開発するために巨額の資金を投じていたが、このような先進的なソフトウェアを開発できる他の方法は考えられなかったと提案した。しかし、最終的にオープンソースLinuxが流行してきました。最初は、開発者がコードを勝手に修正することができ、価格が手頃であるのに対し、時間が経つにつれてより先進的で安全になり、どのクローズソースUnixよりも多くの機能をサポートするより広範な生体システムを持っているからです。現在、Linuxはクラウドコンピューティングとほとんどのモバイルデバイスを実行するオペレーティングシステムの業界標準的な基盤となっています。
ザッカーバーグ氏は、人工知能も同様の方法で発展すると信じていると述べた。「今日、いくつかの科学技術会社がリードする閉源モデルを開発していますが、開源は急速に差を縮めています。昨年、私たちが発表したLlama 2は遅れている先代モデルに匹敵しています。今年になって、Llama 3はすでに最先端モデルに匹敵し、一部の分野でリードしています。来年からは、将来のLlamaモデルが業界最先端のモデルになると予想しています。」
さらにLlama 3の画像、ビデオ、音声機能を開発している
なぜ開発者にとってオープンソースが有利なのかというと、ザッカーバーグ氏は調査中に観察されたいくつかの現象を挙げた。世界各地の開発者、CEO、政府関係者にとって、彼らは自分のモデルを訓練し、微調整し、精製する必要があるだけでなく、閉鎖されたベンダーに縛られたくないモデルの支配権も必要です。同時に、自分のデータを保護し、データクラウドAPIをクローズドソースモデルに送信したくないと期待している。長期的な基準となる生態系への投資が期待されており、閉源モデルよりも開源モデルの発展速度が速いと考える人も少なくない。
ザッカーバーグ氏はまた、Metaにとってオープンソースモデルを選択することは、Metaがユーザーに最高の体験を提供し続けるビジョンを達成するのにも役立つと述べた。オープンソースがLlamaシリーズの大モデルを技術的優位性を失うかどうかの問題について、ザッカーバーグ氏は生態系の開放的な完全性、Metaの大モデル上の商業化ルートなどの面から答えた。
「まず、私たちが最も優れた技術を使用し、閉鎖された生態系に長期的に閉じ込められないようにするためには、ツール、効率改善、チップ最適化、その他の統合など、完全な生態系に発展する必要があります。もし私たちがLlamaを使用している唯一の会社であれば、この生態系は発展しません。次に、人工知能開発は高度な競争を維持し続けると予想しています。これは、オープンソースの任意の与えられたモデルが、次の最適なモデルに対する当時の大きな優位性を失わないことを意味しています。Llamaが業界標準になる道は、競争力、効率性、開放を維持する世代であり、第三に、Metaとクローズドソースモデルプロバイダとの間の重要な違いは、AIモデルへのアクセス権を販売することが私たちのビジネスモデルではないことです。これは、Llamaを公開しても、クローズドソースプロバイダのように私たちの収入、持続可能性、または投資研究の能力を弱めることはありません。これも一部のクローズドプロバイダが、政府がオープンソースに反対することを絶えずロビーしている理由の1つです」
Llamaの内部科学者@astonzhangAZ氏もソーシャルプラットフォームで明らかにしたところによると、研究チームは現在、モデルが画像とビデオを識別し、音声によるインタラクションをサポートできるように、画像、ビデオ、音声機能をLlama 3に統合することを検討している。