Metaが最強のオープンソースモデルLlama 3.1を発表、ザッカーバーグ氏:業界の転換点になる
SNT
发表于 2024-7-24 09:38:17
185
0
0
北京時間7月23日夜、Metaは最新のオープンソース大モデルLlama 3.1シリーズを正式に発表し、オープンソースモデルとクローズソースモデルの差をさらに縮小した。Llama 3.1は8 B、70 B、450 Bの3つのパラメータ規模を含み、そのうち450 Bパラメータのモデルは複数のベンチマークテストでOpenAIのGPT-4 oを上回り、Claude 3.5 Sonnetなどの先行するクローズドソースモデルに匹敵する。
Meta創業者のザッカーバーグCEOは同日、公式サイトにブログを掲載し、今回の発表を後押しした。同氏によると、Llama 3.1バージョンは業界の転換点となり、多くの開発者が主にオープンソースを使用し始め、オープンソースAIは将来の発展方向だという。
XでMetaチームを祝った英偉達高級研究科学者ジム・ファン氏は、「GPT-4の力は私たちの手にあり、本当に歴史的な瞬間だ」と述べた。
具体的な詳細については、Llama 3.1の3つのバージョンのモデルコンテキストウィンドウはすべて8 kから128 Kに増加し、16倍に拡大し、8つの言語をサポートしています。その中で、Llama 3.1-405 Bモデルは15兆個を超えるtokensを使用して訓練を行い、そしてこの訓練規模を達成するために、チームは1.6万個のH 100のGPUを使用した。公式によると、405 Bモデルはこの規模で訓練された最初のLlamaモデルだという。
オープンソースの大規模な言語モデルは機能と性能の面でクローズソースモデルに遅れていることが多いが、「しかし今、オープンソースがリードする新しい時代を迎えている」。
公式ブログでは、Metaは150を超えるベンチマークデータセットの性能を評価し、Llama 3.1と他のモデルの能力表現を比較し、旗艦モデルLlama 3.1-405 Bは常識、操作性、数学などの一連のタスクの中でGPT-4、GPT-4 o、Claude 3.5 Sonnetに匹敵することができる。また、8 Bと70 Bの小型モデルは、同じ数のパラメータを持つ閉源と開源モデルと競争力がある。
現実のシナリオでは、Llama 3.1 405 Bは、GPT−4 oおよびClaude 3.5 Sonnetよりも全体的に優れたパフォーマンスを有する人工評価と比較した。
今回のMetaはまた、開発者が初めてLlamaモデル(405 Bを含む)の出力を使用して他のモデルを改良できるようにオープンソースライセンスを更新した。GPT-4 oに対しては、モデルが画像とビデオを認識し、音声でインタラクションをサポートするために、画像、ビデオ、音声機能を組み合わせてLlama 3に統合することもあると公式に述べています。しかし、現在も開発中であり、リリースの準備はできていない。
公式ブログでMetaは、これまでのすべてのLlamaバージョンの総ダウンロード数が3億回を超えていることを明らかにした。
今回のモデル発表のほか、ザッカーバーグ氏は公式サイトで長文「Open Source AI Is the Path Forward」を発表し、その中でオープンソースの重要性に言及し、オープンソースはすべての開発者にとって、メッタにとって、そして世界にとって良いことだと考えている。
ザッカーバーグ氏は、オープンソース系Linuxがクローズドソース系Unixに勝ったことを例に、人工知能が同様の方法で発展すると考えている。「いくつかの科学技術会社が先行する閉鎖モデルを開発しているが、オープンソースは急速に差を縮めている」と同氏は述べ、昨年、Llama 2は旧世代モデルとしか比較できなかったと述べた。今年、Llama 3はいくつかの分野で競争力を持ち、いくつかの面で最先端のモデルをリードしている。
ザッカーバーグ氏は、オープンソースは革新を促進し、コストを削減し、安全性を高めることができると考えている。開発者にとっては、オープンソースを使用することで独自のモデルを訓練、微調整、蒸留することができ、各組織には異なるニーズがあり、これらのニーズを満たすために異なるサイズのモデルを使用することが好ましいが、これらのモデルは特定のデータによって訓練または微調整されている。
同時に、開発者は閉鎖されたベンダーにロックされず、データセキュリティを保護することができます。「オープンソースソフトウェアは、開発がより透明で、広くレビューされるため、より安全であることが多い」とザッカーバーグ氏は見ている。
ザッカーバーグ氏はまた、オープンソースモデルのコストはより低く、効率的であり、開発者はGPT-4 oのような閉鎖モデルの約50%を使用して、ユーザーインタフェースとオフライン推論に適しているLlama 3.1 405 B上の推論を彼ら自身のインフラストラクチャ上で実行することができると述べた。
「オープンソース人工知能は世界最高の機会を意味する」とザッカーバーグ氏は見ている。この技術を利用することで、最大の経済的機会と安全保障を創出することができる。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- バフェット氏は53億ドル相当のバークシャー・ハサウェイ株を再寄付
- 米国株の出来高上位20%のMetaは4.1%下落し、トランプ氏はステージに上がればザッカーバーグを刑務所に送ると述べた
- Metaが“業界トップ”のオープンソース人工知能(AI)モデルLlama 3.1を発表
- MetaがオープンソースのビッグモデルLlama 3.1を強力にリリースしてアシストした
- Meta最強モデルがGPT-4 oザッカーバーグを超えて再び開閉源争いを挑発
- Metaが最強オープンソースAIモデル対標GPT 4-o、Claude 3.5 Sonnet!英偉達代工加持ザッカーバーグ:業界トップレベル
- Metaが最強のオープンソースAIモデルを発表Llama 3.1ザッカーバーグ氏が企業戦略を語る
- 6連続投げろ!バークシャー氏、米銀の累計22億ドル超の株式売却を継続
- 黄仁勲対話ザッカーバーグ:新型チップサンプルは今週発送、AI業界にはまだ5年の製品革新期がある
- ザッカーバーグ氏、AI着用機器を「爆発させる」
-
9月が終わり、映画・テレビ業界が暗躍している。最近、愛奇芸の創始者でCEOのGONG宇氏は、映画・テレビ業界が長短の変化、AIの変化、中国映画・テレビドラマの海外進出の変化の3つの変化を経験していると発表した。 ...
- 寒郁轩良
- 前天 14:17
- 支持
- 反对
- 回复
- 收藏
-
10月1日、理想自動車が9月に納入したデータによると、9月に理想自動車が新車53709台を納入し、前年同月比48.9%増となった。 今年第3四半期、理想自動車は前年同期比45.4%増の152831台を納入した。今年9月30日現在、 ...
- 就放荡不羁就h
- 4 小时前
- 支持
- 反对
- 回复
- 收藏
-
ネットワーク状況監視サイトDownDetectorによると、オーディオストリーミングプラットフォームSpotifyは日曜日に約3時間にわたる障害を経験した後、正常に回復し、ピーク時には米国の4万人以上のユーザーに影響を与 ...
- hecgdge4
- 前天 09:33
- 支持
- 反对
- 回复
- 收藏
-
百済神州(688235.SH)はA株の有名な革新薬企業で、2017-2024年上半期、同社の各期の研究開発投資はA株の化学製薬会社(申万二級)の中で最も高く、研究開発費用は合計600億元を超えた。 しかし、百済神州にとって ...
- wylz8473
- 3 天前
- 支持
- 反对
- 回复
- 收藏