Meta最強モデルがGPT-4 oザッカーバーグを超えて再び開閉源争いを挑発
内托体头
发表于 2024-7-24 14:28:59
201
0
0
OpenAIが突然「小モデル」GPT-4 o miniをラインアップしたのに続き、Metaはその超大パラメータを投げ出す大モデルの爆発場を決定した。
Metaは7月24日、オープンソースの大モデルシリーズLlama 3.1 405 Bと、アップグレードされた70 Bと8 Bの2つのサイズモデルを発表した。
Llama 3.1 405 Bは現在最強のオープンソース大モデルと考えられている。Metaが発表した情報によると、このモデルのコンテキスト長は128 Kをサポートし、8つの言語へのサポートを増やし、汎用知識、操作性、数学、ツール使用、多言語翻訳などの面でGPT-4 oやClaude 3.5 sonnetなどの旗艦モデルに匹敵することができ、人工評価(Human Evaluation)の比較でも、この2つのモデルより全体的に優れたパフォーマンスを示している。
同時に、8 Bと70 Bの2つのモデルのアップグレードバージョンも多言語で、いずれも128 Kコンテキスト長に拡張されています。
Llama 3.1 405 BはMetaのこれまでで最大のモデルである。Meta氏によると、このモデルの訓練は15兆tokensを超え、合理的な時間内に理想的な効果を達成するために、チームは訓練スタック全体を最適化し、16000を超えるH 100 GPUを使用した--これもこのような大規模な計算力の下で訓練を完了した最初のLlamaモデルである。
この困難なトレーニング目標は、チームによって複数の重要なステップに分割されます。訓練の安定性を最大限に保証するために、MetaはMoEアーキテクチャ(混合専門家アーキテクチャ)を選択せず、標準デコーダのみを採用したTransformerモデルアーキテクチャを用いて小幅に調整した。
Metaによると、チームも反復的なポストトレーニングプロセスを使用して、各ラウンドに対して監督微調整と直接好み最適化を行い、各ラウンドのために最高品質の合成データを作成し、各能力の性能を向上させた。チームは、以前のリリースのLlamaと比較して、トレーニングの前、後に使用するデータの数と品質を向上させ、改善しました。
Llama 3.1 405 B爆撃場と同時に、マーク・ザッカーバーグ氏は「オープンソースAIは前進の道」と題した宣言を発表し、オープンソースの大モデルの意義と価値を改めて強調し、オープンAIなど閉源路線を歩んでいる大モデル会社を指す。
ザッカーバーグ氏は、オープンソースLinuxとクローズドソースUnixの物語を再提案し、前者はより多くの機能とより広範な生態系をサポートし、クラウドコンピューティングとほとんどのモバイルデバイスオペレーティングシステムを実行する業界標準の基礎であると考えている。「人工知能も同様の方法で発展すると信じています」
彼は、いくつかの科学技術会社がリードする閉源大モデルを開発しているが、開源大モデルは急速にこの差を縮小していると指摘した。最も直接的な証拠は、Llama 2はこれまで遅れている旧世代モデルとしか比較できなかったが、Llama 3はすでに最新モデルと比較でき、いくつかの分野でリードしている。
彼は来年からLlama 3が業界最先端のモデルになると予想しているが、それ以前は開放性、修正性、コスト効率の面でリードしていた。
ザッカーバーグ氏は、開発者にとってより透明な開発環境がより訓練、微調整、独自のモデルを抽出するために必要な理由を多く引用し、「効率的で負担のかかるモデルが必要だ」と述べた。
同氏は、ユーザー向けとオフライン向けの推理タスクについて、開発者は自社のインフラストラクチャ上でLlama 3.1 405 Bを実行することができ、コストはGPT-4 oなどの閉源モデルの約50%であると説明した。
オープンソース、クローズソースの2つの路線の争いをめぐって、これまで業界では多くの議論があったが、当時の主な基調は、両者にはそれぞれ価値があり、オープンソースは高い価格比で多くの開発者に恩恵をもたらすことができ、そして大言語モデル自体の技術の反復と発展に有利であり、クローズソースは資源を集中してより速く、より深く性能のボトルネックを突破することができ、オープンソースよりも先にAGI(汎用人工知能)を達成することが期待されていた。
言い換えれば、モデルの性能レベルでは、オープンソースがクローズソースに追いつくのは難しいと業界では一般的に考えられている。一方、Llama 3.1 405 Bの出現は業界にこの結論を再考させるかもしれず、閉源モデルサービスを利用する傾向にある企業や開発者の多くに影響を与える可能性が高い。
現在、Metaの生態圏は非常に巨大になっている。Llama 3.1モデルがオンラインになると、アマゾンAWS、インビダー、Databricks、Groq、デル、マイクロソフトAzure、グーグルクラウドなど。
ただ、ザッカーバーグ氏がLlamaシリーズモデルをリードしているのは来年だと予想されており、途中で閉源モデルによって屋根が跳ね返る可能性は排除されていない。この間、Llama 3.1405 Bの閉源大モデルに及ばない性能レベルに注目が集まる可能性があり、現在の状況は確かに気まずい。
また、特に中国と米国の大モデル分野での競争について言及し、米国がこの点で永遠に中国を数年リードするのは現実的ではないと考えている。しかし、数カ月のわずかなリードでも、時間が経つにつれて「ちりも積もれば山」となり、米国を「明らかな優位性」に導くことができる。
「米国の強みは脱中心化とオープンイノベーションだ。中国がこれらのモデルを獲得するのを防ぐために我々のモデルを閉鎖しなければならないと考える人もいるが、それは通用しないと思う。米国とその同盟国を不利にするだけだ」。ザッカーバーグ氏によれば、閉鎖モデルしかない世界は、少数の大手企業や地政学的ライバルがリードするモデルを獲得することにつながり、ベンチャー企業、大学、小企業はチャンスを逃すだろう。また、米国のイノベーションを閉鎖的な開発に制限することで、完全にリードできない可能性が高まっています。
逆に、私たちの最善の戦略は、最新の進展を最大限に活用し、長期的に持続可能な先発優位性を実現できるようにするために、私たちのリーディングカンパニーが政府や同盟国と密接に協力する強力なオープンエコシステムを構築することだと思います」とザッカーバーグ氏は述べた。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- Metaが最強のオープンソースモデルLlama 3.1を発表、ザッカーバーグ氏:業界の転換点になる
- Metaが最強のオープンソースAIモデルを発表Llama 3.1ザッカーバーグ氏が企業戦略を語る
- 6連続投げろ!バークシャー氏、米銀の累計22億ドル超の株式売却を継続
- 黄仁勲対話ザッカーバーグ:新型チップサンプルは今週発送、AI業界にはまだ5年の製品革新期がある
- ザッカーバーグが突然難儀!
- ザッカーバーグ氏、AI着用機器を「爆発させる」
- バークシャー傘下のBNSF鉄道会社はSMART-MDと5年間の合意に達した:賃金は毎年3.5%上昇
- メッタの複数チームからリストラのニュースが舞い込んだザッカーバーグ氏の「効率年」はまだ続いている
- バークシャー・ハサウェイ米株価が3%近く上昇
-
アリババは、26億5000万ドルのドル建て優先無担保手形と170億元の人民元建て優先無担保手形の定価を発表した。ドル債の発行は2024年11月26日に終了する予定です。人民元債券の発行は2024年11月28日に終了する予定だ ...
- SOGO
- 前天 09:05
- 支持
- 反对
- 回复
- 收藏
-
スターバックスが中国事業の株式売却の可能性を検討していることが明らかになった。 11月21日、外国メディアによると、スターバックスは中国事業の株式売却を検討している。関係者によると、スターバックスは中国事 ...
- 献世八宝掌
- 昨天 16:29
- 支持
- 反对
- 回复
- 收藏
-
米東時間11月18日、米株終値は反落し、ダウ平均は3営業日連続で下落した。ナスダック・金龍中国指数は上昇した。米株BAKTは162.37%上昇し、盤中5回の溶断メカニズムをトリガした。 大口商品では、WTI原油価格が上昇 ...
- 就放荡不羁就h
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
【意法半導体CEO:中国市場は非常に重要で華虹と協力を展開】北京時間11月21日、意法半導体(STM.N)は投資家活動の現場で、同社が中国ウェハー代工場の華虹公司(688347.SH)と協力していると発表した。伊仏半導体 ...
- 黄俊琼
- 昨天 14:29
- 支持
- 反对
- 回复
- 收藏