Metaが発表した「最強オープンソース大モデル」オープンソースとクローズソースの争い新しいページの大モデルを開くか、シャッフルを迎える
愿为素心人
发表于 2024-7-28 10:40:20
175
0
0
Metaは現地時間7月23日、最新バージョンの言語大モデルLlama 3.1を正式に発表した。今回の発表はAIコミュニティから「オープンソース後進論」への強力な反撃とされ、Meta創業者でCEOのザッカーバーグ氏も発表時に「オープンソースAIは未来への道だ」と述べた。
従来、OpenAIはChatGPTの閉鎖性のため、「Open」と呼ばれているが実際には「Close」のことをしていると非難されてきたが、ChatGPT-4 oに代表される閉源大モデルの実力は業界を退却させることが多く、「閉源大モデルの性能は必ず開源大モデルより強い」という考えがデフォルトになっているようだ。
しかし、今回のLlama 3.1のリリースはこの構造を上書きするようだ。今回のMetaは、8 B、70 B、405 BのLlama 3.1の3つのバージョンをリリースしました。このうち405 Bは「トップフィット」バージョンで、Metaは最高の閉源モデルに匹敵する性能を誇ると言われています。
「最強オープンソース大モデル」
Llama 3.1 405 Bはなぜ最高の閉源モデルと競争できるのか。Llama 3.1を発表すると同時に、Metaも「The Llama 3 Herd of Models」と題する論文を発表し、その中でLlama 3モデルの研究開発の詳細を詳しく述べた。
まず、使用上、Llama 3.1は8つの言語をサポートし、3つのバージョンのコンテキストウィンドウはGPT-4 Turboと同じ128 Kに拡張されています。同時に、Llama 3.1 405 Bは4050億個のモデルパラメータを持ち、訓練規模はLlama 2の50倍であり、より安定した性能を維持するために密集Transformerアーキテクチャを採用している。これにより、Llamaが一度に処理できるテキストの数は9.6万字に達し、同時に長いテキストでも短いテキストでも、「思い通りに」処理することができる。
論文では、MetaもLlama 3.1 405 BとChatGPT-4 oとClaude 3.5 Sonnetのこれらの頭部閉源大モデルの性能比較データを発表した。テストの結果、Llama 3.1 405 Bは汎用性能、長テキスト処理、多言語処理の多方面で得点がリードしていることが分かった。例えば、ZeroSCROLLSプロジェクトのテストでは、Llama 3.1 405 Bのスコアは95.2で、後の両方は90.5です。
優れた性能と膨大な訓練基数を表現することで、Llama 3.1は「最強オープンソース大モデル」の称号を持つようになったが、現在のLlama 3.1は依然として言語処理を主とする大モデルであり、画像、ビデオ、音声の処理をサポートしていない。これは、多モードタスク処理において、ChatGPTが依然として際立った能力を持っていることを意味する。
「オープンソースAIは未来の道」
Llamaの実際の使用体験はまだ完璧なほどではないかもしれないが、今回のLlama 3.1 405 Bの発表は、世界中のAIワーカーにとって最大の意味はやはり大モデルのオープンソースとクローズソースの争いが新たなページを開いたことにある。
メッタの公式サイトでザッカーバーグ氏は公開書簡を発表し、「オープンソースAIは未来への道だ」と力強く宣言した。同書によると、複数の企業が先行するクローズドソースモデルを開発しているにもかかわらず、オープンソースは急速に差を縮めているという。Llamaを例にとると、昨年のLlama 2は汎用大モデルの古いバージョンにしか匹敵できなかったが、今年のLlama 3は最先端の大モデルと競争し、一部の分野でリードしている。
そのため、ザッカーバーグ氏はLlamaを大モデル時代のLinuxにして、オープンソースAIの業界標準にしたいと考えている。「高性能コンピューティングの初期には、主要技術会社が独自のクローズドソースUnixバージョンの開発に巨額を投じていました……今日、オープンソースのLinuxはクラウドコンピューティングとモバイルデバイスのほとんどを実行するオペレーティングシステムの工業標準的な基礎となり、人工知能は同様の方法で発展すると信じています」
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 何小鵬氏が「AI自動車」を運転して阿里雲イベントの現場に登場大モデルを推進して自動運転の上限を広げる
- 巻が狂った!ビッグモデル価格戦が続く!アリは85%値下げすると発表した。
- 奇富科技費の浩峻:金融大モデルはより広範なビジネスシーンで深い融合を実現する
- 蔚来は電気交換サービス料の料金モデルを調整する:度によって料金を徴収し、楽道の後続の電気交換もそのまま使用する
- アップルの公式サイトが奪われた!iPhone 16の一部モデルは「秒没」
- 百度呉甘:知識強化大モデルが産業デジタルエンジンを再構築
- アップル、インドのiPhone各機種の販売価格を引き下げ
- 欧州プライバシー規制当局、グーグルが人工知能モデルにデータを活用した状況を調査
- 百度沈震:10万カード計算力クラスターアップグレード計算プラットフォーム能力文心大モデルの日調整量が7億回を超える
- Metaが重量ポンドの新製品を発表:299ドルのクエス3 Sヘッドディスプレイ、ARメガネプロトタイプ、マルチモーダルAIモデル
-
9月が終わり、映画・テレビ業界が暗躍している。最近、愛奇芸の創始者でCEOのGONG宇氏は、映画・テレビ業界が長短の変化、AIの変化、中国映画・テレビドラマの海外進出の変化の3つの変化を経験していると発表した。 ...
- 寒郁轩良
- 前天 14:17
- 支持
- 反对
- 回复
- 收藏
-
ネットワーク状況監視サイトDownDetectorによると、オーディオストリーミングプラットフォームSpotifyは日曜日に約3時間にわたる障害を経験した後、正常に回復し、ピーク時には米国の4万人以上のユーザーに影響を与 ...
- hecgdge4
- 前天 09:33
- 支持
- 反对
- 回复
- 收藏
-
百済神州(688235.SH)はA株の有名な革新薬企業で、2017-2024年上半期、同社の各期の研究開発投資はA株の化学製薬会社(申万二級)の中で最も高く、研究開発費用は合計600億元を超えた。 しかし、百済神州にとって ...
- wylz8473
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
10月1日、極クリプトン自動車が発表したデータによると、今年第3四半期に新車が累計14万2900台納入され、前年同期比81%増となった。このうち、9月に新車を納入したのは2万13万人で、前年同期比77%、前月比18%増だっ ...
- 内托体头
- 昨天 16:17
- 支持
- 反对
- 回复
- 收藏