百度沈震:10万カード計算力クラスターアップグレード計算プラットフォーム能力文心大モデルの日調整量が7億回を超える
bent112
发表于 昨天 13:34
4003
0
0
大きなモデルのパラメータ規模がますます大きくなるにつれて、計算力に対する需要は指数的な増加傾向を示している。9月25日に開催された2024百度雲智大会で、百度グループ執行副総裁、百度スマートクラウド事業群総裁の沈震氏は、大モデル分野の有名な法則Scaling Law(スケール法則)は続いていると述べた。この法則は、モデルの性能はパラメータ、計算力、データセットの規模が増加するにつれて向上し、「すぐに、10万カード計算力クラスターがさらに発生する」と指摘した。
沈震の観察によると、この1年間、顧客のモデル訓練の需要が急増していることを感じている。彼は、「2024年の大モデルの産業着地は加速しており、現在、千帆大モデルプラットフォームでは、文心大モデルの1日平均使用量は7億回を超え、累計3万個の大モデルを精調し、70万以上の企業レベルの応用を開始するのを支援している」と紹介した。
大モデル訓練の需要が増加していることは、必要な計算力クラスターの規模がますます大きくなることを意味し、同時に、モデル推論コストの持続的な低下に対する期待も高まっている。沈振氏によると、これらはすべてGPU管理の安定性と有効性に対してより高い要求を提出した。9月25日、百度はAI異種コンピューティングプラットフォーム百舸4.0をアップグレードし、10万カードクラスタの配置と管理能力を備えた。
沈振氏によると、GPU計算力クラスターには3つの特徴がある。極致規模、極致高密、極致相互接続、1つの万カードクラスターを構築し、GPUの購入コストだけで数十億元に達する。沈振氏は、計算力資源を構築するには、簡単にGPUを買ってきて、GPUを接続すればいいのではなく、多くの技術が必要だと強調した。GPUは大量の並列計算を実行する必要がある、データの転送量が大きくなり、速度に対する要求が高くなる」と紹介した。そのため、100ビルトインコンピューティングプラットフォームは異種チップ、高速相互接続、高効率ストレージをサポートする必要がある。
沈振氏も、10万カードを管理するクラスターと万カードクラスターを管理するにも本質が異なると述べた。まず、物理面では、10万カード規模のクラスターを配置し、約10万平方メートルの空間を占め、14の標準サッカー場の面積に相当し、次に、エネルギー消費の面では、これらのサーバーは1日に約300万キロワット時の電力を消費し、北京市東城区の1日の住民電力量に相当する。10万カードクラスタの空間とエネルギーに対する巨大な需要は、伝統的な機械室の配置方式が積載できる範疇をはるかに超えており、地域を越えて機械室を配置することを考慮すると、またネットワーク面で大きな挑戦をもたらしている。また、10万カードクラスタにおけるGPU障害は非常に頻繁に発生し、有効なトレーニング時間の長さの占有も新たな挑戦を迎えるだろう。
沈振氏によると、これらの難題に対して、百舸4.0はすでに10万カードレベルの超大規模無輻輳HPN高性能ネットワーク、10 msレベルの超高精度ネットワーク監視、および10万カードクラスタ向けの分レベル障害回復能力を構築している。「百舸4.0はまさに10万カードの大規模クラスターを配備するために設計されたものです。今日の百舸4.0は、すでに成熟した10万カードクラスターの配備と管理能力を備えており、これらの新たな挑戦を突破し、産業全体に持続的にリードするコンピューティングプラットフォームを提供することです」と沈震氏は言う。
百度だけでなく、ますます多くの科学技術大手がAI大モデルの需要に正面から向き合い、自身の計算力インフラ能力を向上させている。マースク氏は9月初め、傘下のAIベンチャー企業xAIが作成したスーパーAI訓練クラスターColossusが正式にオンライン化されたと発表した。合わせて10万枚の雄大なH 100 GPU加速カードを搭載しているが、今後数カ月でさらに10万枚のGPUを倍増させる。9月19日の2024年雲栖大会で、阿里雲氏も、GPUを主とするAI計算力は未来の計算パラダイムの主導であり、阿里雲はチップ、サーバー、ネットワーク、ストレージから放熱、電力供給、データセンターなどの面から、未来に向けたAIインフラをアップグレードしていると述べた。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 何小鵬氏が「AI自動車」を運転して阿里雲イベントの現場に登場大モデルを推進して自動運転の上限を広げる
- 巻が狂った!ビッグモデル価格戦が続く!アリは85%値下げすると発表した。
- 奇富科技費の浩峻:金融大モデルはより広範なビジネスシーンで深い融合を実現する
- 蔚来は電気交換サービス料の料金モデルを調整する:度によって料金を徴収し、楽道の後続の電気交換もそのまま使用する
- アップルの公式サイトが奪われた!iPhone 16の一部モデルは「秒没」
- 百度呉甘:知識強化大モデルが産業デジタルエンジンを再構築
- 極クリプトン7 Xは世界最速の充電能力を示す極クリプトンの今年の納入目標23万台
- アップル、インドのiPhone各機種の販売価格を引き下げ
- 欧州プライバシー規制当局、グーグルが人工知能モデルにデータを活用した状況を調査
- Metaが重量ポンドの新製品を発表:299ドルのクエス3 Sヘッドディスプレイ、ARメガネプロトタイプ、マルチモーダルAIモデル
-
大雪と網易が「複合」した後、大雪系傘下のゲームが次々と国服に復帰しつつあり、9月25日、魔獣世界に続き、大雪系ゲームの「現金牛」、カードゲーム「炉石伝説」が正式に国服に復帰した。午前7時26分、新京報貝殻 ...
- vvsky
- 前天 17:14
- 支持
- 反对
- 回复
- 收藏
-
上証報中国証券網(何奎記者)は9月25日、国内頭部保険電子商取引サービスプラットフォームの慧択氏が米国株の開場前に発表した2024年第2四半期の未監査業績報告によると、上半期の慧択全プラットフォームによる総 ...
- 18010063851
- 昨天 11:44
- 支持
- 反对
- 回复
- 收藏
-
百勝中国9月23日のニュースによると、百勝中国と保利発展ホールディングスはこのほど、広州保利発展広場で戦略協力協定に調印した。双方はそれぞれのビジネス分野での技術、管理、ブランドの優位性を十分に利用し、 ...
- 寒郁轩良
- 前天 16:28
- 支持
- 反对
- 回复
- 收藏
-
【世界市場】1、納指は0.04%、ダウは0.70%、スタンダードは0.19%下落した。2、英偉達は2%超上昇し、美光科技の株価は10%超上昇した。3、ナスダック中国の金龍指数は2.80%、蔚来は5%近く下落した。4、国際原油価格は ...
- 虚空一粒沙2017
- 昨天 21:42
- 支持
- 反对
- 回复
- 收藏