英伟达加大杯B200芯片:摩尔定律失效 多卡互联称王
我心如烟卸
发表于 2024-3-19 21:39:10
167
0
0
Blackwell架构的B200芯片并不是传统意义上的单一GPU。相反,它由两个紧密耦合的芯片组成,尽管根据 Nvidia 的说法,它们确实充当一个统一的 CUDA GPU。这两个芯片通过 10 TB/s NV-HBI(Nvidia 高带宽接口)连接进行连接,以确保它们能够作为单个完全一致的芯片正常运行。
多卡互联是B200算力提升的关键。将两个 GPU 与单个 Grace CPU 结合在一起的 GB200 可以为大语言模型的推理工作提供 30 倍的性能,同时还可能大幅提高效率。英伟达称,与 H100 相比,B200可将生成式AI的算力成本和能耗降低多达 25 倍。
英伟达AI芯片性能本身在算力上的提升主要靠数据精度,从FP64、FP32、FP16、FP8到如今B200芯片的FP4,FP4最大理论计算量为 20 petaflops(数据精度单位)。FP4是 FP8性能的两倍,FP4的好处是提升了带宽,通过为每个神经元使用 4 位而不是 8 位,使计算、带宽和模型大小加倍。如果将B200换算成FP8与H100进行同类比较,那么 B200理论上仅比 H100提供多 2.5 倍的计算量,B200的算力提升很大一部分来自于两个芯片互联。
CPU通用处理器时代的摩尔定律(集成电路上可容纳的晶体管数目,约每隔18个月便会增加一倍)已经进入暮年。台积电在3nm制程上的突破,并未给芯片性能带来突破代际的提升。2023年9月,苹果A17 Pro问世,使用了台积电生产的首个3nm制程芯片,但CPU性能只有10%的提升。且先进制程芯片研发耗资巨大,据远川研究所报道,2023年台积电的晶圆代工价格与两年前相比大约上涨了16%(先进制程)到34%(成熟制程)。
除了苹果之外,台积电的另一大芯片客户便是英伟达——英伟达的硬通货AI芯片H100就采用了台积电N4(5nm)工艺,使用了台积电的CoWoS先进封装产能。
摩尔定律失效,黄仁勋的黄氏定律指出,GPU的效能每两年将增加一倍以上,“创新不仅仅是芯片,而是整个堆叠”。
英伟达继续朝着多卡互联进发。既然3nm芯片提升有限,英伟达的B200选择把2片4nm芯片并排摆放,通过超高速片上互联,组成一个2000多亿晶体管的超大芯片。在英伟达GTC上,黄仁勋对于芯片本身性能一笔带过,重点都在DGX系统上。
在多卡互联方面,英伟达的NVLink和NVSwitch技术是其护城河。NVLINK 是一种点对点的高速互连技术,可以将多个 GPU 直接连接起来,形成一个高性能计算集群或深度学习系统此外,NVLink引入了统一内存的概念,支持连接的 GPU 之间的内存池,这对于需要大型数据集的任务来说是一个至关重要的功能。
而NVSwitch 是一种高速交换机技术,可以将多个 GPU 和 CPU 直接连接起来,形成一个高性能计算系统。
在NVLink Switch支持下,英伟达“大力出奇迹”地将72块B200连接在一起,最终成为“新一代计算单元”GB200 NVL72。一个像这样的“计算单元”机柜,FP8精度的训练算力就高达720PFlops,直逼H100时代一个DGX SuperPod超级计算机集群(1000 PFlops)。
英伟达透露,这一全新的芯片将在2024年晚些时间上市。目前,亚马逊、戴尔、谷歌、Meta、微软、OpenAI、特斯拉都已经计划使用Blackwell GPU。
“打包批发卖卡”的方式也符合大模型公司的用卡需求。将多个GPU互联“打包”成数据中心,更符合大模型公司和云服务商的购买形式。英伟达2023财年财报显示,英伟达的数据中心业务有40%的收入来自超大规模数据中心与云服务商。
截至美东时间3月18日美股收盘,英伟达股价884.550美元,总市值2.21万亿美元。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 美国据悉考虑允许英伟达向沙特出口先进芯片
- 英伟达预计Q4生产45万片Blackwel AI GPU
- 美股V型反弹 纳指涨逾2%!英伟达涨逾8% 市值大增1.54万亿元!黄仁勋发声:“最强AI芯片”太抢手
- 英伟达黄仁勋发言:Blackwell太抢手令客户关系紧张
- 全球市场:美股三大指数集体收涨 纳指涨逾2% 英伟达股价涨超8%
- 涨价不可避免!RTX 5090、5080规格完整曝光:英伟达强行拉大差距
- “AI妖股”超微电脑财务风险引发关注,“深度绑定”英伟达
- 官宣!淘宝、微信、京东 互联互通
- 08年金融危机中令人闻风色变的资产 今年跑赢了英伟达?
- 韩国互联网巨头Kakao:下月将宣布与英伟达建立AI合作关系
-
9月が終わり、映画・テレビ業界が暗躍している。最近、愛奇芸の創始者でCEOのGONG宇氏は、映画・テレビ業界が長短の変化、AIの変化、中国映画・テレビドラマの海外進出の変化の3つの変化を経験していると発表した。 ...
- 寒郁轩良
- 前天 14:17
- 支持
- 反对
- 回复
- 收藏
-
ネットワーク状況監視サイトDownDetectorによると、オーディオストリーミングプラットフォームSpotifyは日曜日に約3時間にわたる障害を経験した後、正常に回復し、ピーク時には米国の4万人以上のユーザーに影響を与 ...
- hecgdge4
- 前天 09:33
- 支持
- 反对
- 回复
- 收藏
-
百済神州(688235.SH)はA株の有名な革新薬企業で、2017-2024年上半期、同社の各期の研究開発投資はA株の化学製薬会社(申万二級)の中で最も高く、研究開発費用は合計600億元を超えた。 しかし、百済神州にとって ...
- wylz8473
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
10月1日、極クリプトン自動車が発表したデータによると、今年第3四半期に新車が累計14万2900台納入され、前年同期比81%増となった。このうち、9月に新車を納入したのは2万13万人で、前年同期比77%、前月比18%増だっ ...
- 内托体头
- 昨天 16:17
- 支持
- 反对
- 回复
- 收藏