엔비디아 컵 B200 칩: 무어의 법칙 실효 다중 카드 상호 연결 왕
四道風喜
发表于 2024-3-19 21:39:16
1375
0
0
북경시간으로 3월 19일 새벽, 엔비디아 GTC (GPU 기술대회) 에서 엔비디아 최고경영자 황인훈은 호퍼구조칩의 후임자인 블랙웰구조의 B200칩을 발표했다.현재 엔비디아 호퍼 아키텍처의 칩 H100과 GH200 그레이스 호퍼 슈퍼 칩은 수요가 많아 세계에서 가장 강력한 많은 슈퍼 컴퓨팅 센터에 계산력을 제공하고 있으며 B200은 계산력의 진일보한 세대 간 비약을 제공할 것이다.
Blackwell 아키텍처의 B200 칩은 기존의 단일 GPU가 아닙니다.대신 Nvidia에 따르면 통합 CUDA GPU 역할을 하는 두 개의 긴밀한 결합 칩으로 구성됩니다.두 칩은 완전히 일치하는 단일 칩으로 작동하도록 10TB/s NV-HBI(Nvidia 고대역폭 인터페이스) 연결을 통해 연결됩니다.
다중 카드 상호 연결은 B200 계산력 향상의 열쇠입니다.2개의 GPU와 단일 Grace CPU를 결합한 GB200은 큰 언어 모델의 추론 작업에 30배의 성능을 제공하는 동시에 효율도 크게 향상시킬 수 있다.엔비디아에 따르면 B200은 H100에 비해 생성식 AI의 계산력 비용과 에너지 소비를 최대 25배 줄일 수 있다.
엔비디아 AI 칩의 성능 자체의 계산력 향상은 주로 데이터 정밀도에 의존한다. FP64, FP32, FP16, FP8에서 현재 B200 칩의 FP4에 이르기까지 FP4의 최대 이론적 계산량은 20 petaflops (데이터 정밀도 단위) 이다.FP4는 FP8 성능의 두 배이며, FP4의 장점은 대역폭을 향상시켜 각 뉴런에 8비트가 아닌 4비트를 사용함으로써 계산, 대역폭 및 모델 크기를 두 배로 늘린다는 것이다.만약 B200을 FP8로 환산하여 H100과 동류를 비교한다면 B200은 리론적으로 H100보다 2.5배 많은 계산량을 제공하는데 불과하며 B200의 계산력제고의 많은 부분은 두 칩의 상호련결에서 온다.
CPU 범용 프로세서 시대의 무어의 법칙 (집적회로에 수용할 수 있는 트랜지스터 수, 약 18개월마다 두 배로 증가) 은 이미 만년에 접어들었다.TSMC의 3nm 공정에서의 돌파는 칩 성능에 세대 간의 돌파를 가져오지 못했다.2023년 9월 애플 A17 프로가 출시돼 TSMC가 생산한 첫 3nm 공정 칩을 사용했지만 CPU 성능은 10% 향상에 그쳤다.또한 선진 제조 공정 칩 연구 개발에 막대한 비용이 소요되는데, 위안촨연구소의 보도에 따르면 2023년 TSMC의 웨이퍼 파운드리 가격은 2년 전에 비해 약 16% (선진 제조 공정) 에서 34% (성숙 제조 공정) 올랐다.
애플 외에 TSMC의 또 다른 큰 칩 고객은 엔비디아이다. 엔비디아의 경화 AI 칩 H100은 TSMC N4 (5nm) 공정을 채택해 TSMC의 CoWoS 첨단 패키징 생산능력을 사용했다.
무어의 법칙은 효력을 잃었다. 황인훈의 황씨의 법칙은 GPU의 효능이 2년마다 두 배 이상 증가할 것이라며"혁신은 칩만이 아니라 전체 스택"이라고 지적했다.
엔비디아는 계속해서 다카 상호 연결을 향해 나아갔다.3nm 칩의 향상이 제한된 이상 엔비디아의 B200은 4nm 칩 2개를 나란히 놓고 초고속 칩의 상호 연결을 통해 2000여억 트랜지스터의 초대형 칩을 구성하기로 했다.엔비디아 GTC에서 황인훈은 칩 자체의 성능에 대해 한 획을 그은 적이 있는데, 중점은 모두 DGX 시스템에 있다.
멀티 카드 상호 연결에서 엔비디아의 NVLink와 NVSwitch 기술은 해자이다.NVLINK는 여러 GPU를 직접 연결하여 고성능 컴퓨팅 클러스터 또는 딥 러닝 시스템을 형성할 수 있는 포인트 투 포인트 고속 상호 연결 기술입니다. 또한 NVLink는 통합 메모리의 개념을 도입하여 연결된 GPU 사이의 메모리 풀을 지원합니다. 이는 대규모 데이터 세트가 필요한 작업에 매우 중요한 기능입니다.
NVSwitch는 여러 GPU와 CPU를 직접 연결하여 고성능 컴퓨팅 시스템을 형성할 수 있는 고속 스위치 기술이다.
엔비디아는 NVLink Switch의 지원을 받아 72개의 B200을"기적을 크게 창조"하여 연결하여"차세대 컴퓨팅 유닛"인 GB200 NVL72가 되었다.이와 같은"컴퓨팅 유닛"캐비닛은 FP8 정밀도의 훈련 계산력이 720PFlops에 달해 H100 시대의 DGX SuperPod 슈퍼컴퓨터 클러스터 (1000PFlops) 에 육박한다.
엔비디아는 이 새로운 칩이 2024년 말에 출시될 것이라고 밝혔다.현재 아마존, 델, 구글, 메타, 마이크로소프트, 오픈AI, 테슬라는 블랙웰 GPU를 사용할 계획이다.
"포장도매카드"의 방식도 대형모형회사의 카드사용수요에 부합된다.여러 GPU 상호 연결을 데이터 센터로"패키지"하면 대형 모델 회사와 클라우드 서비스 업체의 구매 형태에 더 적합합니다.엔비디아의 2023 회계연도 실적 발표에 따르면 엔비디아의 데이터 센터 사업의 40% 가 초대형 데이터 센터와 클라우드 서비스 업체에서 수입된다.
미국 동부 시간으로 3월 18일 미국 주식이 마감될 때까지 엔비디아의 주가는 884.550달러, 시가총액은 2조 2100억 달러였다.
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- "미국주 장전"중견주 일반상승 3배 다부 시 중국 ETF 14% 초과 상승;미국 은행은 엔비디아의'매수'등급을 재천명하고 목표가를 190달러로 상향 조정했습니다.테슬라 슈퍼충전기 6만대 돌파
- 아스맥'폭대뢰'인텔, 삼성'뒤집어씌우기'?엔비디아와 TSMC'내분'!거대 기술 기업의 실적 보고 시즌이 평온하지 않다.
- 전 세계 정상에 오르기까지는 한 발자국밖에 남지 않았다!엔비디아 시가총액 3조 5000억 달러 돌파, 월가 계속 상승
- AI 열풍에 엔비디아를 놓쳤다?헤지펀드 큰손들이 소리쳤다: 이"싼 물건"을 사들여라!
- 엔비디아 차세대 AI 칩 GB200 주문 폭발 H100 칩 냉방
- ParTec, 뮌헨에서 엔비디아 특허침해 소송 제기
- 넷이즈 내부 우편물 통보 부정부패 사건 인터넷 대공장 반부패 붐 지속
- 부정부패 의심 넷이즈 게임 거진 인터넷 대공장 반부패 붐 지속
- '트럼프 2.0'은 엔비디아에 어떻게 영향을 미칠까?월가의 공감대: 더 많은 것은 호재이다!
- 황인훈 중대발표!엔비디아, 소프트뱅크와 합작 소프트뱅크, AI 배치 가속화
-
【いい日が来る?米科学技術企業は首を長くして待っている:トランプ2.0は監督管理を減らすことが重要になる】トランプ氏が総選挙に勝利したことに伴い、多くの米科学技術会社幹部は喜んでいる。トランプ氏が勝利し ...
- 内托体头
- 前天 12:51
- 支持
- 反对
- 回复
- 收藏
-
アリババは、26億5000万ドルのドル建て優先無担保手形と170億元の人民元建て優先無担保手形の定価を発表した。ドル債の発行は2024年11月26日に終了する予定です。人民元債券の発行は2024年11月28日に終了する予定だ ...
- SOGO
- 6 小时前
- 支持
- 反对
- 回复
- 收藏
-
11月18日、グーグルクラウド(Google Cloud)は、尹世明氏が大中華区総裁にグーグルクラウドに加入したと発表した。グーグルクラウドに加入する前は、マイクロアライアンスの最高経営責任者、百度グループの副総裁 ...
- 内托体头
- 前天 12:06
- 支持
- 反对
- 回复
- 收藏
-
米東時間11月18日、米株終値は反落し、ダウ平均は3営業日連続で下落した。ナスダック・金龍中国指数は上昇した。米株BAKTは162.37%上昇し、盤中5回の溶断メカニズムをトリガした。 大口商品では、WTI原油価格が上昇 ...
- 就放荡不羁就h
- 昨天 09:18
- 支持
- 反对
- 回复
- 收藏