북경시간으로 3월 19일 새벽, 엔비디아 GTC (GPU 기술대회) 에서 엔비디아 최고경영자 황인훈은 호퍼구조칩의 후임자인 블랙웰구조의 B200칩을 발표했다.현재 엔비디아 호퍼 아키텍처의 칩 H100과 GH200 그레이스 호퍼 슈퍼 칩은 수요가 많아 세계에서 가장 강력한 많은 슈퍼 컴퓨팅 센터에 계산력을 제공하고 있으며 B200은 계산력의 진일보한 세대 간 비약을 제공할 것이다.
Blackwell 아키텍처의 B200 칩은 기존의 단일 GPU가 아닙니다.대신 Nvidia에 따르면 통합 CUDA GPU 역할을 하는 두 개의 긴밀한 결합 칩으로 구성됩니다.두 칩은 완전히 일치하는 단일 칩으로 작동하도록 10TB/s NV-HBI(Nvidia 고대역폭 인터페이스) 연결을 통해 연결됩니다.
다중 카드 상호 연결은 B200 계산력 향상의 열쇠입니다.2개의 GPU와 단일 Grace CPU를 결합한 GB200은 큰 언어 모델의 추론 작업에 30배의 성능을 제공하는 동시에 효율도 크게 향상시킬 수 있다.엔비디아에 따르면 B200은 H100에 비해 생성식 AI의 계산력 비용과 에너지 소비를 최대 25배 줄일 수 있다.
엔비디아 AI 칩의 성능 자체의 계산력 향상은 주로 데이터 정밀도에 의존한다. FP64, FP32, FP16, FP8에서 현재 B200 칩의 FP4에 이르기까지 FP4의 최대 이론적 계산량은 20 petaflops (데이터 정밀도 단위) 이다.FP4는 FP8 성능의 두 배이며, FP4의 장점은 대역폭을 향상시켜 각 뉴런에 8비트가 아닌 4비트를 사용함으로써 계산, 대역폭 및 모델 크기를 두 배로 늘린다는 것이다.만약 B200을 FP8로 환산하여 H100과 동류를 비교한다면 B200은 리론적으로 H100보다 2.5배 많은 계산량을 제공하는데 불과하며 B200의 계산력제고의 많은 부분은 두 칩의 상호련결에서 온다.
CPU 범용 프로세서 시대의 무어의 법칙 (집적회로에 수용할 수 있는 트랜지스터 수, 약 18개월마다 두 배로 증가) 은 이미 만년에 접어들었다.TSMC의 3nm 공정에서의 돌파는 칩 성능에 세대 간의 돌파를 가져오지 못했다.2023년 9월 애플 A17 프로가 출시돼 TSMC가 생산한 첫 3nm 공정 칩을 사용했지만 CPU 성능은 10% 향상에 그쳤다.또한 선진 제조 공정 칩 연구 개발에 막대한 비용이 소요되는데, 위안촨연구소의 보도에 따르면 2023년 TSMC의 웨이퍼 파운드리 가격은 2년 전에 비해 약 16% (선진 제조 공정) 에서 34% (성숙 제조 공정) 올랐다.
애플 외에 TSMC의 또 다른 큰 칩 고객은 엔비디아이다. 엔비디아의 경화 AI 칩 H100은 TSMC N4 (5nm) 공정을 채택해 TSMC의 CoWoS 첨단 패키징 생산능력을 사용했다.
무어의 법칙은 효력을 잃었다. 황인훈의 황씨의 법칙은 GPU의 효능이 2년마다 두 배 이상 증가할 것이라며"혁신은 칩만이 아니라 전체 스택"이라고 지적했다.
엔비디아는 계속해서 다카 상호 연결을 향해 나아갔다.3nm 칩의 향상이 제한된 이상 엔비디아의 B200은 4nm 칩 2개를 나란히 놓고 초고속 칩의 상호 연결을 통해 2000여억 트랜지스터의 초대형 칩을 구성하기로 했다.엔비디아 GTC에서 황인훈은 칩 자체의 성능에 대해 한 획을 그은 적이 있는데, 중점은 모두 DGX 시스템에 있다.
멀티 카드 상호 연결에서 엔비디아의 NVLink와 NVSwitch 기술은 해자이다.NVLINK는 여러 GPU를 직접 연결하여 고성능 컴퓨팅 클러스터 또는 딥 러닝 시스템을 형성할 수 있는 포인트 투 포인트 고속 상호 연결 기술입니다. 또한 NVLink는 통합 메모리의 개념을 도입하여 연결된 GPU 사이의 메모리 풀을 지원합니다. 이는 대규모 데이터 세트가 필요한 작업에 매우 중요한 기능입니다.
NVSwitch는 여러 GPU와 CPU를 직접 연결하여 고성능 컴퓨팅 시스템을 형성할 수 있는 고속 스위치 기술이다.
엔비디아는 NVLink Switch의 지원을 받아 72개의 B200을"기적을 크게 창조"하여 연결하여"차세대 컴퓨팅 유닛"인 GB200 NVL72가 되었다.이와 같은"컴퓨팅 유닛"캐비닛은 FP8 정밀도의 훈련 계산력이 720PFlops에 달해 H100 시대의 DGX SuperPod 슈퍼컴퓨터 클러스터 (1000PFlops) 에 육박한다.
엔비디아는 이 새로운 칩이 2024년 말에 출시될 것이라고 밝혔다.현재 아마존, 델, 구글, 메타, 마이크로소프트, 오픈AI, 테슬라는 블랙웰 GPU를 사용할 계획이다.
"포장도매카드"의 방식도 대형모형회사의 카드사용수요에 부합된다.여러 GPU 상호 연결을 데이터 센터로"패키지"하면 대형 모델 회사와 클라우드 서비스 업체의 구매 형태에 더 적합합니다.엔비디아의 2023 회계연도 실적 발표에 따르면 엔비디아의 데이터 센터 사업의 40% 가 초대형 데이터 센터와 클라우드 서비스 업체에서 수입된다.
미국 동부 시간으로 3월 18일 미국 주식이 마감될 때까지 엔비디아의 주가는 884.550달러, 시가총액은 2조 2100억 달러였다.