황인훈은 또'장비'를 업그레이드했다.11월 14일, ≪ 매일경제신문 ≫ 기자가 엔비디아로부터 알아본데 따르면 당지시간으로 11월 13일, 엔비디아 HGX H200 (AI 칩모델, 이하"H200") 을 출시한다고 선포했다.H200은 HBM3e GPU(메모리, 이전 속도보다 빠르고 용량이 더 크다)를 적용해 생성식 AI와 대언어 모델을 더욱 가속화하는 동시에 HPC(고성능 컴퓨팅) 워크로드를 위한 과학적 컴퓨팅을 추진해 전송 속도 4.8TB/s의 141GB 메모리를 제공할 수 있으며, 이전 세대 아키텍처의 NVIDIA A100에 비해 용량이 두 배 가까이 늘고 대역폭이 2.4배 증가한 것으로 알려졌다.
엔비디아의 초대규모 및 고성능 컴퓨팅 부사장 Ian Buck의 견해에 의하면 생성식 AI와 HPC 응용을 통해 지능을 창조하려면 반드시 대형, 쾌속적인 GPU 메모리를 사용하여 대량의 데터를 고속, 능률적으로 처리해야 한다.H200이 초고속 NVLink-C2C 커넥티드 기술이 적용된 NVIDIA Grace CPU와 함께 사용되면 HBM3e가 탑재된 GH200 Grace Hopper 슈퍼칩인 대형 HPC 및 AI 응용을 위한 컴퓨팅 모듈이 구성됩니다.
사양으로 볼 때 H200은 4소켓과 8소켓 H200 서버 마더보드를 선택할 수 있으며 HGX H100 시스템의 하드웨어와 소프트웨어와 모두 호환됩니다.올해 8월 출시된 HBM3e를 적용한 NVIDIA GH200 그레이스 호퍼 슈퍼칩에도 사용할 수 있다.이러한 구성으로 H200은 로컬, 클라우드, 하이브리드 및 에지를 포함한 다양한 데이터 센터에 배포할 수 있습니다.1750억 파라미터 이상의 초대형 모델에 대한 LLM 훈련 및 추론을 포함하여 다양한 애플리케이션 워크로드에 최고의 성능을 제공할 수 있습니다.
아키텍처는 이전 세대에 비해 NVIDIA Hopper 아키텍처가 700억 매개변수의 LLM-Llama 2에서 H100 (엔비디아 AI 칩) 보다 추리 속도가 두 배 가까이 향상되는 등 성능 향상을 이뤘다.
엔비디아 측에 따르면 2024년 2분기부터 글로벌 시스템 제조업체와 클라우드 서비스 제공업체를 통해 H200을 공급할 예정이다.서버 제조업체와 클라우드 서비스 공급업체도 같은 시간에 H200을 탑재한 시스템을 제공할 예정이다.