6월 2일 저녁, 엔비디아 창시자 겸 최고경영자 황인훈이 무대에 올라 연설을 하면서 적지 않은 관건적인 정보를 밝혔다.그의 설명에 따르면 NVIDIA NIM을 사용하여 클라우드, 데이터 센터 또는 워크스테이션에 AI 모델을 배포하는 개발자는 모델 배포 시간을 이전 몇 주에서 몇 분으로 단축할 수 있다.화석, 로씨회사, 지멘스 등 고객들이 모두 사용하고 있다.
또 엔비디아가 기대를 걸고 있는 차세대 AI 칩과 슈퍼컴퓨팅 플랫폼 블랙웰 칩이 가동을 시작해 2025년 블랙웰 울트라 AI 칩을 출시할 예정이다.
NVIDIANIM을 통해 몇 주에서 몇 분으로 모델 배포 시간 단축
6월 2일 저녁, 가죽옷을 입은 엔비디아 창시자 황인훈은 또 무대에서 자신의 제품을 만지작거렸다. NVIDIANIM, 일종의 추리마이크로서비스, 최적화된 용기형식을 통해 모형을 제공할수 있는데 이는 각종 규모기업이 AI서비스를 배치하는데 조력하기 위해서이다.
그러나 엄밀히 말하면 NVIDIANIM은 신제품이 아니며 가장 먼저 모습을 드러낸 것은 올해 3월이다.엔비디아는 6월 2일 저녁, 전 세계 2800만 명의 개발자가 NVIDIANIM을 다운로드하여 AI 모델을 클라우드, 데이터센터 또는 워크스테이션에 배치하여 Copilot (일종의 AI 보조), ChatGPT 챗봇 등 생성식 AI 응용을 구축할 수 있다고 발표했다.다음 달부터 NVIDIA 개발자 프로그램 회원은 NIM을 무료로 사용해 선택한 인프라에서 연구, 개발, 테스트를 할 수 있다.
엔비디아에 따르면 새로운 생성식 AI 응용은 갈수록 복잡해지고 있다. 보통 이미지, 동영상, 음성 등 다양한 기능을 가진 여러 모델을 사용하여 텍스트를 생성해야 한다.NVIDIANIM은 이전 몇 주에서 몇 분으로 모델 배포 시간을 단축할 수 있는 생성형 AI를 애플리케이션에 추가하는 간단하고 표준화된 방법을 제공합니다.
황인훈은 또 Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI, 신쓰테크놀로지 등 200개 가까운 기술 파트너들이 NIM을 자사 플랫폼에 통합해 생성형 AI 배치를 가속화하고 있다고 밝혔다."모든 기업은 그 운영에 생성식 AI를 융합하기를 원하지만, 모든 기업이 전문 AI 연구팀을 가지고 있는 것은 아니다.NVIDIA NIM은 모든 플랫폼에 통합될 수 있고, 어느 곳에서나 개발자가 액세스할 수 있으며, 모든 환경에서 실행할 수 있다"고 말했다.황인훈이 말했다.
[매일경제신문] 기자가 알아본데 따르면 NIM은 사전에 구축된것으로서 현재 근 40개의 모형이 NIM의 끝점으로 개발자들이 체험할수 있다.개발자는 오픈 소스 커뮤니티 플랫폼인 Hugging Face에서 Meta Llama 3 모델용 NVIDIA NIM 마이크로서비스에 액세스할 수 있으며, Hugging Face를 사용하여 Llama 3 NIM에 대한 추론 엔드포인트를 액세스하고 실행할 수 있습니다.
특히 엔비디아는 전자 제조업체 Foxconn이 NIM을 사용하여 스마트 제조, 스마트 시티, 스마트 전기 자동차를 위한 특정 분야에 대한 큰 언어 모델 (LLM) 을 개발하고 있는 등 큰 고객들의 사용 상황을 밝혔다.허석은 NIM을 현지 하이브리드 전문가 (MoE) 모델에 사용하고 있습니다.라우스사는 NVIDIA NIM 추리 마이크로서비스로 직원과 고객의 경험을 향상시키고 있습니다.지멘스는 자사 운영 기술을 NIM 마이크로서비스와 통합해 작업장 AI 워크로드에 사용하고 있다.또한 수십 개의 의료 회사가 NIM을 배치하여 수술 계획, 디지털 어시스턴트, 약물 발견 및 임상 시험 최적화 등을 포함한 응용 분야의 생성적 AI 추리를 지원하고 있다.
Blackwell 칩 생산 시작
황인훈은 이들 제품 외에도 연설에서 엔비디아 블랙웰 칩이 생산을 시작했으며 2025년에 블랙웰 울트라 AI 칩을 출시할 것이라고 밝혔다.
올해 5 월 황인훈은 재무 보고 전화 회의에서 올해 Blackwell 아키텍처 칩이 회사에 많은 수익을 가져다 줄 것으로 예상된다고 말했다.엔비디아가 Blackwell 칩에 큰 기대를 걸고 있는 것은 여전히 시장의 강력한 수요와 관련이 있다.최근 공개된 실적 자료를 보면 2025 회계연도 1분기 엔비디아의 매출은 260억 달러로 전년 동기 대비 262% 증가했다.이 중 데이터센터 사업 매출은 226억 달러로 전년 동기 대비 427% 증가해 실적 수입의'큰 몫'을 했다.
엔비디아의 최고 재무 책임자인 콜레트 크레이스에 따르면, 데이터 센터 사업의 성장은 H100과 같은 Hopper 아키텍처 GPU의 출하량 증가에서 비롯되었다;이번 분기의 중요한 하이라이트 중 하나는 메타가 Lama 3 오픈 소스 모델을 출시하고 거의 2만 4천 개의 H100 GPU를 사용했다고 발표한 것이다.
엔비디아는 칩 양산 진도를 공개하는 것 외에도 이번에 NVIDIA Blackwell 아키텍처를 적용한 일련의 시스템을 선보였다.
이들 시스템은 GraceCPU와 NVIDIA 네트워크와 인프라를 탑재해 기업의 AI 공장과 데이터센터 설립을 돕는 것으로 알려졌다.그 중 NVIDIA MGX 모듈식 참조 설계 플랫폼은 NVIDIA Blackwell 제품에 대한 지원을 추가하였으며, 주요 대언어 모델 추리, 검색 강화 생성 및 데이터 처리에 탁월한 성능을 제공하기 위해 제작된 NVIDIA GB200 NVL2 플랫폼을 포함한다.
엔비디아는 GB200 NVL2는 데이터 분석 등 신흥 분야에 적합하며, NVLink-C2C 상호 연결 기술로 인한 대역폭 메모리 성능 및 Blackwell 아키텍처에 특화된 압축 해제 엔진을 통해 X86CPU를 사용할 때보다 데이터 처리 속도가 최대 18배, 에너지 효율이 8배 향상된다고 강조했다."새로운 산업혁명이 시작되었고, 많은 기업과 지역이 엔비디아와 협력하여 조 달러 규모의 전통적인 데이터 센터를 컴퓨팅 가속화로 전환하고 있으며, 새로운 상품, 인공지능을 생산하기 위한 새로운 데이터 센터 AI 공장을 짓고 있다"고 황인훈은 말했다.
엔비디아 측은 현재 25개 이상의 파트너사의 90여 대의 MGX 참조 아키텍처를 출시했거나 개발 중인 시스템이 사용하고 있으며, 개발 비용은 이전보다 최대 4분의 3, 개발 기간은 6개월, 이전보다 3분의 2 감소했다고 밝혔다.또 비야디전자, 지멘스, 타이레다, 알파벳 계열사인 인트린식 등 전 세계 10여 개 로봇 기업이 엔비디아이젝 가속 라이브러리, 물리학 기반 시뮬레이션, AI 모델을 자사 소프트웨어 프레임워크와 로봇 모델에 통합해 공장, 창고, 배송센터의 생산성을 높이고 있다고 엔비디아이젝은 전했다.