최근'엔비디아 H100 GPU 해외 임대료 가격이 시간당 2달러로 떨어졌다'는 제목의 글이 빠르게 국내에 퍼지면서 시장에서도'계산력 거품이 터지기 시작했는가','H100 계산력이 향기롭지 않다'등의 주제를 놓고 토론이 이어지고 있다.
앞서 미국의 한 AI 추리 서비스 공급업체인 Featherless.AI의 공동 창업자 Eugene Cheah는 기고문을 통해 최근 컴퓨팅 리스 업체로부터 한 장의 엔비디아 H100 GPU의 임대 가격이 시간당 약 2달러, 심지어 더 낮아져 2023년 시간당 5달러 정도의 시장 평균 가격에 비해 거의 요절에 이르렀다는 광고 메일을 빈번히 받았다고 밝혔다.
작년 당시 엔비디아는 시간당 4달러의 GPU 가격이 4년 동안 변하지 않을 것이라고 예측했지만 1년 반도 안 돼 가격 인하로 나아갔다.
Eugene Cheah는 이 글에서 AWS, Meta, 구글과 같은 대형 및 중형 AI 모델 회사가 장기 임대를 통해 계산력 가치를 착취했다고 밝혔다.현재, 대형 지산 클러스터를 구축하려는 회사가 아니라면, 새로운 H100을 구매하지 말아야 한다."임대 계산력"은 더 경제적인 선택이다.
시장은 일반적으로 H100의 해외 가격 인하 추세를 인정하지만,"시간당 2달러", 심지어"시간당 1달러"는 주로 Lambda Labs 등 개별 신생 계산력 임대 회사가 고객을 유치하기 위해 판촉을 하기 때문에 시장 평균 가격 수준을 반영할 수 없다고 생각한다.
인터페이스 신문 기자가 아마존 AWS 클라우드 서비스 플랫폼 홈페이지를 찾아보니 단기 임대와 장기 임대의 다른 조건에 따라 서버 한 대에 GPU 8장을 환산하면 H100의 최신 가격은 시간당 12달러 (1년 임대 계약), 시간당 5달러 (3년 임대 계약) 의 두 가지 다른 등급이 있다.또 다른 클라우드 업체인 구글 클라우드 유사 제품의 가격도 10달러 안팎이다.
국내의 한 AI 계산력 임대 업무에 종사하는 업계 인사는 계면신문 기자에게 해외 H100 가격 인하의 논리는 쉽게 이해할 수 있다-엔비디아의 GPU 신제품 H200, B200이 올해 속속 출시되기 시작하면서 신제품 성능이 더욱 강해지고 평균적으로 계산하면 H100 계산력 원가가 상대적으로 더 낮다. 원래의 낡은 제품은 자연히 가격을 내려야 한다. 차이는 가격 인하 폭과 속도에 있을 뿐이다.그가 알아본데 따르면 시간당 5~8딸라는 현재 해외주류플랫폼의 가격수준을 더욱 대표할수 있으며 엔비디아가 이전에 예측한 제품가격추세에도 부합된다.
엔비디아의 신제품이 최근 출시되어 납품되기 시작한 후에도 시장의 반응은 여전히 뜨겁다.
이 회사 CEO 황인훈은 이달 세미나에 참석해"B200 GPU가 최근 양산 납품을 시작한 뒤 고객들의 사랑을 받고 있다"며"앞으로 12개월 동안 Blackwell 아키텍처 GPU 주문이 모두 매진돼 신규 고객이라면 2025년까지 제품을 받을 수 있다"고 밝혔다.
"국내의 상황은 해외와 다르다. 엔비디아의 고급 그래픽 카드 판매 금지 때문에 신제품을 받기 어렵다. 다른 길을 걷고 있다."해외 가격 인하는 국내에 거의 영향을 미치지 않는다. 현 단계에서 국내 계산력 임대 시장의 가장 큰 문제는 여전히 공급 불균형에 있다."국내 계산력 자원이 극도로 분산되어 있어 대부분 판매자가 구매자를 찾지 못하고 구매자도 판매자를 찾지 못한다."
이런 이유는 국내의 현재 계산력 자원의 총 공급이 제한되어 있어 수요에 따라 분배할 수 없기 때문이다.
계면신문기자가 알아본데 따르면 국내에서 AI모형을 훈련하는데 사용되는 계산력자원에는 AI GPU H100, A100외에 엔비디아의 소비GPU제품 4090 및 부동한 제조업체의 국산 AI 계산력이 있다.
이와 동시에 국내에서 계산력임대에 종사하는 회사가 뒤섞여있고 제품서비스와 가격이 통일된 표준이 부족하여 해외의 AWS, 곡가운처럼 고객에게 표준화임대서비스를 제공할수 있는 회사가 드물다.
또 다른 여러 시장 인사는 계면신문 기자에게 국내 계산력 자원 임대의 서버 가격이 올해 확실히 변동이 있다고 말했다.H100 서버 한 대, 연초의 시장 오퍼는 연간 12만 위안 정도였고, 현재 시가는 대략 7만 위안이다.
국내 모 지방정부의 지산센터 건설에 참여했던 한 과학기술회사 CEO는 바이트댄스, 알리, 텐센트 등 인터넷거두들이 장악한 계산력자원은 주로 자기집 큰 모형에 사용되기에 공개시장을 대상으로 임대서비스를 제공하는것이 아주 적다고 언급했다.현재 시장에서 절대 다수의 계산력 임대에 종사하는 제조업체는 모두 서버 하드웨어를 판매하고 있기 때문에 과거의 클라우드 컴퓨팅 제조업체처럼 표준 서비스를 제공하고 가격을 통일할 수 없다.
"이 계산력 임대 서비스 업체의 대다수는 작년 계산력 수요가 폭등하여 일정량의 AI 서버 현물을 비축한 후 계산력 하드웨어를'선물'로 삼아 투기한 것이다.하드웨어 원금 회수를 보장하기 위해 그들은 진정으로 시간당 가격을 계산하여 유연하게 서비스를 제공할 수 있는 사람이 극히 적다. 많은 주문은 1년 심지어 더 긴 시간에 따라 임대해야 한다. 환산하면 적지 않은 원가이다."이 CEO는 국내 시장 가격 인하의 주요 영향은 이 하드웨어 자산의 평가절하다."
또 두 AI 서버 판매원에 따르면 현재 국내 비공개 채널에서 유통되고 있는 소량의 H100 서버는 현물 대당 가격이 240만~250만원 안팎으로 지난해 300만원에 가까운 판매가에 비해 하락했다.
상술한 과학기술회사 CEO의 견해에 의하면 H100의 가격변동만으로"계산력거품파렬"을 예언하는것은 시기상조이다.
공급으로 말하자면, 메타, 마이크로소프트, 테슬라처럼 이미 수십만 장의 H100 GPU를 보유하고 있으며, 여전히 구매를 계속 확대하고 있는 해외 계산력 거두에 비해 국내 계산력 총량은 제한되어 있으며, 각지에서는 여전히 지산센터 건설에 박차를 가하고 있다.정부는 올해 계산력 건설에 대한 투입 방향은 여전히'적정 초과'를 주장하며 공급을 늘리고 있다.
수요의 관점에서 볼 때, AI 대형 모델 훈련이나 추리, 그리고 전통 기업이 AI를 통해 업무 전환을 탐색하도록 지원하든, 선진적인 계산력 자원은 시종 시장에서"인기 상품"이다.
"시장에서 진정으로 자원이 있고 계산력센터를 건설할 실력이 있는 고객은 여전히 극소수이다. 올해 접촉한 대량의 고객들은 평가, 안정, 수요에 따라 호출하는 계산력에 대해 여전히 극도로 갈구하고있다."라고 이 CEO가 말했다.