최근,"역사상 가장 빠른 큰 모형"이 폭발했다.해외 AI 칩 스타트업인 Groq는 자체 연구 LPU (언어 처리 단위) 를 추리 칩으로 사용하여 큰 모델의 초당 생성 속도를 초당 500 token (텍스트의 최소 단위) 에 가깝게 하고 GPT-3.5의 초당 40 token을 깔아뭉갰다.
이는 큰 모델이 요청을 처리하고 응답을 얻는 데 걸리는 시간이 크게 단축됐다는 것을 의미하며, 한 네티즌은"내가 눈을 깜빡이는 것보다 더 빨리 답장한다"고 외쳤다.Groq의 LPU가 엔비디아 GPU 칩의 강력한 대체품이 될 수 있다는 시각도 있습니다.더 많은 자체 매체는 엔비디아가 Groq의 LPU에 의해"깔렸다"고 주장한다.
그러나 이후 업계 전문가들이 Groq LPU 성가비와 경쟁력에 의문을 제기하며 엔비디아를 강타할 가능성을 부인하고 있다.Groq LPU의 하드웨어 비용은 엔비디아 H100 GPU의 약 40배, 에너지 비용은 약 10배라는 계산이 있다.
전문가들은 Groq LPU 성가비와 경쟁력에 의문을 제기한다
청화대학 집적회로학원 부교수 하호는 기자의 취재를 받고 LPU는 추리칩에 속하며 현재 공급이 수요를 따르지 못하고 주로 대형모형훈련에 사용되는 GPU칩과 같은 코스라고 할수 없다고 표시했다.추리 칩 트랙으로 볼 때 LPU는 현재 높은 성능에 도달했을 수 있지만 운영 비용은 낮지 않다.고성능 저비용의 추리 칩은 추리 비용을 낮추고 AI 대형 모델의 응용 범위를 넓힐 수 있다.그 시장 전망은 주로 수요를 추리하는 시장 선택에 달려 있으며 과학 기술 경쟁과 그다지 관련되지 않는다.
말 그대로 훈련 칩은 주로 큰 모델을 훈련하는 데 사용되고, 추리 칩은 주로 AI 응용에 사용된다.업계에서는 각 업종이 수류대모형을 맞이하면서 AI 대모형응용이 점차 착지됨에 따라 추리에 사용되는 계산력은 훈련계산력과 마찬가지로 주목을 받게 될것이라고 인정하고있다.
그러나 추리용으로도 LPU, GPU의 메모리 용량과 대형 모델의 운행 처리량에 따라 계산하는 전문가가 있어 LPU는 성가비와 에너지 효율비를 막론하고 엔비디아의 GPU와 경쟁할 수 없다.
페이스북의 기존 AI 과학자이자 알리의 기존 기술 부사장인 자양칭은 해외 소셜미디어 플랫폼에 글을 올려 Groq LPU의 메모리 용량이 매우 작다 (230MB).간단히 계산하면 700억 매개변수 모델을 실행할 때 Groq 카드 305장이 필요한데, 이는 8장영위가 H100에 달하는 것을 사용하는 것과 같다.현재 가격으로 볼 때, 이는 동등한 처리량에서 Groq LPU의 하드웨어 비용이 H100의 약 40배, 에너지 비용이 약 10배라는 것을 의미한다.
기자가 취재한 모 국내 헤드 AI 칩 회사 책임자도 이 같은 계산 결과에 공감했다.그는 GPU가 HBM(고대역폭 메모리)을 사용하는 것과 달리 LPU가 SRAM(정적 랜덤 메모리)을 스토리지로 사용한다는 것은 많은 카드를 쌓아야 큰 모델을 달릴 수 있다는 것을 의미한다고 주장했다.
텐센트 테크놀로지 칩 전문가 야오진신은"엔비디아가 이번 AI 물결에서 절대적인 선두를 차지해 전 세계가 도전자를 손꼽아 기다리게 됐다.매번 눈길을 끄는 글은 항상 처음에 사람들에게 믿어지는데, 이 이유 외에도 여전히 대조시의'방법'을 하고 있기 때문에 고의로 다른 요소를 무시하고 단일 차원으로 비교한다"고 말했다.
Groq는 수년간 GPU와 CPU와 같은 기존 아키텍처를 전복하기 위해 노력해 왔습니다.
LPU는 언어 처리 단위를 나타내며 순차적 구성 요소를 갖춘 연산 집약적 인 응용 프로그램 (예: 큰 언어 모델 LLM) 에 가장 빠른 추론을 제공 할 수있는 새로운 종단 간 처리 단위 시스템이라고 Groq 웹 사이트는 설명했다.
LPU가 LLM과 생성식 AI에 사용될 때 GPU보다 훨씬 빠른 이유에 대해 Groq 홈페이지는 LPU가 LLM의 밀도와 메모리 대역폭을 계산하는 두 가지 병목 현상을 극복하기 위한 것이라고 설명했다.LLM의 경우 LPU의 컴퓨팅 능력이 GPU와 CPU보다 커서 각 단어를 계산하는 데 걸리는 시간을 줄인 후 텍스트 시퀀스를 더 빨리 생성할 수 있습니다.또한 외부 메모리 병목 현상을 제거함으로써 LPU 추론 엔진은 LLM에서 GPU보다 몇 단계 높은 수준의 성능을 제공할 수 있습니다.
Groq은 2016년에 설립되었습니다.이미 2021년에는 Groq를'엔비디아 최강 도전자'로 불렀다.2021년에 Groq는 유명 투자기관인 타이거 유니버설 매니지먼트 펀드, D1 캐피털이 투자한 3억 달러를 획득했으며, 총 융자액은 3억 6700만 달러에 달한다.
2023년 8월에 Groq는 Groq LPU를 출시하여 초당 100token이 넘는 기록적인 속도로 700억 매개변수의 엔터프라이즈급 언어 모델을 실행할 수 있다.Groq는 다른 시스템에 비해 10배에서 100배의 속도 우위를 가지고 있다고 추정합니다.
Groq의 설립자 겸 CEO 인 조나단 로스 (Jonathan Ross) 는"인공 지능은 기존 시스템의 제한을 받고 있으며, 그 중 많은 시스템이 새로운 진입자들에 의해 추종되거나 점차 개선되고 있다.이 문제에 얼마를 투자하든 GPU와 CPU와 같은 전통적인 아키텍처는 인공 지능과 기계 학습의 증가하는 요구를 충족시키기 어렵습니다."우리의 사명은 더욱 전복적입니다: Groq는 컴퓨팅 비용을 0으로 낮춤으로써 인공 지능의 잠재력을 방출하고자 합니다."