这意味着大模型从处理请求到获得响应所需的时间大幅缩短,有网友直呼“它回复的速度比我眨眼还快”;有人认为Groq的LPU可能成为英伟达GPU芯片的有力替代品;更有自媒体声称英伟达被Groq的LPU“碾压”。
但随后陆续有业界专家对于Groq LPU性价比和竞争力提出质疑,并否认其可能冲击英伟达。有计算显示Groq LPU的硬件成本约是英伟达H100 GPU的40倍,能耗成本约是其10倍。
专家质疑Groq LPU性价比和竞争力
清华大学集成电路学院副教授何虎接受记者采访表示,LPU属于推理芯片,和目前供不应求、主要用于大模型训练的GPU芯片不能算同一个赛道。从推理芯片赛道来看,LPU目前可能达到了较高性能,但是运行成本并不低。高性能低成本的推理芯片可以降低推理成本、拓宽AI大模型应用范围。其市场前景主要取决于推理需求的市场选择,不太涉及科技竞争。
顾名思义,训练芯片主要用于训练大模型,推理芯片则主要用于AI应用中。业内认为,随着各行各业迎来垂类大模型,AI大模型应用逐步落地,用于推理的算力将和训练算力一样受到关注。
然而,即便是用于推理,有专家根据LPU、GPU的内存容量和大模型运行吞吐量计算,无论在性价比和能效比上,LPU都无法和英伟达的GPU竞争。
脸书原AI科学家、阿里原技术副总裁贾扬清在海外社交媒体平台发文分析,Groq LPU的内存容量非常小(230MB)。简单计算得出,运行700亿参数模型时,需要305张Groq卡,相当于使用8张英伟达H100。从目前的价格来看,这意味着在同等吞吐量下,Groq LPU的硬件成本约是H100的40倍,能耗成本约是其10倍。
记者采访的某国内头部AI芯片公司负责人也认同上述计算结果。他认为,与GPU使用HBM(高带宽存储器)不同,LPU使用了SRAM(静态随机存储器)作为存储,就意味着要堆很多卡才能跑一个大模型。
腾讯科技芯片专家姚金鑫更是直言:“英伟达在本次AI浪潮中的绝对领先地位,使得全球都翘首以盼挑战者。每次吸引眼球的文章,总会在最初被人相信,除了这个原因之外,还是因为在做对比时的‘套路’,故意忽略其他因素,用单一维度来做比较。”
Groq多年致力于颠覆GPU和CPU等传统架构
Groq官网介绍说,LPU代表语言处理单元,是一种新型的端到端处理单元系统,可为具有顺序组件的计算密集型应用程序(如大语言模型LLM)提供最快的推理。
对于为什么LPU用于LLM和生成式AI时比GPU快得多,Groq官网解释说,LPU旨在克服LLM的两个瓶颈:计算密度和内存带宽。对于LLM来说,LPU的计算能力要大于GPU和CPU,减少了计算每个单词所需的时间后,可以更快生成文本序列。此外,通过消除外部内存瓶颈使LPU推理引擎能在LLM上提供比GPU高几个数量级的性能。
Groq成立于2016年。早在2021年,外界就曾将Groq称为“英伟达最强挑战者”。2021年,Groq获得了由知名投资机构老虎环球管理基金、D1 Capital领投的3亿美元,总融资额达3.67亿美元。
2023年8月,Groq就推出了Groq LPU,可以以每秒超过100 token的创纪录速度运行700亿参数的企业级语言模型。Groq估计,与其他系统相比,它具有10倍到100倍的速度优势。
Groq创始人兼首席执行官乔纳森·罗斯(Jonathan Ross)曾表示:“人工智能受到现有系统的限制,其中许多系统正在被新进入者追随或逐步改进。无论你在这个问题上投入多少钱,GPU和CPU等传统架构都难以满足人工智能和机器学习不断增长的需求……我们的使命更具颠覆性:Groq寻求通过将计算成本降至零来释放人工智能的潜力。”
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 美国据悉考虑允许英伟达向沙特出口先进芯片
- 英伟达预计Q4生产45万片Blackwel AI GPU
- 美股V型反弹 纳指涨逾2%!英伟达涨逾8% 市值大增1.54万亿元!黄仁勋发声:“最强AI芯片”太抢手
- 英伟达黄仁勋发言:Blackwell太抢手令客户关系紧张
- 全球市场:美股三大指数集体收涨 纳指涨逾2% 英伟达股价涨超8%
- 涨价不可避免!RTX 5090、5080规格完整曝光:英伟达强行拉大差距
- “AI妖股”超微电脑财务风险引发关注,“深度绑定”英伟达
- 08年金融危机中令人闻风色变的资产 今年跑赢了英伟达?
- 韩国互联网巨头Kakao:下月将宣布与英伟达建立AI合作关系
- 中国资产大涨!纳斯达克中国金龙指数涨超5%!美国重磅数据公布 纳指跌超278点 英伟达跌超3% 苹果跌超2%
-
9月が終わり、映画・テレビ業界が暗躍している。最近、愛奇芸の創始者でCEOのGONG宇氏は、映画・テレビ業界が長短の変化、AIの変化、中国映画・テレビドラマの海外進出の変化の3つの変化を経験していると発表した。 ...
- 寒郁轩良
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
10月1日、理想自動車が9月に納入したデータによると、9月に理想自動車が新車53709台を納入し、前年同月比48.9%増となった。 今年第3四半期、理想自動車は前年同期比45.4%増の152831台を納入した。今年9月30日現在、 ...
- 就放荡不羁就h
- 昨天 12:06
- 支持
- 反对
- 回复
- 收藏
-
ネットワーク状況監視サイトDownDetectorによると、オーディオストリーミングプラットフォームSpotifyは日曜日に約3時間にわたる障害を経験した後、正常に回復し、ピーク時には米国の4万人以上のユーザーに影響を与 ...
- hecgdge4
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
10月1日、極クリプトン自動車が発表したデータによると、今年第3四半期に新車が累計14万2900台納入され、前年同期比81%増となった。このうち、9月に新車を納入したのは2万13万人で、前年同期比77%、前月比18%増だっ ...
- 内托体头
- 前天 16:17
- 支持
- 反对
- 回复
- 收藏