英伟达财报前精准狙击?这家独角兽强势进军AI推理 不用HBM做到世界最快
稀土掘金
发表于 2024-8-28 15:16:06
193
0
0
目前,英伟达GPU在AI训练和推理两方面都占据着市场主导地位。Cerebras自2019年推出首款AI芯片以来,一直专注销售AI芯片和计算系统,致力于在AI训练领域挑战英伟达。
根据美国科技媒体The Information的报道,得益于AI推理服务,OpenAI今年收入预计将达到34亿美元。既然AI推理的蛋糕这么大,Cerebras联合创始人兼首席执行官安德鲁·费尔德曼表示,Cerebras也要在AI市场上占据一席之地。
Cerebras这次推出AI推理服务不仅开启了AI芯片和计算系统之外,基于使用量的第二收入曲线,更是发起了对英伟达的全面进攻。“从英伟达手中抢走足够让他们生气了的市场份额。”费尔德曼如是说。
又快又便宜
Cerebras的AI推理服务在速度和成本上均表现出显著优势。据费尔德曼介绍,以每秒可输出的token数量来衡量,Cerebras的AI推理速度是微软Azure、亚马逊AWS等云服务商运行的AI推理服务的20倍。
费尔德曼在发布会现场同时启动了Cerebras与亚马逊AWS的AI推理服务,Cerebras可以瞬间完成推理工作并输出,处理速度达到每秒1832个tokens,而AWS需要几秒钟才能完成输出,处理速度仅为每秒93个tokens。
费尔德曼称,更快的推理速度意味着,可以实现实时交互式语音回答,或通过调用多轮结果、更多外部来源、更长文档,从而获得更准确、更相关的回答,给AI推理带来质的飞跃。
除了速度优势外,Cerebras还有巨大的成本优势。费尔德曼表示,Cerebras的AI推理服务性价比是AWS等的100倍。以运行Meta的Llama 3.1 70B开源大型语言模型为例,该服务的价格为每个token仅需60美分,而一般云服务商提供的相同服务每个令牌价格为2.90美元。
目前最大GPU面积的56倍
Cerebras的AI推理服务又快又便宜的原因在于其WSE-3芯片的设计。这是Cerebras今年3月推出的第三代处理器芯片,它的尺寸巨大,几乎相当于一个12英寸半导体晶片的整个表面,或者说比一本书还要大,单体面积达到约462.25平方厘米。它是目前最大GPU面积的56倍。
WSE-3芯片没有像英伟达那样采用需要通过接口连接才能访问的独立高带宽存储器(HBM)。相反,它将内存直接内置在芯片中。
得益于芯片尺寸,WSE-3的片上存储器(On-chip memory)高达44G,几乎是英伟达H100的900倍,内存带宽是英伟达H100的7000倍。
费尔德曼表示,内存带宽是限制语言模型推理性能的根本因素。而Cerebras将逻辑和内存整合到一个巨型芯片中,拥有巨大的片上内存和极高的内存带宽,可以快速地处理数据并产生推理结果。“这是GPU不可能达到的速度。”
除了速度和成本优势外,WSE-3芯片还是AI训练和推理两面手,在处理各种AI任务时都具有卓越的性能。
根据计划,Cerebras将在多个地点建立AI推理数据中心,并将按请求次数对推理能力收费。同时,Cerebras还将向尝试向云服务商出售基于WSE-3的CS-3计算系统。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 美股成交额前20:苹果跌超4%本土生产iPhone成本或飙升90% 特斯拉跌超7% 英伟达跌近6%
- 特朗普:将加快向英伟达发放研发AI超级计算机所有必要许可
- 美股半导体股盘前多数下跌,英伟达跌超6%
- 纳指收跌超3% 英伟达重挫逾6%
- 鲍威尔“鹰派”讲话带崩美股,纳指跌超3%,英伟达再度大跌
- 大摩下调英伟达营收预期:H20限售令影响或超预期!
- 霸王茶姬美股首日上市 盘中一度涨近50%!道指跌超1% 英伟达跌近3%!事关降息 特朗普发声
- 黄仁勋今年二度到访:中国是英伟达非常重要的市场 希望继续与中国合作
- 龚正会见英伟达总裁兼首席执行官黄仁勋
- 美股成交额前20:特斯拉、亚马逊、英伟达涨超3% 奈飞股价创新高