英伟达财报前精准狙击?这家独角兽强势进军AI推理 不用HBM做到世界最快
稀土掘金
发表于 2024-8-28 15:16:06
143
0
0
目前,英伟达GPU在AI训练和推理两方面都占据着市场主导地位。Cerebras自2019年推出首款AI芯片以来,一直专注销售AI芯片和计算系统,致力于在AI训练领域挑战英伟达。
根据美国科技媒体The Information的报道,得益于AI推理服务,OpenAI今年收入预计将达到34亿美元。既然AI推理的蛋糕这么大,Cerebras联合创始人兼首席执行官安德鲁·费尔德曼表示,Cerebras也要在AI市场上占据一席之地。
Cerebras这次推出AI推理服务不仅开启了AI芯片和计算系统之外,基于使用量的第二收入曲线,更是发起了对英伟达的全面进攻。“从英伟达手中抢走足够让他们生气了的市场份额。”费尔德曼如是说。
又快又便宜
Cerebras的AI推理服务在速度和成本上均表现出显著优势。据费尔德曼介绍,以每秒可输出的token数量来衡量,Cerebras的AI推理速度是微软Azure、亚马逊AWS等云服务商运行的AI推理服务的20倍。
费尔德曼在发布会现场同时启动了Cerebras与亚马逊AWS的AI推理服务,Cerebras可以瞬间完成推理工作并输出,处理速度达到每秒1832个tokens,而AWS需要几秒钟才能完成输出,处理速度仅为每秒93个tokens。
费尔德曼称,更快的推理速度意味着,可以实现实时交互式语音回答,或通过调用多轮结果、更多外部来源、更长文档,从而获得更准确、更相关的回答,给AI推理带来质的飞跃。
除了速度优势外,Cerebras还有巨大的成本优势。费尔德曼表示,Cerebras的AI推理服务性价比是AWS等的100倍。以运行Meta的Llama 3.1 70B开源大型语言模型为例,该服务的价格为每个token仅需60美分,而一般云服务商提供的相同服务每个令牌价格为2.90美元。
目前最大GPU面积的56倍
Cerebras的AI推理服务又快又便宜的原因在于其WSE-3芯片的设计。这是Cerebras今年3月推出的第三代处理器芯片,它的尺寸巨大,几乎相当于一个12英寸半导体晶片的整个表面,或者说比一本书还要大,单体面积达到约462.25平方厘米。它是目前最大GPU面积的56倍。
WSE-3芯片没有像英伟达那样采用需要通过接口连接才能访问的独立高带宽存储器(HBM)。相反,它将内存直接内置在芯片中。
得益于芯片尺寸,WSE-3的片上存储器(On-chip memory)高达44G,几乎是英伟达H100的900倍,内存带宽是英伟达H100的7000倍。
费尔德曼表示,内存带宽是限制语言模型推理性能的根本因素。而Cerebras将逻辑和内存整合到一个巨型芯片中,拥有巨大的片上内存和极高的内存带宽,可以快速地处理数据并产生推理结果。“这是GPU不可能达到的速度。”
除了速度和成本优势外,WSE-3芯片还是AI训练和推理两面手,在处理各种AI任务时都具有卓越的性能。
根据计划,Cerebras将在多个地点建立AI推理数据中心,并将按请求次数对推理能力收费。同时,Cerebras还将向尝试向云服务商出售基于WSE-3的CS-3计算系统。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 英伟达对云游戏GeForce Now服务进行收费调整
- 英伟达任命前NASA航天中心主任为董事会成员
- 英伟达云游戏服务GeForce Now明年起将限制游戏时长:每月100小时
- 英伟达云游戏服务将限制游戏时长
- 英伟达市值突破3.6万亿美元 刷新美股历史
- 景林Q3持仓出炉:抛售微软、英伟达 加仓59万股苹果公司
- 私募龙头景林美股持仓曝光:狂卖英伟达、微软 加仓苹果、腾讯音乐等
- 本周美股“科技股七姐妹”集体上涨!英伟达总市值超3.6万亿美元
- AI周报|AI搜索初创公司Perplexity估值激增至90亿美元;英伟达市值超过苹果
- 史上首家 英伟达市值超3.6万亿美元!特斯拉本周涨超29% 重回万亿美元大关
-
第7回博覧会の開幕当日、11月5日、ファイザーは革新薬のトルエンスルホン酸タラゾールパッリカプセル(商品名:テゼナ)が先日、国家薬監局(NMPA)の承認を得て発売されたと発表した。それはエンザルアミンと共同 ...
- 了看允侥
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
何思文氏は、「進博会というプラットフォームでは、私たちが始めたのは耳を傾けるモデルであり、進博会を通じて各種製品を展示し、消費者の需要とフィードバックを集め、将来中国に輸入する製品を決定するのに役立 ...
- an7en
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
白ブランド品による低ライン市場の争奪戦が再び波瀾を巻き起こし、京東の「11・11」期間中、11月8日、京東傘下の特価ショッピングブランド「京喜自営」が初めて業務の詳細を披露し、「白ブランド国産品工場百億扶助 ...
- love清晨叶
- 昨天 18:01
- 支持
- 反对
- 回复
- 收藏
-
【エイダ氏は元NASA宇宙センター主任を取締役会メンバーに任命】エイレンオチョア氏はNASAのベテラン、エレン・オチョア氏を取締役に任命し、取締役会の規模は13人に拡大した。英偉達氏は声明の中で、66歳のオチョ ...
- 柔柔树呆熊呆j
- 3 天前
- 支持
- 反对
- 回复
- 收藏