英伟达财报前精准狙击?这家独角兽强势进军AI推理 不用HBM做到世界最快
稀土掘金
发表于 2024-8-28 15:16:06
149
0
0
目前,英伟达GPU在AI训练和推理两方面都占据着市场主导地位。Cerebras自2019年推出首款AI芯片以来,一直专注销售AI芯片和计算系统,致力于在AI训练领域挑战英伟达。
根据美国科技媒体The Information的报道,得益于AI推理服务,OpenAI今年收入预计将达到34亿美元。既然AI推理的蛋糕这么大,Cerebras联合创始人兼首席执行官安德鲁·费尔德曼表示,Cerebras也要在AI市场上占据一席之地。
Cerebras这次推出AI推理服务不仅开启了AI芯片和计算系统之外,基于使用量的第二收入曲线,更是发起了对英伟达的全面进攻。“从英伟达手中抢走足够让他们生气了的市场份额。”费尔德曼如是说。
又快又便宜
Cerebras的AI推理服务在速度和成本上均表现出显著优势。据费尔德曼介绍,以每秒可输出的token数量来衡量,Cerebras的AI推理速度是微软Azure、亚马逊AWS等云服务商运行的AI推理服务的20倍。
费尔德曼在发布会现场同时启动了Cerebras与亚马逊AWS的AI推理服务,Cerebras可以瞬间完成推理工作并输出,处理速度达到每秒1832个tokens,而AWS需要几秒钟才能完成输出,处理速度仅为每秒93个tokens。
费尔德曼称,更快的推理速度意味着,可以实现实时交互式语音回答,或通过调用多轮结果、更多外部来源、更长文档,从而获得更准确、更相关的回答,给AI推理带来质的飞跃。
除了速度优势外,Cerebras还有巨大的成本优势。费尔德曼表示,Cerebras的AI推理服务性价比是AWS等的100倍。以运行Meta的Llama 3.1 70B开源大型语言模型为例,该服务的价格为每个token仅需60美分,而一般云服务商提供的相同服务每个令牌价格为2.90美元。
目前最大GPU面积的56倍
Cerebras的AI推理服务又快又便宜的原因在于其WSE-3芯片的设计。这是Cerebras今年3月推出的第三代处理器芯片,它的尺寸巨大,几乎相当于一个12英寸半导体晶片的整个表面,或者说比一本书还要大,单体面积达到约462.25平方厘米。它是目前最大GPU面积的56倍。
WSE-3芯片没有像英伟达那样采用需要通过接口连接才能访问的独立高带宽存储器(HBM)。相反,它将内存直接内置在芯片中。
得益于芯片尺寸,WSE-3的片上存储器(On-chip memory)高达44G,几乎是英伟达H100的900倍,内存带宽是英伟达H100的7000倍。
费尔德曼表示,内存带宽是限制语言模型推理性能的根本因素。而Cerebras将逻辑和内存整合到一个巨型芯片中,拥有巨大的片上内存和极高的内存带宽,可以快速地处理数据并产生推理结果。“这是GPU不可能达到的速度。”
除了速度和成本优势外,WSE-3芯片还是AI训练和推理两面手,在处理各种AI任务时都具有卓越的性能。
根据计划,Cerebras将在多个地点建立AI推理数据中心,并将按请求次数对推理能力收费。同时,Cerebras还将向尝试向云服务商出售基于WSE-3的CS-3计算系统。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 英伟达Q3业绩会全文:正全力生产Blackwell 明年中开始毛利回升
- 印尼副总统:英伟达将在多个印尼城市投资 包括建设人工智能学校
- 英伟达三季度营收达到350.82亿美元
- 英伟达业绩增速放缓 黄仁勋出面“安抚”市场!多空观点激烈交锋 分析师:投资者低估了Blackwell芯片需求
- 英伟达Q4业绩指引不及最高预期 股价盘后一度跌超5%
- 股价暴涨33%!“雪花”风头盖过英伟达 分析师:AI软件优于半导体或是趋势
- 美股三大指数集体收涨 道指涨超1% 英伟达股价创盘中新高
- 美股成交额前20:奈飞连续四个交易日创历史新高;英伟达盘中创历史新高
- 华尔街纷纷上调英伟达目标价:Blackwell热潮即将到来!
- 香港科技大学向英伟达创始人黄仁勋颁授工程学荣誉博士
-
米東時間の金曜日、米株3大指数は集団で上昇し、終値を締め切ると、ダウは0.97%上昇し、今週は1.96%上昇した。納指は0.16%上昇し、今週は1.73%上昇した。スタンダード500指数は0.35%上昇し、今週は1.68%上昇した。 ...
- leekhy
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
イランは現地時間の金曜日(11月22日)、国際原子力機関(IAEA)がイランに圧力をかけている新たな決議に応えるため、大量の遠心分離機を追加してウラン濃縮を行うと発表した。 IAEA理事会は木曜日、イランの協力不 ...
- 1900_后
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
9月以来、香港株の1日当たりの出来高は大幅に増加し、流動性の回復は中資証券会社の業績の反発を牽引し、富途証券、タイガー証券などのインターネット証券会社の年間獲得目標は早期に達成された。 証券会社の中国人 ...
- 拓牛李强
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
蔚来法務部は11月22日、インターネット上に流出した蔚来と他の企業の資本レベルのデマについて、会社が最初に通報し、受理されたと発表した。会社はすでにこのデマの全リンク推進過程と、マルチプラットフォームが ...
- 愿为素心人
- 3 天前
- 支持
- 反对
- 回复
- 收藏