英伟达财报前精准狙击?这家独角兽强势进军AI推理 不用HBM做到世界最快
稀土掘金
发表于 2024-8-28 15:16:06
126
0
0
目前,英伟达GPU在AI训练和推理两方面都占据着市场主导地位。Cerebras自2019年推出首款AI芯片以来,一直专注销售AI芯片和计算系统,致力于在AI训练领域挑战英伟达。
根据美国科技媒体The Information的报道,得益于AI推理服务,OpenAI今年收入预计将达到34亿美元。既然AI推理的蛋糕这么大,Cerebras联合创始人兼首席执行官安德鲁·费尔德曼表示,Cerebras也要在AI市场上占据一席之地。
Cerebras这次推出AI推理服务不仅开启了AI芯片和计算系统之外,基于使用量的第二收入曲线,更是发起了对英伟达的全面进攻。“从英伟达手中抢走足够让他们生气了的市场份额。”费尔德曼如是说。
又快又便宜
Cerebras的AI推理服务在速度和成本上均表现出显著优势。据费尔德曼介绍,以每秒可输出的token数量来衡量,Cerebras的AI推理速度是微软Azure、亚马逊AWS等云服务商运行的AI推理服务的20倍。
费尔德曼在发布会现场同时启动了Cerebras与亚马逊AWS的AI推理服务,Cerebras可以瞬间完成推理工作并输出,处理速度达到每秒1832个tokens,而AWS需要几秒钟才能完成输出,处理速度仅为每秒93个tokens。
费尔德曼称,更快的推理速度意味着,可以实现实时交互式语音回答,或通过调用多轮结果、更多外部来源、更长文档,从而获得更准确、更相关的回答,给AI推理带来质的飞跃。
除了速度优势外,Cerebras还有巨大的成本优势。费尔德曼表示,Cerebras的AI推理服务性价比是AWS等的100倍。以运行Meta的Llama 3.1 70B开源大型语言模型为例,该服务的价格为每个token仅需60美分,而一般云服务商提供的相同服务每个令牌价格为2.90美元。
目前最大GPU面积的56倍
Cerebras的AI推理服务又快又便宜的原因在于其WSE-3芯片的设计。这是Cerebras今年3月推出的第三代处理器芯片,它的尺寸巨大,几乎相当于一个12英寸半导体晶片的整个表面,或者说比一本书还要大,单体面积达到约462.25平方厘米。它是目前最大GPU面积的56倍。
WSE-3芯片没有像英伟达那样采用需要通过接口连接才能访问的独立高带宽存储器(HBM)。相反,它将内存直接内置在芯片中。
得益于芯片尺寸,WSE-3的片上存储器(On-chip memory)高达44G,几乎是英伟达H100的900倍,内存带宽是英伟达H100的7000倍。
费尔德曼表示,内存带宽是限制语言模型推理性能的根本因素。而Cerebras将逻辑和内存整合到一个巨型芯片中,拥有巨大的片上内存和极高的内存带宽,可以快速地处理数据并产生推理结果。“这是GPU不可能达到的速度。”
除了速度和成本优势外,WSE-3芯片还是AI训练和推理两面手,在处理各种AI任务时都具有卓越的性能。
根据计划,Cerebras将在多个地点建立AI推理数据中心,并将按请求次数对推理能力收费。同时,Cerebras还将向尝试向云服务商出售基于WSE-3的CS-3计算系统。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 美国据悉考虑允许英伟达向沙特出口先进芯片
- 英伟达预计Q4生产45万片Blackwel AI GPU
- 美股V型反弹 纳指涨逾2%!英伟达涨逾8% 市值大增1.54万亿元!黄仁勋发声:“最强AI芯片”太抢手
- 英伟达黄仁勋发言:Blackwell太抢手令客户关系紧张
- 全球市场:美股三大指数集体收涨 纳指涨逾2% 英伟达股价涨超8%
- 涨价不可避免!RTX 5090、5080规格完整曝光:英伟达强行拉大差距
- “AI妖股”超微电脑财务风险引发关注,“深度绑定”英伟达
- 08年金融危机中令人闻风色变的资产 今年跑赢了英伟达?
- 韩国互联网巨头Kakao:下月将宣布与英伟达建立AI合作关系
- 中国资产大涨!纳斯达克中国金龙指数涨超5%!美国重磅数据公布 纳指跌超278点 英伟达跌超3% 苹果跌超2%
-
9月が終わり、映画・テレビ業界が暗躍している。最近、愛奇芸の創始者でCEOのGONG宇氏は、映画・テレビ業界が長短の変化、AIの変化、中国映画・テレビドラマの海外進出の変化の3つの変化を経験していると発表した。 ...
- 寒郁轩良
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
10月1日、理想自動車が9月に納入したデータによると、9月に理想自動車が新車53709台を納入し、前年同月比48.9%増となった。 今年第3四半期、理想自動車は前年同期比45.4%増の152831台を納入した。今年9月30日現在、 ...
- 就放荡不羁就h
- 昨天 12:06
- 支持
- 反对
- 回复
- 收藏
-
ネットワーク状況監視サイトDownDetectorによると、オーディオストリーミングプラットフォームSpotifyは日曜日に約3時間にわたる障害を経験した後、正常に回復し、ピーク時には米国の4万人以上のユーザーに影響を与 ...
- hecgdge4
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
10月1日、極クリプトン自動車が発表したデータによると、今年第3四半期に新車が累計14万2900台納入され、前年同期比81%増となった。このうち、9月に新車を納入したのは2万13万人で、前年同期比77%、前月比18%増だっ ...
- 内托体头
- 前天 16:17
- 支持
- 反对
- 回复
- 收藏