马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI
Aim_yuan
发表于 2024-3-18 13:13:42
170
0
0
有意思的是,Grok-1宣布开源的封面图为Midjourney生成,可谓“AI helps AI”。
一直吐槽OpenAI不open的马斯克,自然要在社交平台上含沙射影一番,“我们想了解更多OpenAI的开放部分。”
Grok-1遵照Apache 2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今,已经在GitHub上揽获6.5k星标,热度还在持续增加。
项目说明中明确强调,由于Grok-1是一个规模较大(314B参数)的模型,需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628 GB GPU内存的机器。
此外,该存储库中MoE层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。
目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说,发布开源模型有助于社区展开大规模的测试和反馈,意味着模型本身的迭代速度也能加快。
Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程:
在宣布成立xAI之后,相关研究人员首先训练了一个330亿参数的原型语言模型(Grok-0),这个模型在标准语言模型测试基准上接近LLaMA2(70B)的能力,但使用了更少的训练资源;
之后,研究人员对模型的推理和编码能力进行了重大改进,最终开发出了Grok-1并于2023年11月发布,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%的成绩,在MMLU中达到了73%,超过了其计算类中的所有其他模型,包括ChatGPT-3.5和Inflection-1。
与其他大模型相比,Grok-1的优势在哪呢?
xAI特别强调,Grok-1是他们自己从头训练的大模型,即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练,没有针对特定任务(如对话)进行微调;
Grok-1的一个独特而基本的优势是,它可以通过X平台实时了解世界,这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据;
3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%,这一庞大的参数量为其提供了强大的语言理解和生成能力。
xAI此前介绍,Grok-1将作为Grok背后的引擎,用于自然语言处理任务,包括问答、信息检索、创意写作和编码辅助。未来,长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 大模型加速落地 百度智能云发布千帆大模型平台3.0
- 百度李彦宏:现在距离大模型的理想情况还差很远 未来模型之间的差距会变大
- 欧洲隐私监管机构调查谷歌将数据用于人工智能模型的情况
- 欧洲隐私监管机构调查谷歌将数据用于人工智能模型的情况
- 百度沈抖:面向10万卡算力集群升级计算平台能力 文心大模型日调用量超7亿次
- Meta发布重磅新品:299美元的Quest 3S头显、AR眼镜原型、多模态AI模型
- 百度世界2024宣布定档11月12日 文心大模型日调用量已超7亿
- 百度世界2024将于11月12日召开 文心大模型日均调用量已超7亿次
- 业界共话大模型应用创新实践——2024百度云智大会大模型应用产品论坛举行
- 对话|百度李涛:汽车智能化和大模型浪潮重叠是历史必然
-
AIエクスプレスによると、10月3日、米株の人気の中概株盤の前が低くなり、ピッピッピッと5%近く下落し、相多、名創優品、小鵬自動車は3%超下落し、百度、蔚来自動車、京東は2%超下落した。 ...
- SOGO
- 昨天 17:06
- 支持
- 反对
- 回复
- 收藏
-
ナスダック中国の金龍指数は5%超上昇し、楽しい自動車は120%超上昇し、金山雲は18%超上昇し、ピシャリと12%超上昇し、子牛の電動、怪獣の充電は10%超上昇し、愛奇芸は8%超上昇し、テンセント音楽、新東方は7%超上昇 ...
- hecgdge4
- 昨天 10:28
- 支持
- 反对
- 回复
- 收藏
-
10月1日、理想自動車が9月に納入したデータによると、9月に理想自動車が新車53709台を納入し、前年同月比48.9%増となった。 今年第3四半期、理想自動車は前年同期比45.4%増の152831台を納入した。今年9月30日現在、 ...
- 就放荡不羁就h
- 前天 12:06
- 支持
- 反对
- 回复
- 收藏
-
EUが中国の電気自動車に関税を課す方針、独首相と財務相が反発 ドイツ連邦のショルツ首相は現地時間の10月2日、EUが中国の電気自動車に一時的な補助金税を課す紛争を解決するために中国と交渉することを表明した。 ...
- 寒郁轩良
- 13 小时前
- 支持
- 反对
- 回复
- 收藏