马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI
Aim_yuan
发表于 2024-3-18 13:13:42
179
0
0
有意思的是,Grok-1宣布开源的封面图为Midjourney生成,可谓“AI helps AI”。
一直吐槽OpenAI不open的马斯克,自然要在社交平台上含沙射影一番,“我们想了解更多OpenAI的开放部分。”
Grok-1遵照Apache 2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今,已经在GitHub上揽获6.5k星标,热度还在持续增加。
项目说明中明确强调,由于Grok-1是一个规模较大(314B参数)的模型,需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628 GB GPU内存的机器。
此外,该存储库中MoE层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。
目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说,发布开源模型有助于社区展开大规模的测试和反馈,意味着模型本身的迭代速度也能加快。
Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程:
在宣布成立xAI之后,相关研究人员首先训练了一个330亿参数的原型语言模型(Grok-0),这个模型在标准语言模型测试基准上接近LLaMA2(70B)的能力,但使用了更少的训练资源;
之后,研究人员对模型的推理和编码能力进行了重大改进,最终开发出了Grok-1并于2023年11月发布,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%的成绩,在MMLU中达到了73%,超过了其计算类中的所有其他模型,包括ChatGPT-3.5和Inflection-1。
与其他大模型相比,Grok-1的优势在哪呢?
xAI特别强调,Grok-1是他们自己从头训练的大模型,即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练,没有针对特定任务(如对话)进行微调;
Grok-1的一个独特而基本的优势是,它可以通过X平台实时了解世界,这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据;
3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%,这一庞大的参数量为其提供了强大的语言理解和生成能力。
xAI此前介绍,Grok-1将作为Grok背后的引擎,用于自然语言处理任务,包括问答、信息检索、创意写作和编码辅助。未来,长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
-
第7回博覧会の開幕当日、11月5日、ファイザーは革新薬のトルエンスルホン酸タラゾールパッリカプセル(商品名:テゼナ)が先日、国家薬監局(NMPA)の承認を得て発売されたと発表した。それはエンザルアミンと共同 ...
- 了看允侥
- 5 小时前
- 支持
- 反对
- 回复
- 收藏
-
何思文氏は、「進博会というプラットフォームでは、私たちが始めたのは耳を傾けるモデルであり、進博会を通じて各種製品を展示し、消費者の需要とフィードバックを集め、将来中国に輸入する製品を決定するのに役立 ...
- an7en
- 6 小时前
- 支持
- 反对
- 回复
- 收藏
-
【エイダ氏は元NASA宇宙センター主任を取締役会メンバーに任命】エイレンオチョア氏はNASAのベテラン、エレン・オチョア氏を取締役に任命し、取締役会の規模は13人に拡大した。英偉達氏は声明の中で、66歳のオチョ ...
- 柔柔树呆熊呆j
- 9 小时前
- 支持
- 反对
- 回复
- 收藏
-
ハイエンド機能性アパレルブランドのCanada Gooseカナダガチョウは、2024年9月29日現在の2025年度第2四半期決算を発表した。 「私たちが直面しているマクロ経済環境はますます厳しくなり、消費者感情が影響を受けて ...
- 薇唯玮味
- 1 小时前
- 支持
- 反对
- 回复
- 收藏