开源大模型的“ChatGPT时刻”来临!Meta发布最新AI大模型
gyxhcn25
发表于 2024-7-25 14:04:14
1104
0
0
而就在北京时间7月23日(周二)晚间,全球AI领域的开发人员期待已久的开源大模型“ChatGPT时刻”终于到来——Meta发布最新AI模型Llama 3.1,其中参数规模最大的是Llama 3.1-405B版本。
扎克伯格将Llama 3.1称为“艺术的起点”,将对标OpenAI和谷歌公司的大模型。测试数据显示,Meta Llama 3.1-405B在GSM8K等多项AI基准测试中超越了当下最先进的闭源模型OpenAI GPT-4o。这意味着,开源模型首次击败目前最先进的闭源大模型。
而且,Llama 3.1-405B的推出意味着开发人员可以自由使用其“蒸馏”输出来训练小众模型,从而大大加快专业领域的创新和部署周期。
开源社区的“里程碑”
2024年4月,Meta推出开源大型语言模型Llama 3。其中,Llama 3-8B和Llama 3-70B为同等规模的大模型树立了新的基准,然而,在短短三个月内,随着AI的功能迭代,其他大模型很快将其超越。
在你追我赶的竞争环境下,Meta最新发布了AI模型Llama 3.1,一共有三款,分别是Llama 3.1-8B、Llama 3.1-70B和Llama 3.1-405B。其中,前两个是4月发布的Llama 3-8B和Llama 3-70B模型的更新版本。而Llama 3.1-405B版本拥有4050亿个参数,是Meta迄今为止最大的开源模型之一。
而在发布当天的凌晨(北京时间),“美国贴吧”reddit的LocalLLaMA子论坛泄露了即将推出的三款模型的早期基准测试结果。
泄露的数据表明,Meta Llama 3.1-405B在几个关键的AI基准测试中超越了OpenAI的GPT-4o。这对开源AI社区来说是一个重要的里程碑:开源模型首次击败目前最先进的闭源大模型。
而Meta团队研究科学家Aston Zhang在X上发布的内容,也印证了被泄露的测试数据。
具体来看,Meta Llama 3.1-405B 在IFEval、GSM8K、ARC Challenge和Nexus等多项测试中均优于GPT-4o。但是,它在多项MMLU测试和GPQA测试等方面却落后于 GPT-4o。另外,Llama 3.1的上下文窗口(context window)涵盖128000个标记,比以前的Llama模型更大,大约相当于一本50页书的长度。
但需要指出的是,值得注意的是,这些基准反映的是Llama 3.1基本模型的性能。这些模型的真正潜力可以通过指令调整来实现,而指令调整过程可以显著提高这些模型的能力。即将推出的Llama 3.1模型的指令调整版本预计会产生更好的结果。
Llama 4已于6月开始训练
尽管OpenAI即将推出的 GPT-5预计将具备先进的推理能力,可能会挑战Llama 3.1在大模型领域的潜在领导地位,但Llama 3.1对标GPT-4o的强劲表现仍然彰显了开源AI开发的力量和潜力。
要知道,对于专注于构建专业AI模型的开发人员来说,他们面临的长期挑战是获取高质量的训练数据。较小的专家模型(参数规模在10亿~100亿)通常利用“蒸馏技术”,需要利用较大模型的输出来增强其训练数据集,然而,使用来自OpenAI等闭源巨头的此类数据受到严格限制,因此大大限制了商业应用。
而Llama 3.1-405B的推出意味着开发人员可以自由使用其“蒸馏”输出来训练小众模型,从而大大加快专业领域的创新和部署周期。预计高性能、经过微调的模型的开发将激增,这些模型既强大又符合开源道德规范。
宾夕法尼亚大学沃顿商学院副教授伊桑·莫利克(Ethan Mollick)写道:“如果这些数据属实,那么可以说顶级AI模型将在本周开始免费向所有人开放。全球各地都可以使用相同的AI功能。这会很有趣。”
Llama 3.1-405B的开源,也证明开源模型与闭源模型的差距再次缩小了。
《每日经济新闻》记者还注意到,除了广受期待的Llama 3.1-405B外,外媒报道称,Llama 4已于6月开始训练,训练数据包括社交平台Facebook和Instagram用户的公开帖子。而在开始之前,Mate已经向数据隐私监管最严格的欧盟地区用户发送超过20亿条通知,提供了不同意把自己数据用于大模型训练的选项。
据悉,Llama 4将包含文本、图像、视频与音频模态,Meta计划将新模型应用在手机以及智能眼镜中。
记者|蔡鼎
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- AI周报|OpenAI公开反对AI大模型监管法案;AMD拟49亿美元收购服务器厂商
- 美韩监管机构要求英伟达披露关键业务细节,包括GPU供应与基础模型合作
- 小鹏“更名”后二家公司又同日发布端到端大模型 高阶智驾AI时代提前到来?
- 黄仁勋预言步入现实 谷歌展示实时游戏生成AI模型GameNGen
- 亚马逊新版Alexa据悉将主要由Anthropic的AI模型提供支持
- 开源证券:关注苹果、Meta9月新品发布 继续布局AI
- 百度推出新搜索文小言 免费开放文心4.0大模型能力
- 文心一言App更名文小言,9月文心4.0大模型免费用
- 百度推新搜索文小言 用户9月可免费体验文心大模型4.0
- OpenAI商用订阅用户数突破100万 新模型传出惊人涨价传言
-
9月5日、蔚来は2024年第2四半期の財政報告を発表し、第2四半期の売上高は174億5000万元で、前年同期比98.9%増加した。今年第2四半期、蔚来は累計5万7400台の新車を納入した。 財報の発表当日、資本市場で前向きなフ ...
- 就放荡不羁就h
- 昨天 12:39
- 支持
- 反对
- 回复
- 收藏
-
小鵬自動車の新車種MONA M 03は肇慶基地で順調に量産され、工事中の瑞慶時代二工場は年内に操業を開始する予定で、広州データ取引所(肇慶)サービス基地は看板を掲げて運営している……実体経済であれ、デジタル経 ...
- slim
- 前天 11:16
- 支持
- 反对
- 回复
- 收藏
-
JPモルガン・チェース首席米経済学者マイケル・フェローリ(Michael Feroli)氏は最近、FRBは9月の会議で金利を50ベーシスポイント引き下げなければならないと述べた。 現地時間の木曜日(9月5日)、フェリリ氏はメ ...
- 不正经的工程师
- 昨天 21:44
- 支持
- 反对
- 回复
- 收藏
-
【クアルコムCEO:サムスンとグーグルと協力してハイブリッド現実眼鏡を開発中】クアルコムのクリスティア・アモン最高経営責任者は、クアルコムがサムスンとグーグルと協力してスマートフォンにつながるハイブリッ ...
- 寒郁轩良
- 昨天 10:33
- 支持
- 反对
- 回复
- 收藏