撞上数据墙?OpenAI模型提升速度放缓 着手调整开发策略
MPA
发表于 3 天前
112
0
0
一些测试过Orion的OpenAI员工发现,虽然Orion的性能超过了OpenAI现有的所有模型,但其性能质量提升程度远远小于从GPT-3到GPT-4的飞跃。这意味着,随着高质量数据趋于有限,AI模型的改进速度可能会放缓。
不仅如此,Orion的训练中涉及来自旧模型(例如GPT-4与一些推理模型)的AI生成数据,这可能导致其重现旧模型的一些行为。
为此,OpenAI成立了一个“基础”团队,以在高质量新数据供应减少的情况下,研究能让AI模型保持改进的新方法。据悉,公司计划基于AI合成数据训练Orion,并在后期训练中对模型作出更多改进。
目前,OpenAI正在推进Orion的安全测试,计划于明年年初发布这一模型,其可能会打破“GPT-X”的命名惯例,以反映模型开发的变化。
值得注意的是,OpenAI在今年收购了Chat.com域名,该域名已重定向至OpenAI的AI驱动聊天机器人ChatGPT。
“撞上数据墙”
早在2020年,OpenAI就曾在一篇论文中提出Scaling law定律,意指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关,而与模型的具体结构(层数/深度/宽度)基本无关。换言之,仅仅增加模型规模和训练数据,就能显著提升人工智能能力,而无需取得根本性的算法突破。
AI界许多公司都一度将Scaling Law奉为圭臬,但如今,也有越来越多的质疑声出现。
Meta AI人工智能研究院(FAIR)研究员及高级经理田渊栋指出,“我画过一张图,一开始数据量越大,模型性能表现越好,但模型离人类越近就越难获得新的数据,模型就越来越难以改进,最后总会有些corner case(边角案例,即无法想到的或不常见的案例)解决不了,这是data driven(数据驱动)最大的问题。”
非营利研究机构Epoch AI在今年7月更新的一篇论文中指出,未来数年内,(原始)数据增长的速度将难以支撑AI大模型扩展发展的速度,在2026-2032年之间的某个时间点,数据存量将耗尽。
实际上,OpenAI已不是第一次遭遇“数据资源不足”的问题。此前已有媒体报道指出,在训练GPT-5时,OpenAI因文本数据不足,正在考虑使用YouTube公开视频转录出的文本。
如今OpenAI再度碰上数据资源难题,甚至因此影响到了新模型进展。“但这代表‘天塌了,’”The Information这篇文章的作者之一Amir Efrati指出,OpenAI正在作出调整,或许将有新的Scaling Law取代旧Scaling Law。
值得一提的,当地时间11月9日,OpenAI安全系统团队负责人翁荔(Lilian Weng)宣布将离开已经工作了近7年的OpenAI。她公开分享了发给团队的离职信,但其中并未言明具体离职原因及未来职业去向,仅表示“是时候重新出发,探索新的领域了”。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 2.8%!美国三季度经济略有放缓,软着陆稳了吗
- 何小鹏:小鹏车端大模型明年目标实现百公里接管1次
- 何小鵬:小鵬車端大模型来年100キロ接収1回を目標
- 李彦宏:文心大模型日均调用量超15亿 较一年前增长30倍
- 李彦宏:文心大模型の1日平均使用量が15億を超え、1年前より30倍増加
- DeepMind开源生物分子预测模型 诺奖成果将掀起AI制药浪潮?
- 百度李彦宏:过去24个月,AI行业最大变化是大模型基本消除了幻觉
- 「AI新世代」大模型厂商齐“卷”智能体,李彦宏称将迎来“靠想法就能赚钱时代”
- 李彦宏说大模型幻觉基本消除了 实测文心一言到底怎么样?
- 百度发布两款“超级有用”应用,李彦宏:大模型变得可用可信
-
南方財経は11月12日、百済神州が2024年第3四半期の報告書を発表し、同社の第3四半期の営業収入は71.39億元で、前年同期比26.9%増加した。上場企業の株主に帰属する純利益は-8.09億元で、主に前年同期に百時米施貴宝 ...
- 1900_后
- 昨天 20:21
- 支持
- 反对
- 回复
- 收藏
-
【小鵬自動車が複数のハードコア技術を発表】小鵬自動車は6日、「科学技術が世界を変える」をテーマとした「小鵬AI科学技術の日」を開催し、AI自動車、AIロボット、飛車の3つのプレートの革新的な技術と成果を世界 ...
- 江仅鱼舜
- 前天 09:49
- 支持
- 反对
- 回复
- 收藏
-
白ブランド品による低ライン市場の争奪戦が再び波瀾を巻き起こし、京東の「11・11」期間中、11月8日、京東傘下の特価ショッピングブランド「京喜自営」が初めて業務の詳細を披露し、「白ブランド国産品工場百億扶助 ...
- love清晨叶
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
【過去最高!暗号化通貨が突然暴騰トランプ氏が最大の推力に?】11月10日、暗号化通貨が集団で動き、午後はさらに上昇に拍車をかけた。このうち、20時現在、ビットコインは8万ドル/枚の大台に乗り、史上初めて、日 ...
- hecgdge4
- 前天 20:00
- 支持
- 反对
- 回复
- 收藏