李彦宏戳破大模型“跑分”假象:榜单不代表所有实力 未来模型的差距会变大
海田1
发表于 2024-9-11 19:00:42
133
0
0
但在近日百度董事长李彦宏和内部员工的一场交流中,捅他破了大模型行业跑分的"窗户纸"。"每次新模型发布,都要和GPT-4o做比较,说我的得分已经跟它差不多了,甚至某些单项上得分已经超过它了,但这并不表明和最先进的模型就没有差距了。"
他进一步解释道,模型之间的差距是多维度的。一个维度是能力方面,不管是理解能力、生成能力、逻辑推理能力还是记忆能力等这些基本能力上的差距;另一个维度是成本方面,有些模型虽能达到同样效果,但成本高、推理速度慢,其实还是不如先进模型。
"还有就是对于测试集的over-fitting,每一个想证明自己能力的模型都会去打榜,打榜时他就要猜别人到底在测什么、哪些题我用什么样的技巧就能做对,所以从榜单或者测试集上看,你觉得能力已经很接近了,但到实际应用中还是有明显差距的。"李彦宏说。
一位大模型从业者告诉记者,李彦宏提到的测视集的over-fitting(过拟合),主要是指模型训练过程中,模型对训练数据的学习过于精细,以至于模型在训练数据上的表现非常好,但在没见过的测试数据上表现较差的现象。这通常意味着模型过于复杂,以至于它能够"记住"训练数据中的噪声和细节,但这些细节和噪声并不具有普遍性,因此,模型无法很好地推广到更多新数据上。
上述人士认为,打榜跑分确实存在局限性,例如由于评测数据集的公开性,模型可以有针对性地训练来提升排名,出现"刷榜"现象,但并非完全没有意义,榜单还是相对提供了一个量化的评估标准,帮助人们快速了解不同大模型的性能,促使大家通过竞争不断优化大模型的技术水平,也有一定宣传和推广的作用。
在李彦宏看来,"部分自媒体的炒作,再加上每个新模型发布的时候都有宣传的动力,使得大家有一种印象,认为模型之间的能力差别已经比较小了,其实真不是这样。"李彦宏说,在实际使用过程当中,百度不允许技术人员去打榜,真正衡量大模型能力,应该是在具体应用场景中,看是否能满足用户需求、产生价值增益。
而对于大模型行业常常提到的"领先12个月或者落后18个月",他认为也没有那么重要。因为每个公司都处在完全竞争的市场环境中,不管做什么方向都有很多竞争对手。"如果你能永远保证领先对手12~18个月,那是天下无敌的,不要觉得12—18个月是很短的时间,哪怕你能保证永远领先竞争对手6个月,那就赢了,你的市场份额可能是70%,而对手可能仅为20%甚至10%的份额。"
他判断,未来大模型之间的差距可能会越来越大。因为大模型的天花板很高,现在距离理想情况还相差非常远,所以模型要不断快速迭代、更新和升级;需要能几年、十几年如一日地投入,不断满足用户需求,降本增效。
除了讨论大模型竞争还有没有壁垒,在交流中,李彦宏还提到外界对大模型有相当多的误解,包括开源闭源模型效率、AI Agent等话题。
李彦宏是闭源大模型的坚定支持者,"在大模型时代之前,大家习惯了开源意味着免费、意味着成本低。" 他解释说,比如开源的Linux,因为已经有了电脑,所以使用Linux是免费的。但这些在大模型时代不成立,大模型推理是很贵的,开源模型也不会送算力,还得自己买设备,无法实现算力的高效利用。
"效率上开源模型是不行的。" 他表示," 闭源模型准确讲应该叫商业模型,是无数用户分摊研发成本、分摊推理用的机器资源和GPU,GPU的使用效率是最高的,百度文心大模型3.5、4.0的GPU使用率都达到了90%多。"
李彦宏分析,在教学科研等领域,开源模型是有价值的;但在商业领域,当追求的是效率、效果和最低成本时,开源模型是没有优势的。
关于大模型的应用演进方式,他也表达了自己的观点,首先出现的是Copilot,对人进行辅助;接下来是Agent智能体,有一定的自主性,能自主使用工具、反思、自我进化;这种自动化程度再发展,就会变成AI Worker,能独立完成各方面的工作。
当前,智能体已经受到越来越多的大模型公司及客户的关注,李彦宏认为,虽然有很多人看好这个发展方向,但是到今天为止,智能体还不是共识。
"智能体的门槛确实很低", 他说,很多人不知道怎么把大模型变成应用,而智能体是一个非常直接、高效、简单的方式,在模型之上构建智能体相当方便。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
-
隔夜株式市場 世界の主要指数は金曜日に多くが下落し、最新のインフレデータが減速の兆しを示したおかげで、米株3大指数は大幅に回復し、いずれも1%超上昇した。 金曜日に発表されたデータによると、米国の11月のPC ...
- SNT
- 前天 12:48
- 支持
- 反对
- 回复
- 收藏
-
長年にわたって、昔の消金大手の捷信消金の再編がようやく地に着いた。 天津銀行の発表によると、同行は京東傘下の2社、対外貿易信託などと捷信消金再編に参加する。再編が完了すると、京東の持ち株比率は65%に達し ...
- SNT
- 前天 12:09
- 支持
- 反对
- 回复
- 收藏
-
【GPT-5屋台で大きな問題:数億ドルを燃やした後、OpenAIは牛が吹くのが早いことを発見した】OpenAIのGPT-5プロジェクト(Orion)はすでに18カ月を超える準備をしており、関係者によると、このプロジェクトは現在進 ...
- SNT
- 4 小时前
- 支持
- 反对
- 回复
- 收藏
-
【ビットコインが飛び込む!32万人超の爆倉】データによると、過去24時間で世界には32万7000人以上の爆倉があり、爆倉の総額は10億ドルを超えた。
- 断翅小蝶腥
- 3 天前
- 支持
- 反对
- 回复
- 收藏