李彦宏最新内部讲话:开源大模型不如闭源 后者会持续领先
海田1
发表于 2024-4-12 09:30:56
196
0
0
此外,他还提到了关于AI创业者应该专注模型还是应用、创业公司既做模型又做应用的“双轮驱动”是否是一个好模式等业界焦点话题。
大模型开源意义不大
在大模型领域,目前有开源和闭源两种技术路线。
例如马斯克旗下的人工智能初创公司“xAI”选择了开源路线,此前其正式开源了全球最大参数的大语言模型Grok-1。Meta的大语言模型Llama系列,以及在开源社区备受关注的Mistral AI等,国内的智源“悟道”大模型、百川智能大模型、阿里的通义千问模型也都是开源大模型。
掀起大模型热潮的OpenAI开发的GPT-3.5、GPT-4选择了闭源,百度文心大模型也是如此。
李彦宏在内部讲话中提到,关于文心是否需要开源,百度内部有过非常激烈的讨论,最终决定不开源。当时的判断是,市场上一定会有开源的模型,而且不止一家会开源。在这种情况下,多百度一家开源不多,少百度一家开源也不少。
“这个市场上不缺我们这一家开源的模型。我们要开源还得自己去维护一套开源的版本,这是不划算的。”他认为,模型开源的意义其实不是很大,这些开源模型在外零散、小规模地去做各种验证应用,却没有经过大算力的验证。
在他看来,与传统的软件开源不同,大模型开源并非众人拾柴火焰高。反而是闭源模型在能力上会持续领先,而不是一时的领先。
有行业人士同样对界面新闻表示,此前开源软件的优势在于大家共享代码,可以做到多人共同修复bug,使得软件不断更新。然而大模型本身是一个黑盒,在有人提交修改后就有重新训练的可能,每次训练都会消耗大量的算力和资金,并不像从前开源软件一样在多人共同开发方面有如此大的受益。
上述人士判断,长期来看,闭源更能集中智力、算力等资源对大模型进行迭代,比起开源效率更高。
李彦宏也强调,闭源的优势还在于有真正的商业模式,能赚到钱去聚集算力、聚集人才。在成本上,同等能力下,闭源模型的推理成本更低、响应速度更快。同等参数的情况下,闭源模型的能力也更强。
“今天不管是在中国也好、在美国也好,最强的基础模型都是闭源的,而各种各样的小模型、最好的小模型,都是通过大模型蒸馏来的。通过大模型降维做出来的模型就是更好的,这样也会导致闭源在成本上、在效率上会有优势。”他说。
关于大模型的开源闭源之争,百川智能首席执行官王小川此前接受界面新闻采访时也有所提及。他的观点是,大模型本身不代表消费端,不像安卓、IOS需要二选一,今天从企业端的角度,开源闭源都很需要。
王小川很看重开源带来的价值,他认为,未来80%的企业会用到开源模型,因为开源模型小巧,而闭源没法对很多场景做出上佳适配。
AI创业者的核心竞争力并非模型本身
除对开、闭源路线表态外,李彦宏还对AI创业者和创业公司提出了自己的看法。
他认为,一些做模型的创业公司所谓的“双轮驱动”不是一个好模式,既做模型又做应用,势必会分散精力。创业公司的精力和资源都是有限的,当资源有限时更应该专注,而不是去搞所谓的“双轮驱动”。
而对AI创业者来说,核心竞争力不应该是模型本身,这是非常耗资源的,而且需要很长时间的坚持才能跑出来。创业者真正的优势应该是在某一个领域的知识、数据。
“假如你今天想找一个‘黄色的无兜的男士泳裤’,你在任何一个电商平台上都找不到,这种需求目前的技术是解决不了的。大模型如果有领域知识就可以解决,这就是靠领域知识能够提供独特价值的例子。”他说。
在他看来,市面上有大量模型,大的、小的、开源的、闭源的,在特定应用当中如何使用这些模型的组合是有技巧的,这是创业者可以干的事儿,是可以提供价值增益的。
而关于外界所担心的如果用了文心或者闭源模型,做得好就会被抄袭、被抢饭碗,李彦宏也回应称,在移动时代,微信没有去吃掉拼多多,滴滴也没有变成腾讯的一部分。它们都各自提供了自己独特的价值,有自己非常不一样的竞争力。它们的兴起都是依赖移动生态里的一个封闭平台——微信,但它们并不怕微信去抢它的饭碗,所以没有必要担心基础模型通吃AI的应用。
中信建投研报指出,当前国内大模型能力逐步提升,中文领域处理和部分特性如长文本处理等有对齐和领先优势。随着Kimi热度提升,国内多家大模型厂商加入长文本能力竞争,产业消费端落地加速。国内大模型应用元年已至。
在模型逐渐成熟后,未来大模型将在产品和应用层上展开新一轮比拼和争夺。李彦宏这番讲话也是在吸引更多应用层开发者选择文心大模型。
在此前的百度2023年第四季度及全年财报电话会上,李彦宏透露,百度智能云四季度总营收84亿元,其中大模型为云业务带来约6.6亿元增量收入。
目前,文心大模型的日调用量已超过5000万次,季度环比增长190%。去年12月,约有2.6万家企业调用文心大模型,季度环比增长150%。三星、荣耀、汽车之家等企业均与百度达成合作。
自发布以来,百度不断降低文心大模型的推理成本,目前已降低至去年3月版本的1%。
李彦宏还表示,未来,多模态或多模态的融合,比如文字到视频,是非常重要的基础模型开发的方向,也是AGI(通用人工智能)的一个必要方向。百度已经在这些领域进行投资,并会在未来继续进行投资。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
-
生成式人工知能(AI)が巻き起こす技術の波の中で、電力会社は意外にも資本市場の寵児になった。 今年のスタンダード500割株の上昇幅ランキングでは、Vistraなどの従来の電力会社が注目を集め、株価が2倍になってリ ...
- xifangczy
- 前天 12:14
- 支持
- 反对
- 回复
- 收藏
-
隔夜株式市場 世界の主要指数は金曜日に多くが下落し、最新のインフレデータが減速の兆しを示したおかげで、米株3大指数は大幅に回復し、いずれも1%超上昇した。 金曜日に発表されたデータによると、米国の11月のPC ...
- SNT
- 昨天 12:48
- 支持
- 反对
- 回复
- 收藏
-
長年にわたって、昔の消金大手の捷信消金の再編がようやく地に着いた。 天津銀行の発表によると、同行は京東傘下の2社、対外貿易信託などと捷信消金再編に参加する。再編が完了すると、京東の持ち株比率は65%に達し ...
- SNT
- 昨天 12:09
- 支持
- 反对
- 回复
- 收藏
-
グーグルは現地時間12月19日、新しい「推理」モデルとしてGemini 2.0 Flash Thinkingを発売すると発表した。紹介によると、このモデルはまだ実験段階であり、訓練を経た後、モデルが反応を起こした時に経験した「思 ...
- 地下水
- 前天 09:59
- 支持
- 反对
- 回复
- 收藏