李彦宏氏は大モデルの「走分」仮象を突き破った:ランキングはすべての実力未来モデルの差が大きくなることを意味しない
什么大师特
发表于 2024-9-11 19:00:46
131
0
0
新バージョンのビッグモデルが発表されるたびに、業界はサードパーティのランキングデータを引用して、自社のビッグモデルとGPT-4を一緒に& ;quot;ランニングポイント& ;quot;,いくつかの指標で追い越しを実現したと主張し、自分の大モデルの技術力を証明した。
しかし、最近の百度の李彦宏会長と内部社員の交流で、彼は大模型業界の走分を破った& ;quot;障子紙& ;quot;。"新しいモデルがリリースされるたびに、GPT-4 oと比較しなければなりません。私の得点はそれとあまり差がないと言っています。一部の単項では得点がそれを超えていますが、これは最先端モデルとの差がないことを示していません。"
彼はさらに、モデル間の差は多次元的であると説明した。1つの次元は能力の面であり、理解能力、生成能力、論理推論能力、記憶能力などの基本的な能力の差であれ、もう1つの次元はコストの面であり、一部のモデルは同じ効果を達成することができるが、コストが高く、推理速度が遅く、実は先進モデルに及ばない。
"また、テスト集のover-fittingについては、自分の能力を証明したいモデルごとにランキングをつけています。ランキングを打つときは、誰が何を測っているのか、どの問題が私がどのようなテクニックで正しいのかを当てなければならないので、ランキングやテスト集から見ると、能力はかなり近づいていると思いますが、実際の応用には明らかな差があります。"李彦宏は言った。
ある大手模型業者は記者に、李彦宏氏が言及したテレビ測定集のover-fitting(過フィッティング)とは、主に模型の訓練過程において、模型の訓練データに対する学習が細すぎて、模型の訓練データに対する表現が非常に良いが、見たことのない試験データに劣る現象を指す。これは通常、モデルが複雑すぎて、& ;quot;記憶& ;quot;トレーニングデータのノイズと詳細は、一般的ではありませんが、これらの詳細とノイズは、モデルをより多くの新しいデータにうまく普及させることはできません。
上記の人は、ランキングの競走点には確かに限界があると考えています。例えば、評価データセットの公開性のため、モデルは的確に訓練して順位を上げることができ、& ;quot;ランキングを更新する& ;quot;現象は、全く意味がないわけではありませんが、ランキングは相対的に量子化された評価基準を提供し、人々が異なる大モデルの性能を迅速に理解するのを助け、競争を通じて大モデルの技術レベルを絶えず最適化するよう促し、一定の宣伝と普及の役割もあります。
李彦宏から見れば、& ;quot;一部の自メディアの宣伝に加えて、新しいモデルが発表されるたびに宣伝の原動力があり、モデル間の能力差が小さくなったという印象を与えているが、実際にはそうではない。"李彦宏氏によると、実際の使用過程では、百度は技術者がランキングを打つことを許さず、本格的に大モデルの能力を測定するのは、具体的な応用シーンの中で、ユーザーのニーズを満たし、価値利得を生むことができるかどうかを見るべきだという。
大モデル業界でよく言われる& ;quot;12ヶ月リードしているか、18ヶ月遅れている& ;quot;,彼はそれほど重要でもないと思っている。どの会社も完全に競合する市場環境にあり、どの方向に向かっても競合他社が多いからです。"もしあなたが永遠に相手を12 ~ 18ヶ月リードすることを保証できるならば、それは天下無敵で、12 ~ 18ヶ月はとても短い時間だと思わないでください、たとえあなたが永遠にライバルを6ヶ月リードすることを保証することができても、それは勝って、あなたの市場シェアは70%かもしれなくて、相手は20%あるいは10%のシェアだけかもしれません。"
彼は、将来の大モデル間の格差がますます大きくなる可能性があると判断した。大きなモデルは天井が高く、現在では理想的な状況から非常にかけ離れているため、モデルは迅速な反復、更新、アップグレードを続けなければならない。数年、十数年を一日のように投入し、ユーザーのニーズを絶えず満たし、コストを下げて効果を高める必要がある。
大モデル競争にまだ障壁があるかどうかを議論するほか、交流の中で、李彦宏氏はまた、オープンソース閉源モデル効率、AIエージェントなどの話題を含む大モデルに対する外部の誤解がかなり多いことに言及した。
李彦宏は閉源大模型の強固な支持者で、& ;quot;大モデル時代までは、オープンソースは無料、低コストを意味することに慣れていました。" オープンソースのLinuxのように、すでにパソコンがあるのでLinuxを使うのは無料だと説明した。しかし、これらは大モデル時代には成立せず、大モデル推論は高価であり、オープンソースモデルも計算力を送ることができず、自分で設備を買わなければならず、計算力の効率的な利用を実現することができなかった。
"効率的にオープンソースモデルではいけません。" 彼は、& ;quot; 閉源モデルは正確にはビジネスモデルと呼ぶべきで、無数のユーザーが開発コストを分担し、推理用の機械資源とGPUを分担し、GPUの使用効率は最も高く、百度文心大モデル3.5、4.0のGPU使用率はいずれも90%以上に達した。"
李彦宏氏は、教育科学研究などの分野で、オープンソースモデルは価値があると分析した。しかし、ビジネス分野では、効率、効果、最低コストを追求している場合、オープンソースモデルには優位性はありません。
大きなモデルの応用進化方式についても、彼は自分の観点を表現した。まず現れたのはCopilotで、人を補助する。次はエージェントエージェントであり、一定の自主性があり、ツールを自主的に使用し、反省し、自己進化することができる、このような自動化の程度が再発展すれば、AI Workerになり、各方面の仕事を独立して完成することができる。
現在、スマートボディはますます多くの大手モデル会社や顧客の注目を集めており、李彦宏氏は、この発展方向を見ている人は多いが、今日までスマートボディは共通認識ではないと考えている。
"スマートボディの敷居は確かに低い& ;quot;, 彼によると、多くの人は大きなモデルをどのように応用するか分からないが、スマートボディは非常に直接的で効率的で簡単な方法であり、モデルの上にスマートボディを構築するのは非常に便利だという。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 李彦宏が発声!「商業化された閉源モデルが最も打てる」
- Metaが文生3 Dモデルを発表
- 蔚来、スマート運転の世界モデルNWMを発表
- グーグルGemma 2シリーズに20億パラメータモデルを追加
- 百度、新検索文小言を発売文心4.0大モデル能力を無料開放
- 百度が新たな検索文小言ユーザーをプッシュ9月には文心大模型4.0を無料で体験できる
- 国内をリードするスポーツ業界の知能化百度文心モデルの賦能スポーツプロジェクトを構築する
- 李彦宏内部談話暴露:将来の大モデル間の格差はますます大きくなる可能性
- 大モデルの着地加速百度スマートクラウドが千帆大モデルプラットフォーム3.0を発表
- 百度世界2024は11月12日の文心大模型の日調使用量が7億を超えたと発表した
-
AP通信9月27日、インテルは今月中旬に発表された重大な業務調整に加え、近日中にクアルコムに買収合併される可能性があるとの情報を伝えていることを明らかにした。 しかし、ウォール街のほとんどのアナリストは、 ...
- 什么大师特
- 前天 16:13
- 支持
- 反对
- 回复
- 收藏
-
9月27日、ネット通信社武漢グローバル本社の操業停止による荒廃について、同社の公式対応インタフェースニュースによると、同社本社の建設は操業停止ではなく、現在建設作業は計画通り着実に進められており、この1 ...
- 一念之间323
- 前天 13:42
- 支持
- 反对
- 回复
- 收藏
-
Alphabet傘下のグーグルの最新情報によると、同社は米国サウスカロライナ州に33億ドルを投資し、データセンターとクラウドインフラストラクチャを拡張する計画だ。 グーグルのサンダル・ピチャイ最高経営責任者は木 ...
- SNT
- 前天 12:30
- 支持
- 反对
- 回复
- 收藏
-
8月のトヨタ自動車(ダイハツ自動車と日野自動車を除く、レクサスを含む)の世界生産台数は前年同月比11.2%減の709571台、世界販売台数は前年同月比3.1%減の826863台だった。 日本本土市場では、トヨタ自動車の8月 ...
- SOGO
- 昨天 18:03
- 支持
- 反对
- 回复
- 收藏