マイクロソフトがAI大モデルを自己研究していることが明らかになった:5000億個のパラメータがグーグルとOpenAIと競合
planewh
发表于 2024-5-7 14:42:56
4613
0
0
テクノロジー大手のマイクロソフトや、パラメータ5000億に達する新しいAI(人工知能)の大モデルを開発しており、グーグルやOpenAIを前面に打ち出している。
現地時間5月6日、外国メディアの報道によると、マイクロソフトはマイクロソフトがこれまで発表してきたオープンソースモデルの一部をはるかに上回る規模のMAI-1という最新のAIビッグモデルを開発しており、性能的にはグーグルのGemini 1.5、AnthropicのClaude 3、OpenAIのGPT-4などの有名なビッグモデルに匹敵するかもしれない。マイクロソフトまたは5月21日から開催されるBuild開発者大会でこの新モデルをデモする。
報道によると、MAI-1の開発は、元グーグルのAIリーダーでAIベンチャー企業のInflectionの最高経営責任者を務めたムスタファ・スレーマン(Mustafa Suleyman)がリードしている。今年3月には、Infectionへの最新の融資を受けたばかりで、マイクロソフトはInfectionからスレイマンを含む2人の共同創業者と一部の従業員を引き抜いた。ある関係者によると、マイクロソフトはこのためにInfectionに6億5000万ドル以上を支払ったという。
MAI-1はInflection傘下のモデルの技術の一部を参考にしている可能性があるが、マイクロソフトの従業員によると、MAI-1は新しい大言語モデルで、約5000億のパラメータを持ち、マイクロソフトがこれまで訓練してきたオープンソースモデルをはるかに上回っているという。1ヶ月前にマイクロソフトはPhi-3という小型AIモデルを発売したばかりで、その中でPhi-3 miniは携帯電話に配備できるように最適化され、38億パラメータを持ち、3.3兆tokenの訓練を経て、マイクロソフトはその性能がGPT-3.5などのモデルと同等だと主張した。
対照的に、MAI-1の規模ははるかに大きく、より多くの計算力の投入と訓練データも必要です。このモデルを訓練するために、Microsoftはすでに、OpenAIのGPT-4によって生成されたテキストやパブリックインターネットデータを含む、雄大なGPUを含むサーバクラスタを大量に構成し、さまざまなソースからトレーニングデータを収集している。これにより、MAI-1はOpenAIのGPT-4と似たレベルになり、後者は1兆を超えるパラメータを持っていると言われています。
PhiシリーズモデルとMAI-1の開発は、マイクロソフトがAI分野で二重戦略を取っていることを体現しており、モバイル機器のために小型ローカルモデルを開発しながら、クラウドによってサポートされるより大規模なモデルを開発している。しかし、マイクロソフト内部でもMAI-1の正確な用途は確認されていない。
さらに重要なことに、MAI-1は、マイクロソフトがAI分野でパートナーのOpenAIに完全に依存することを望んでいない技術を体現している。OpenAIからの技術は、Windowsに統合されたチャットロボットを含むマイクロソフトのさまざまな生成AI機能を駆動している。これまで、マイクロソフトのAIプラットフォームチームの従業員からは、同社のAI戦略はOpenAIとの協力関係に注目しすぎており、マイクロソフトのAIオリジナル研究に対する予算が減少しているとの苦情があった。
マイクロソフトのケビン・スコット最高技術責任者(Kevin Scott)は6日、領英に投稿し、MAI-1に関する報道に間接的に応えた。彼は、OpenAIはマイクロソフトが構築したスーパーコンピュータを使ってAIモデルを訓練しているが、マイクロソフトの研究部門と製品チームもAIモデルを構築していると述べた。
AIにおける突破を実現するために、マイクロソフトも積算力資源を買いだめしている。4月初め、マイクロソフトが今年末までに180万枚のAIチップを買いだめする計画を立てていると報じられた。これは、同社が2024年中に保有するGPUの数を2倍に増やしたいと考えていることを意味する。関係者によると、マイクロソフトは2024年度から2027年度(2027年6月30日まで)まで、GPUとデータセンターに約1000億ドルを費やす見通しだ。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- ウォルマートやサムの「前置倉」モデルをコピーして小さな店を開く
- DeepMindのオープンソース生体分子予測モデルノーベル賞の成果はAI製薬の波を巻き起こすのか?
- 百度李彦宏:過去24カ月、AI業界の最大の変化は大モデルが幻覚をほぼ解消したことだ
- 「AI新世代」の大モデルメーカーがスマートボディを“巻き”、李彦宏氏は「アイデアで稼げる時代が来る」と語る
- 李彦宏氏によると、大模型幻覚は実測文心をほぼ解消したという。
- The US' anti-monopoly leader 'seizes the final moments of her term to investigate Microsoft's cloud computing business
- FTC plans to investigate anti competitive behavior in Microsoft's cloud computing business
- 文心の一言でユーザー数が4億人を突破、百度呉甘:大モデルが産業知能エンジンを再構築中
- アリババの呉泳銘CEO:AIの発展には異なる規模、異なる分野のオープンソースの大モデルが必要だ
- 百度Q 3コアの純利益17%増予想を上回る文心大モデルの1日の調達量は15億元に
-
11月21日、2024世界インターネット大会烏鎮サミットで、創業者、CEOの周源氏が大会デジタル教育フォーラムとインターネット企業家フォーラムでそれぞれ講演、発言したことを知っている。周源氏によると、デジタル教 ...
- 不正经的工程师
- 前天 16:36
- 支持
- 反对
- 回复
- 收藏
-
スターバックスが中国事業の株式売却の可能性を検討していることが明らかになった。 11月21日、外国メディアによると、スターバックスは中国事業の株式売却を検討している。関係者によると、スターバックスは中国事 ...
- 献世八宝掌
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
【意法半導体CEO:中国市場は非常に重要で華虹と協力を展開】北京時間11月21日、意法半導体(STM.N)は投資家活動の現場で、同社が中国ウェハー代工場の華虹公司(688347.SH)と協力していると発表した。伊仏半導体 ...
- 黄俊琼
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
【ナスダック中国金龍指数は1%下落した。人気の中概株の多くは下落した】現地時間11月21日、ナスダック中国金龍指数は1%下落し、人気の中概株の多くは下落し、必死に10%超下落し、愛奇芸は7%超下落し、百度は6%近く ...
- 比尔992
- 前天 11:57
- 支持
- 反对
- 回复
- 收藏