グーグルの大モデルが大ヒットした後、偽造疑惑が浮上！プレゼンテーションビデオのクリップを承認：簡潔にするために短縮

燎原212

科学技術大手グーグルの新ビッグモデルGeminiが一夜にして大ヒットし、市場から注目されているが、グーグルはGeminiの宣伝資料に誇張宣伝の疑いがあるとの分析が出ている。
グーグルは現地時間12月6日、「最大、最強、最も汎用的」な新大型言語モデルGeminiを発表した。Geminiは、グーグルのPixel 8 ProスマートフォンやチャットボットBardに応用される、携帯電話で直接動作する初の大モデルになるだろう。GeminiはAI（人工知能）の新鋭大手OpenAI傘下の最新ビッグモデルGPT-4への直接的な対応とされ、一時はチャットロボットChatGPTで受動的だったグーグルがついに本格的にコースに復帰したことを象徴している。
グーグルによると、MMLU（大規模マルチタスク言語理解）におけるGeminiの得点率は90.0%に達し、MMLUテストで人間の専門家を上回った最初のモデルとなった。Geminiには、GPT-4のライバルとして位置づけられているGemini Ultraと、GPT-3.5よりも優れた性能を持つGemini Proと、特定のタスクやモバイルデバイスに使用されるGemini Nanoの3つの異なる規模のモデルが含まれます。
強力な性能でGeminiが一夜にしてブレイクし、ウォール街の注目を集めた。12月7日、グーグルの親会社Alphabet（Nasdaq：GOOG）の株価は5.31%上昇し、136.93ドルで取引を終えた。今年8月29日以来の最高値を迎え、時価総額は1兆7200億ドルに達した。
バンク・オブ・アメリカのアナリストは6日、グーグルのAI能力に懸念が寄せられているため、アルファベットは今年一定の圧力を受けているが、「良いブランドイメージを持つ競争力の高いモデル」はグーグル検索を利用する消費者をより多く呼び込む可能性があると指摘した。そして、クラウドサービスの販売に積極的な影響を与えている：「データによると、グーグルは一流で複製不可能なAI能力を持っており、2024年上半期の株式動向に積極的な影響を与える可能性がある」。
JPモルガン・チェースのアナリストは6日の報告書で、市場は同日、Geminiに明らかな反応を示さなかったにもかかわらず、グーグルの「この主要技術の転換」における進展を見ることができたことは「人の心を奮い立たせる」と述べた。しかし、JPモルガン・チェースも、大モデルには「検索分野の貨幣化経路に不確実性がある」と指摘しており、将来的にはいくつかの抵抗をもたらす可能性があると指摘している。
7日の報告書でJPモルガン・チェースのアナリストは、「今はまだその発展の初期段階にあるが、Geminiの登場は、生成型AIが広く商業化され、広く普及した翌年にグーグルが重大な革新をしたことを象徴している」と書いている。
今のところ、グーグルがビジネス全体、特に最も重要な検索ビジネスでGeminiをどのようにビジネス化するかがウォール街の注目を集めている。現在、グーグルは今月後半にグーグルクラウドを通じてGeminiを顧客にライセンスし、今後数カ月でグーグルサービスの他の製品と統合する計画だが、その後の商用化策は発表されていない。
ウェルズ・ファーゴ（Wells Fargo）のアナリストによると、Geminiの発売は「グーグルがAI分野でどうすべきか」という議論を鎮めるのに十分なはずだが、肝心な問題はグーグルがGeminiをどのように利用して利益を得るかにある。「簡単に言えば、グーグルは彼らがまだいくつかの競争力を持っていることを証明したと思う」
KeyBancのアナリストも、Geminiはグーグルが今年発表した多くのAIの「ピーク」だが、グーグルの業績成長と収益力にAIが積極的な影響を与えるには時間がかかると述べた。
ウォール街全体の見通しとは異なり、科学技術分野ではGeminiに「誇張宣伝」の疑いがあるのではないかという声が出ている。
Geminiが6日に発売された直後、あるネットユーザーが宣伝資料のいくつかの不適切な点を指摘した。例えば、グーグルがGeminiのMMLUの得点率がGPT-4より高いと主張した場合、GPT-4の得点率は86.4%であることが示されたが、グーグルが発表した60ページの技術報告書によると、Gemini UltraのMMLUテストの結果には「cot@32」の小字注釈は、思考チェーンヒントテクニックを使用して32回試み、その中から最良の結果を選択したことを示している。対照的なGPT-4はプロンプトなしテクニックを5つの例にあげているが、この基準では、Gemini Ultraのテスト結果は83.7%で、GPT-4の86.4%を下回っている。
同じ使用であればcot@32の方法では、成績はGemini Ultraを下回っているが、GPT-4の得点率は87.29%に達した。
GeminiとGPTの様々な条件下でのMMLUテストスコアの比較。出典：Google
グーグルのDeepMind首席科学者ジェフ・ディーン（Jeff Dean）氏が回答したように、この書き方は2つの異なる方法間の比較を示すためだけであり、Geminiテスト動画に対する疑問は反論しにくいように見える。
Geminiが発売された後、グーグルは6分間のデモ動画を発表し、試験員とGeminiの面白いやり取りを披露した。その中には、Geminiに画像を認識させて複数の言語で記述させる、Geminiに地図を利用してクイズを設計させる、Geminiとカップゲームや推理ゲームをするなどが含まれている。全体の過程で、Geminiの反応速度は非常に速く、音声や画像を生成して回答を補助し、口語化乃至ユーモア化された表現を用いて、大いに視野を広げることができる。
しかし、すぐに動画の冒頭の文字免責声明から問題が発見され、リアルタイムで録画するのではなく、クリップしたものをビデオに表示していることを示唆している可能性があると考えられている。その後、グーグルはブログ記事の中でマルチモーダルインタラクションの過程を説明し、静止画と多段プロンプト語のパッチワークを使用してこそ、デモビデオでの効果を達成できることを基本的に間接的に認めた。
例えば、記事の中でグーグルは、動画中のじゃんけんジェスチャーに対する素早い反応とは異なり、この3つのジェスチャーをGeminiに同時に見せてゲームであることを提示した場合にのみ、Geminiはじゃんけんゲームの結論を出すことができると認めている。公式サイトのスクリーンショット
これはグーグルが動画で示唆しているものとは全く異なるという分析もある。動画から見ると、Geminiはリアルタイムで周囲の世界を見て反応し、ユーザーはGeminiとスムーズな音声会話ができるからだ。ウォルトンビジネススクールのイーサン・モリック教授（Ethan Mollick）もXプラットフォームでデモを行い、静止画や多段プロンプトを使用する場合は、ChatGPT PlusでGeminiの表現をコピーすることができます。
イーサン・モリックはChatGPT Plusにグーグルのデモ動画の複数のスクリーンショットを同時に展示し、ChatGPT Plusも同様の答えを出すことができる。
疑問発酵後、グーグルのDeepMind製品副総裁イーライ・コリンズ（Eli Collins）氏は、動画内のアヒルの絵付けデモンストレーション（アヒルの略画を描き、Geminiは手順ごとに正確な解釈ができる）は確かに研究レベルの機能であり、少なくともグーグルの実際の製品には登場していないと答えた。
グーグルのDeepMind研究・ディープラーニング責任者のオリオ・ビニアーズ副総裁もX（元ツイッター）プラットフォームに長文を投稿し、チームがどのようにこの動画を制作したのかを説明した。「動画内のすべてのユーザーのヒントと出力は真実であり、簡潔にするために短縮されただけだ」。ビニアーズ氏はまた、「この動画はGeminiを使って構築されたマルチモーダルユーザー体験がどのようなものであるかを示している。私たちがこのようにするのは開発者を激励するためだ」と述べた。
しかし、ビニアーズ氏の対応はさらに議論を呼んでいる。あるネットユーザーは、「開発者を激励したいなら、なぜ真実の内容を発表しないのか。短縮されたユーザーの提示は『真実』ではない。それは誠実ではなく、誤解を招く」とコメントしている。
グーグルの従業員によると、この動画は「非現実的な画面」を描いているという。ある従業員は、このような誇張されたプレゼンテーションに驚くことはありません。従業員たちは、会社が製品をある程度誇張してマーケティングすることに慣れているからです。「言語モデル技術を使用しすぎた従業員の多くは、（プレゼンテーションの）すべてに対して保留することを知っていると思います」。
グーグルは「巨大な官僚システムと各クラスのプロダクトマネージャによって、今までOpenAIのように敏捷に製品を出すことができなかった」とする外信がある。AI移行の影響に対応している社会にとっては悪いことではない。しかし、グーグルが最近このように急速に推進していることについては、一定の留保姿勢を維持しなければならない。