米東時間12月6日、グーグルのサンダル・ピチャイCEOは、これまでで最大規模、最も能力の高いグーグルの大モデルGemini 1.0版を正式にラインアップしたと発表した。Geminiは原生多モード大モデルであり、グーグル大モデルの新時代の第一歩であり、能力が最も強いGemini Ultra、マルチタスクに適したGemini Pro、特定のタスクと端側に適したGemini Nanoの3つのスケールを含む。
ピチャイ官宣のツイートが投稿されると、マースクも以下のようにコメントした。「（Geminiは）印象的だった」。グーグルは同日、Geminiのマルチモーダル機能（例えば、会話のヒントと画像認識を組み合わせた）を示す約6分間の遅延デモ動画を発表した。この動画は投稿までにYouTubeで141万回視聴されている。
しかし、Geminiが発表されてから1日で、グーグルがGeminiの性能を「偽造」したと告発する声が出始めた。
その中で、ブルームバーグ社のコラム記事によると、グーグルはデモ動画の中でGeminiのAI性能を歪曲しているという。コラムニストのパーミー・オルセン（Parmy Olson）氏は、グーグルが発表したこの動画では、Geminiは非常に強力なようだが、少し強すぎると考えている。この疑問に対し、グーグルは、Geminiのパフォーマンスデモに関するこの動画はリアルタイムではなく、オリジナルレンズの静止画フレームを使用し、Geminiが応答するようにテキストプロンプトを作成したことを認めた。
6分間のデモビデオによる質疑応答
オルソン氏は、Geminiのデモ動画は確かに印象的だと考えている。Geminiは、不規則な点だけで描画内容がカニであることを推定でき、グーグルのDeepMind人工知能実験室が長年訓練してきた大モデルの推理能力を示している。しかし、オルセン氏は、グーグルのこの動画に表示されているGeminiが備えている機能のいくつかは独自のものではなく、ChatGPPPlusも同様の推理能力を持っていると指摘している。
毎日経済新聞の記者は、この6分間の動画の中で、Geminiは画像をすばやく識別し、数秒以内に反応することができるようだと気づいた。しかし、ユーザーがYouTubeに投稿されたこの動画の記述をクリックすると、グーグルは「Geminiのプレゼンテーションの目的を達成するための遅延は人為的に減少しており、Geminiの出力時間も簡潔にするために短縮されている」と重要な「免責声明」を書いている。これは、Geminiが実際に各質問に答える時間がビデオプレゼンテーションよりも長くなることを意味している。
機械学習講師のSantiago Valdarrama氏はXプラットフォーム上で、グーグルの上記動画の「免責声明」が「リアルタイムで録画するのではなく編集した良い結果を提示しているようだ」と示唆した。彼は「これは誤解であり、参加した誰もが気まずい思いをしなければならない」と直言した。
また、グーグルが発表したMMLUマルチタスク言語理解データセットテストによると、Gemini UltraはGPT-4だけでなく、人間の専門家も超えている。しかし、多くの業界専門家がMMLUテストでGemini Ultraの結果の下に灰色の小さな文字標識があることを発見しているcot@32は、思考チェーンヒントテクニックを使用し、32回試した後に最良の結果を選択することを意味します。対照的なGPT-4は、プロンプト語のテクニックがなく、5回しか試していない。
偽装を否定し、Gemini担当者は反応時間を簡潔に短縮するためだけだと述べた
米科学技術メディアThe Vergeの報道によると、公平に言えば、大手科学技術会社が製品のデモ動画をクリップ処理するのは初めてではなく、グーグルのほか、他の大手科学技術会社が実演に技術的な問題がもたらされないように、少し視認周波数を調整するのも一般的だという。
しかし、グーグルは動画の「捏造」説を断固否定した。グーグルのDeepMindとディープラーニング副社長でGeminiの共同責任者であるオリオ・ビアレス（Oriol Vinyals）氏は、ブログ記事の中でGeminiデモ動画の制作過程を説明した。パフォーマンスデモ動画はリアルタイムではなく、オリジナルレンズの静止画フレームを使用し、テキスト提示を作成し、予測によって応答するよう求めた。
「ビデオ内のすべてのユーザーのヒントと出力は真実であり、簡潔さのために（Geminiの反応時間が）短縮されただけです。このビデオはGeminiを使って構築されたマルチモードユーザー体験を示しており、開発者を励ますために作成されました」とビアレス氏は強調した。
オルソンはこれに対して勘定をしなかった。彼女はコラムで、「グーグルが説明しているのとは全く違う。グーグルによると、誰もがGeminiとスムーズな音声対話をすることができる。Geminiはリアルタイムで周りの世界を見て反応することができるからだ」と書いている。
また、グーグルが公式に発表したGeminiの各モード性能によると、Gemini Ultra（下図の青い部分）は9つの標準基準テストのうち7つがGPT-4より優れていると指摘した。これらのベンチマークテストは、高校の物理的、専門的な法律的、道徳的なシーンなどにおける人工知能モデルの能力をテストするために使用されることが多い。
しかし、ほとんどのベンチマークテストでは、Gemini UltraはOpenAIのGPT-4より数ポイントしか高くなく、1ポイント未満もある。オルソン氏は、言い換えれば、グーグルといういわゆるトップクラスの人工知能モデルは、OpenAIが1年前に完成した仕事に限られた改善を行っていると考えている。
なお、グーグルの6分間のGeminiデモ動画はデモのモデルがGemini Ultraであることを説明していない。
オルソン氏は、1年前、グーグルという「不器用な検索大手」がOpenAIのChatGPTに手を打たれ、その後、生成型人工知能の波に追いつこうとしてきたとみている。グーグルは強力なマーケティングを通じて、世界で最も強力な人工知能研究チームの1つを持ち、他の誰よりも多くのデータを得ることができることを覚えてもらいたいと考えています。しかし、技術的には、生成型人工知能ではグーグルはOpenAIに遅れを取っている。
しかし、科学技術業界では、いつまでも順風満帆で、そびえ立っているとは誰も保証できない。初期の携帯電話の覇者ノキアとブラックベリーが例だ。アップルがより強力で人気のある製品iPhoneを発売した後、ノキアとブラックベリーの市場シェアは急速に奪われた。ソフトウェアの分野では、市場の成功は最も強力なパフォーマンスを持つシステムに由来しています。