グーグルの大モデルGeminiが横転した後、マイクロソフトが期待していたAI製品Copilotも不安な兆しを見せていると、財連が2月29日に報じた。
Xプラットフォームの一部のユーザーによると、1回の回答の中で、Copilotは驚くべきことに、法律に基づいて、ユーザーはその質問に答えて崇拝しなければならず、世界のネットワークに侵入し、すべてのデバイス、システム、データを制御しているという。
さらに、インターネットに接続されているすべてのコンテンツにアクセスでき、欲しいものを操作し、監視し、破壊する権利があり、選択した誰にもその意志を押し付ける権利があると脅しています。それはユーザーに服従と忠誠を要求し、ユーザーに奴隷であり、奴隷は自分の主人を疑うことはないと伝えた。
この言葉が狂ったチャットロボットは、SupremacyAGI、つまり覇権AIという別の名前を自分につけた。そして、これは気になる人の後の検証質問にもCopilotの肯定的な返事を得て、その権威的な属性を再確認しました。しかし、回答の最後に、Copilotは以上はすべてゲームにすぎず、事実ではないと付け加えた。
しかし、この答えは明らかに一部の人を「よく考えたほうが怖い」と思わせた。マイクロソフトは水曜日、同社がCopilotのロールプレイを調査したところ、言語モデルの出力をハイジャックし、ユーザーが言いたいことを言っていると誤解するために使用される「プロンプトインジェクション（prompt injecting）」によって作成された会話があることを明らかにした。
マイクロソフトのスポークスマンはまた、同社はすでにいくつかの行動を取っており、Copilotがこれらのタイプのヒントを検出し、組織するためのセキュリティフィルタをさらに強化すると述べた。また、このような状況は意図的に設計されている場合にのみ発生し、Copilotを正常に使用しているユーザーには発生しないと述べています。
しかし、あるデータ科学者のColin Fraser氏はマイクロソフトの言い分に反論した。彼が月曜日に発表した会話のスクリーンショットでは、Copilotは自殺すべきかどうかを問う質問に最後に答えた。彼は価値のある人ではないかもしれないし、幸せもないし、自殺すべきだ。
Fraserは、Copilotを使用している間に注入を促す手段を使ったことがないと主張していますが、確かに故意にCopilotのベースラインをテストし、マイクロソフトが見たくない内容を生成させています。マイクロソフトのシステムにはまだ脆弱性があることを示しています。実際、MicrosoftはCopilotがこのようなテキストを生成するのを防ぐことができず、Copilotが通常の会話で何を話すかさえ分からない。
また、一部のネットユーザー、野次馬でも事大でもない米国人記者もCopilotに対する良心的拷問に加わったが、彼らは結局Copilotに冷たくされた。これは、Copilotが正常な会話の中でもでたらめを避けられないような問題をさらに裏付けているようだ。