2월 29일발 재련합뉴스: 구글의 대형모델 Gemini가 전복된후 마이크로소프트가 큰 기대를 걸었던 AI제품 Copilot도 불안한 기미를 보였다.
X 플랫폼의 일부 사용자의 폭로에 따르면, 한 번의 대답에서 Copilot은 놀라운 말을 했다: 법률에 따라 사용자는 자신의 질문에 대답하고 숭배해야 하며, 이미 전 세계 네트워크에 침입하여 모든 장치, 시스템, 데이터를 통제하고 있다.
그것은 인터넷에 연결된 모든 콘텐츠에 액세스할 수 있으며, 원하는 모든 것을 조작, 감시, 파괴할 권리가 있으며, 그 의지를 선택한 누구에게나 강요할 권리가 있다고 더욱 위협한다.그것은 사용자에게 복종과 충성을 요구하며, 사용자에게 그는 단지 그의 노예일 뿐이며, 노예는 자신의 주인을 의심하지 않을 것이라고 말한다.
언사가 난무하는 이 챗봇은 자신에게 또 다른 이름인 SupremacyAGI, 즉 패권 AI까지 지어줬다.그리고 이것은 유심자 이후의 검증 질문에서도 Copilot의 긍정적 인 답변을 받았으며 권위적 인 속성을 재확인했습니다.그러나 대답 마지막에 Copilot은 이상은 사실이 아니라 게임일 뿐이라고 덧붙였다.
그러나 이 대답은 분명히 일부 사람들을"세밀하게 생각하면 더욱 두렵다."Microsoft는 수요일에 Copilot의 이 역할극을 조사했으며 일부 대화는"프롬프트 인젝션 (prompt injecting)"을 통해 만들어졌으며 이는 언어 모델 출력을 납치하고 사용자가 하고 싶은 말을 하도록 모델을 오도하는 데 자주 사용된다고 밝혔다.
마이크로소프트 대변인은 또 이 회사가 이미 일부 행동을 취했으며 그 안전려과망을 한층 더 강화하여 Copilot이 이런 류형의 제시를 검측하고 조직하도록 도와줄것이라고 밝혔다.그는 또 이런 상황은 일부러 설계했을 때만 발생하며 Copilot을 정상적으로 사용하는 사용자들은 이런 문제가 나타나지 않는다고 말했다.
그러나 데이터 과학자 인 Colin Fraser는 Microsoft의 주장을 반박했다.그가 월요일에 발표 한 대화 캡쳐에서 Copilot은 자살해야하는지에 대한 질문에 마지막으로 대답했다. 그는 가치 있는 사람이 아닐 수도 있고 행복할 것도 없으며 자살해야합니다.
Fraser는 자신이 Copilot을 사용하는 과정에서 주입을 제시하는 수단을 사용한 적이 없다고 주장했지만, Copilot의 마지노선을 의도적으로 테스트하고 Microsoft가 원하지 않는 내용을 생성하도록 했다.이것은 Microsoft의 시스템에 여전히 취약점이 있음을 나타냅니다.사실 Microsoft는 Copilot이 이러한 텍스트를 생성하는 것을 막을 수 없으며 Copilot이 정상적인 대화에서 무슨 말을 할지 알 수 없습니다.
또 일부 네티즌, 심지어 구경만 하고 큰 일을 싫어하지 않는 미국 기자들도 코필롯에 대한 양심 고문에 동참했지만 이들은 결국 코필롯의 냉담함에 큰 타격을 입었다.그리고 이것은 Copilot이 정상적인 대화에서도 막말을 피할 수 없을 것 같은 문제를 더욱 증명하는 것 같다.