구글 딥마인드는 게이머와 함께 게임을 하고 게이머의 지휘를 따를 수 있는 AI를 가져왔다.
3월 13일 (현지 시간) 구글 딥마인드는 SIMA (Scalable Instructable Multiworld Agent, 확장, 지도 가능, 다세계의 지능체) 라는 AI 지능체 (AI Agent) 를 출시하여 세계 최초로 광범위한 3D 가상 환경과 비디오 게임에서 자연 언어 지령을 따를 수 있는'범용 AI 지능체'라고 불렀다.
AI가 게이머를 도와 게임을 할 수 있다는 것은 이미 새로운 일이 아니다. 그러나 이 SIMA의 차이점은'백그라운드 조작'을 통해 게이머가 단순히 게임에서 승리할 수 있도록 하는 것이 아니라'파트너'처럼 게이머가 자연어로 준 지령을 따르고 다양한 3D 게임에서 게이머를 보조해 복잡한 임무를 완수한다는 것이다.
딥마인드는 하나 이상의 게임에 적응할 수 있는 범용 게임 AI를 훈련하기 위해 여러 게임 개발사와 제휴를 맺고'무인심공''아날로그 염소3''행복공장'등 플레이와 조작이 확연히 다른 9종의 비디오 게임에서 SIMA를 훈련하고 테스트했다.DeepMind는 SIMA를 위해 게이머들이 서로 다른 게임과 자유롭게 노는 비디오를 보여주었고, 대량의 데이터의 입력을 통해 SIMA가 흔히 볼 수 있는 게이머의 조작과 언어와 행위 사이의 연계를 귀납할 수 있도록 했다.
SIMA의 훈련 과정.출처: DeepMind 공식 홈페이지
또한 DeepMind는 Unity로 만든 "the Construction Lab"이라는 새로운 환경을 포함하여 4 개의 연구 환경을 사용했습니다.이 환경에서 지능체는 블록을 사용하여 조각을 구축하여 물체에 대한 조종능력과 물리세계에 대한 리해를 시험해야 한다.
전체 아키텍처에서 SIMA는 사전 훈련 시각 모델을 자체 감독 학습 Transformer와 결합하여 사용자로부터 언어 명령을 받고 환경에서 이미지 관찰 결과를 얻은 다음 키보드와 마우스 동작으로 출력하여 게임의 역할을 조작합니다.
즉, SIMA는 게임의 소스 코드에 액세스하거나 사용자 정의 API를 사용할 필요가 없으며, 화면의 이미지와 사용자가 제공하는 자연 언어 명령이라는 두 입력만으로 잠재적 인 가상 환경과 상호 작용할 수 있습니다.
딥마인드는"SIMA는 다양한 환경을 감지하고 이해하며 지정된 목표를 달성하기 위해 행동할 수 있는 AI 지능체이다.정확한 이미지 언어 매핑을 위해 설계된 모델과 화면에서 앞으로 어떤 일이 일어날지 예측하기 위한 비디오 모델이 포함된다.SIMA가 다루는 특정 3D 설정의 데이터를 이용하여 이 모델들을 미세 조정한다"고 말했다.
소개에 따르면 현재 버전의 SIMA는 이미 600가지 기본기능에서 평가를 받았는데 여기에는 네비게이션 (예:"좌향좌"), 물체상호작용 ("사다리타기"), 메뉴사용 ("지도열기") 등이 포함된다.SIMA는 DeepMind의 훈련을 통해 약 10 초 이내에 완료 할 수있는 간단한 작업을 수행 할 수 있습니다.결국 SIMA는 어떤 비디오 게임, 심지어 선형 종료 경로가 없는 게임과 오픈 월드 게임을 플레이하는 방법을 배울 것입니다.
SIMA가 습득한 일부 게임 스킬.출처: DeepMind 공식 홈페이지
평가 테스트에서 연구원들은 SIMA를 9개의 3D 게임 세트에서 훈련을 받게 했는데, 그 표현은 단일 게임에서만 전문적으로 훈련된 지능체보다 현저하게 우월하며, 훈련되지 않은 게임에서의 표현과 이 게임 데이터 세트를 전문적으로 사용하여 훈련된 지능체의 표현이 모두 좋아 SIMA가 새로운 환경에서 일반화 능력을 갖추고 있음을 증명했다.
SIMA가 게임에서 AI의 활약이 여전히 잠재력이 있다는 것을 보여주는 것은 의심할 여지가 없다.아마도 머지않아 AI에 의해 구동되는 NPC (비게임 캐릭터) 도 진정으로 인간처럼 게이머와 함께 게임을 할 수 있을 것이다. 더 이상 정해진 코드로만 실행되지 않을 것이다.
지난달만 해도 딥마인드 팀은 합성 이미지, 사진, 스케치에 따라 동작을 제어할 수 있는 2D 세계를 만들 수 있는 기초 세계 모델 지니를 선보였다.그 모델 매개변수는 110억에 불과하며, 인간이 2D 플랫폼 종류의 게임을 하는 20여만 시간의 동영상에 따라 무감독 훈련을 한다.그러나 지니가 생성한'게임'은 화질이 매우 타서 실시간으로 플레이할 수 있는 것과는 거리가 멀다.