Genie 4 해설: 월드 모델이란 무엇이며 Google은 왜 계속 여기에 매달릴까

2026년 10월 27일, Google DeepMind는 최신 월드 모델인 Genie 4를 발표했습니다. 완성된 클립을 제공하는 AI 동영상 모델과 달리 Genie 4는 직접 들어가 움직일 수 있는 세계를 생성합니다. 매 프레임마다 키보드 입력에 반응하고, 시뮬레이션 도중에도 쉬운 영어로 장면을 바꿀 수 있으며, 이제는 나중에 영상 위에 사운드트랙을 덧입히는 대신 바람 소리, 발자국 소리, 음악, 대화 같은 소리가 세계 안에서 실시간으로 생성됩니다.

새로운 기능이 핵심 이야기이지만, 이는 AI 업계가 2년 동안 논쟁해 온 질문에 답하기에도 지금만큼 분명한 계기가 없습니다. "월드 모델"이 정확히 무엇이며, 모든 주요 연구소가 왜 월드 모델을 원할까요?

출시 시점에 Genie 4는 신뢰할 수 있는 테스터를 대상으로 한 연구 프리뷰입니다. DeepMind에 따르면 조만간 Project Genie를 통해 Google AI Ultra 구독자에게 제공될 예정입니다. Project Genie는 현재 Genie 3와 Nano Banana Pro, Gemini를 기반으로 운영되는 Google의 소비자용 세계 탐험 제품입니다. Gemini API와 Google AI Studio의 얼리 액세스 파트너에게도 제공될 예정입니다. Project Genie 대기자 명단은 이미 열렸지만, 일정이나 가격은 공개되지 않았습니다. 따라서 아직 Genie 4를 이용할 시간을 예약할 수는 없습니다. 하지만 할 수 있는 일은 Genie 4가 속한 분야를 이해하는 것입니다. 흥미로운 부분은 바로 그 분야이며, 빠르게 발전하고 있습니다.

월드 모델이란 대체 무엇일까?

마케팅을 걷어 내고 보면, 월드 모델은 어떤 세계가 어떻게 작동하는지 충분히 학습해 계속 시뮬레이션할 수 있는 신경망입니다. 세계의 현재 상태와 행동을 입력하면 그다음 세계가 어떻게 보이고, 이제는 어떤 소리가 날지도 예측합니다. 이런 시스템에 충분한 동영상을 입력하면 직접 작성한 적 없는 게임 엔진과 비슷한 것이 만들어집니다. 물리 법칙을 구현한 코드도, 손수 만든 에셋도, 레벨 디자인도 필요 없습니다. 규칙과 풍경, 언덕 위의 구름까지 모두 가중치에서 나옵니다.

이 아이디어에는 기원이 되는 논문이 있습니다. 2018년 David Ha와 Jürgen Schmidhuber의 논문 World Models는 작은 에이전트를 자신의 환경을 생성 모델로 만든 안에서 학습시킬 수 있음을 보여 줬습니다. 저자들의 표현에 따르면 에이전트는 "월드 모델이 생성한 자신만의 환각적 꿈속에서 온전히" 학습한 다음 실제 게임으로 옮겨졌습니다. 지금도 이 아이디어를 가장 간결하게 정의하는 말은 다음과 같습니다. 월드 모델은 연습할 수 있는 장소입니다.

이후 기업들은 같은 아이디어에서 서로 다른 두 가지 결론을 내렸습니다.

• 픽셀 단위로 예측한다. OpenAI는 2024년 2월 "Video generation models as world simulators"에서 동영상 생성 규모를 키우는 것이 "범용 물리 세계 시뮬레이터를 구축하는 유망한 경로"라고 주장했습니다. 그 방향을 뒷받침하는 사례로는 Sora가 기본 정책으로 플레이어를 제어하면서 동시에 Minecraft 게임 플레이를 렌더링한 것을 들었습니다. 이 주장의 핵심은 동영상 품질을 충분히 높이면 세계에 대한 이해도 함께 따라온다는 것입니다.
• 추상 표현으로 예측한다. Yann LeCun의 2022년 입장 논문 A Path Towards Autonomous Machine Intelligence은 정반대의 견해를 제시합니다. 월드 모델은 픽셀이 아니라 추상 표현 공간에서 미래 상태를 예측해야 한다는 것입니다. 픽셀 수준의 예측은 대부분의 모델 용량을 검증할 수 없는 세부 묘사에 소모하고, 에이전트는 상상한 프레임이 아니라 상상한 결과를 비교해 계획을 세우기 때문입니다. JEPA 아키텍처는 이 주장을 코드로 구현한 것입니다.

두 진영은 모두 실제 세계에서 실수할 때마다 비용을 치르지 않고도 에이전트를 학습시킬 수 있을 만큼 정교한 시뮬레이터를 만든다는 목표에는 동의합니다. 다만 어떤 표현 방식이 먼저 그 목표에 도달할지를 두고 의견이 갈립니다. DeepMind의 Genie는 픽셀 기반 접근에 속하지만, 여기에 차이점이 있습니다. 픽셀에서 출발하되 직접 상호작용할 수 있는 픽셀을 만들고, 이제는 그 뒤에서 언어 모델이 작동합니다.

플레이 가능한 세계는 그럴듯한 동영상보다 만들기 어렵다

사람들을 헷갈리게 하는 차이는 월드 모델이 동영상 생성기보다 규모가 큰 동영상 생성기가 아니라, 차원이 다른 난이도의 모델이라는 점입니다. 차이는 구조적입니다.

표에 관한 참고 사항: 이 표는 두 모델 유형 간의 이상적인 차이를 설명합니다. 개별 제품은 두 유형의 경계에 걸쳐 있습니다. Runway의 GWM Worlds 2와 Decart의 Oasis는 동영상 기반이면서도 플레이할 수 있도록 만들어진 모델입니다.

하지만 플레이 가능한 월드 모델을 만들려면, 클립 생성기는 피할 수 있는 다음과 같은 문제를 해결해야 합니다.

1. 속도. 영화 수준의 동영상 모델은 한 장면을 만드는 데 몇 분씩 걸릴 수 있습니다. 월드 모델은 프레임마다 1초도 안 되는 시간 안에 결과를 내야 합니다. 인터랙티브 경험은 초당 24~60프레임으로 실행되므로 응답이 더 느리면 몰입감이 깨지기 때문입니다. 상호작용은 출력 품질뿐 아니라 아키텍처의 문제이기도 합니다.
2. 기억. 모델이 지금까지 보여 준 모든 것을 기억해야 합니다. 랜드마크에서 멀어졌다가 1분 뒤 돌아왔을 때 랜드마크의 모습이 달라져 있다면 세계는 순식간에 무너집니다. 그래서 현장 사람들이 실제로 살펴보는 수치는 일관성입니다. 세계가 일관되고 기억되는 경험을 얼마나 오래 유지할 수 있는지를 뜻합니다.
3. 인과적 물리 법칙. 실감 나는 영상을 흉내 내는 일은 쉽지만, 원인과 결과를 재현하는 일은 그렇지 않습니다. 2025년 벤치마크 Physics-IQ는 일상적인 사건을 촬영한 실제 영상을 중간에 멈추고 Sora, Runway, Pika, Lumiere, Stable Video Diffusion, VideoPoet 같은 동영상 모델에 이어서 생성하게 한 다음, 유체, 광학, 고체 역학, 자기, 열역학 분야에서 실제로 일어난 일과 생성 결과를 비교해 점수를 매겼습니다. 결론은 이랬습니다. 해당 모델의 물리 이해는 "심각하게 제한적이며, 시각적 사실성과도 관련이 없었다." 월드 모델은 이 어려운 조건을 모두 충족해야 합니다. 그렇지 않으면 그 안에서 학습한 어떤 것도 실제 세계에 옮겨 적용할 수 있다고 믿을 수 없습니다.

이 세 가지 주요 과제는 Genie의 출시 이력에 뚜렷이 반영되어 있습니다. 각 세대는 속도, 기억, 인과성의 다음 단계로 나아가기 위해 만들어졌습니다.

Genie 제품군: 장난감에서 2분짜리 경험까지(보도 기준)

참고: Genie 4의 해상도와 프레임 속도는 공개되지 않았습니다. Genie 2의 1분이라는 수치와 Genie 3의 수치는 DeepMind의 발표를 기준으로 했습니다. 위의 2분이라는 수치는 DeepMind의 출시 브리핑을 TechCrunch가 확인한 내용입니다(여기 보도된 내용).

Genie 제품군에서 개념적으로 중요한 세부 사항은 두 가지입니다.

최초의 Genie는 스스로 조작 방식을 만들어 냈습니다. 2024년 Genie 논문은 행동 레이블 없이 인터넷의 원본 동영상으로 학습한 110억 파라미터 규모의 파운데이션 월드 모델을 설명했습니다. 또한 학습 영상에서 사람이 "왼쪽"을 누르거나 "점프"할 때 프레임 사이의 변화로부터 네트워크가 잠재 행동 공간을 추출할 수 있음을 확인했습니다. 누군가 행동을 일일이 레이블링하지 않아도 플레이 기능이 생겨난 것입니다. 따라서 월드 모델에서 "컨트롤러"란 디자이너가 정한 버튼을 뜻하지 않습니다. 모델이 추론할 수 있는 행동을 뜻하며, DeepMind는 이후 세대에서 이를 플랫폼 게임 동작부터 텍스트로 조작하는 세계의 이벤트까지 확장해 왔습니다.

일관성의 발전 과정이 문제의 핵심을 보여 줍니다. DeepMind의 2024년 12월 발표에 따르면 Genie 2는 일관된 세계를 대략 1분 동안 유지할 수 있었습니다. Genie 3는 약 1분 전까지 기억을 유지하며 상호작용 시간을 수 분으로 늘렸습니다. 위에서 언급한 TechCrunch 보도에 따르면 Genie 4는 작동 가능한 시간을 약 2분으로 두 배 늘렸습니다. 이 과정을 보면 문제의 형태를 알 수 있습니다. 인터랙티브 세계를 만들 때 어려운 점은 렌더링이 아닙니다. 수백 개의 연속된 상태를 기억에 따라 일관되게 유지하면서도 상호작용 속도로 작동시키는 일입니다.

Genie 4의 새로운 기능

DeepMind의 발표는 네 가지 기능을 중심으로 합니다. 이를 "Genie 3에 기능을 몇 가지 더한 것"으로 보지 말고 함께 살펴보세요.

1. 실시간으로 언어를 사용해 조작합니다. 날씨를 바꾸거나, 카메라를 움직이거나, 새로운 인물 또는 사물을 등장시키는 등 자연어로 수정한 내용이 시뮬레이션에 실시간으로 반영됩니다. Gemini는 주변 장면에 맞게 사용자의 표현을 조정합니다. 사용자가 입력하지 않을 때도 Gemini는 계속 관찰하고 조작해 세계가 일관성 있게 진행되도록 합니다. 여기서 중요한 것은 장면을 렌더링하는 것이 아니라, 장면 안의 변화에 반응하는 것입니다.

2. 물리 법칙과 사람. Genie 4는 공기역학과 충돌을 비롯해 실제 세계의 물리적 상황을 시뮬레이션합니다. DeepMind에 따르면 "가장 극적인 도약"을 보여 준 분야는 사람입니다. 캐릭터는 자연스럽게 움직이고 주변 환경에 유기적으로 반응하며 실시간으로 직접 조작할 수 있습니다.

3. 네이티브 오디오. DeepMind의 설명에 따르면 Genie 4는 "오디오를 네이티브 방식으로 생성하는 최초의 실시간 월드 모델"입니다. 모든 배경에는 나무 사이로 부는 바람부터 해변의 파도 소리까지 그 환경에 어울리는 소리가 담깁니다. 그리고 최첨단 기능은 음성입니다. 캐릭터는 나중에 더빙 음성을 덧입히는 대신 실시간으로 사용자 입력과 세계의 이벤트에 반응하며 대화를 나눕니다.

4. 루프 안의 추론 계층. 네 번째 특징은 Genie 4가 Genie 1~3의 방식을 벗어난다는 점입니다. DeepMind에 따르면, 이미지·오디오·텍스트를 동영상으로 변환하는 Gemini 제품군의 멀티모달 모델인 Gemini Omni가 실제 세계의 외형과 동작을 바탕으로 시뮬레이션의 토대를 마련하고, 다른 Gemini 모델들이 추론을 담당합니다. 구체적으로 Gemini 3.8 Flash는 "루프 안의 안내 에이전트"로서 끊임없이 작동합니다. Genie 4가 장면을 렌더링하는 동안 장면을 관찰하고, 목표를 여러 단계로 나누며, 입력되는 프레임을 검토하고 각 단계를 확인한 뒤, 세계가 바뀌거나 사용자가 개입하면 계획을 다시 세웁니다. 이를 통해 생성된 세계 안에서 신뢰할 수 있는 인과관계, 절차적 행동, 여러 단계에 걸친 추론을 구현한다는 것이 DeepMind가 내세우는 효과입니다.

발표에서 이 추론 계층과 짝을 이루는 기술도 소개됐습니다. Gemini 4 Argon과 Gemini Robotics를 함께 활용하는 실험으로, Argon은 사용자가 지시한 작업을 여러 단계로 분해하고, 시뮬레이션이 렌더링되는 동안 텍스트 캡션으로 각 단계를 끼워 넣습니다. 따라서 시뮬레이션이 실행되는 동안 작업을 계속 완료 방향으로 이끌 수 있습니다. 이것이 바로 "실제 세계에서 비용을 들이기 전에 상상한 세계에서 작업을 연습한다"는 길을 열어 줍니다. 무한히 다양하고, 안전하게 위험하며, 원하는 만큼 다시 실행할 수 있는 훈련 환경을 재시도당 사실상 추가 비용 없이 제공한다는 점은 로보틱스가 월드 모델에 기대를 거는 핵심 이유입니다.

아직 해결되지 않은 문제

DeepMind는 남은 과제들을 직접 언급했으며, 이는 이 분야의 할 일 목록으로 읽어 볼 만합니다.

• 일관성은 짧은 세션에서만 유지됩니다. 시각적 세부 사항과 객체의 지속성은 여전히 바뀌고 흔들립니다. 특히 시뮬레이션이 오래 실행되거나, 복잡한 편집을 여러 차례 거치거나, 장면을 이동할 때 그렇습니다.
• 복잡한 물리적 상호작용, 실시간 오디오의 정확도, 읽을 수 있는 텍스트 렌더링, 공간적 정확도, 장기적인 일관성은 모두 활발한 연구 분야입니다.

좀 더 길게 설명하면, 생성된 세계를 영원히 일관되게 유지하는 방법을 알아낸 곳은 아직 없습니다. World Labs의 Marble은 재구성 후 지속적으로 유지되는 3D 세계를 구현하고 Gaussian splat이나 메시로 내보낼 수 있어, 같은 목표를 다른 접근법으로 추구하는 경쟁 모델입니다. DeepMind가 밝힌 다음 단계는 하이브리드 월드 모델입니다. 하나의 거대한 네트워크에 두 가지 역할을 한꺼번에 맡기는 대신, 언어 모델 스택이 세계의 구조적·논리적 계층을 담당하고 Genie가 세계의 외형과 소리, 반응 방식을 렌더링하도록 하는 것입니다. Google의 연구 디렉터 Tejas Kulkarni는 출시 브리핑에서 TechCrunch에 이렇게 말했습니다. "앞으로는 Gemini가 코드와 텍스트를 작성하고, Genie가 이를 실시간으로 입력받아 서로 다른 추상화 수준에서 현실을 시뮬레이션하는 하이브리드 월드 모델을 점점 더 많이 보게 될 것입니다."

일반 소비자에게 공개되기 전에 알아둘 안전 관련 사실은 두 가지입니다. Genie 4에서 생성되는 모든 영상과 오디오에는 SynthID 워터마크가 삽입되며, DeepMind는 프리뷰 공개 전에 안전성 평가를 수행하고 우선 신뢰할 수 있는 테스터에게만 공개했다고 밝혔습니다.

다른 기업들은 누가 개발하고 있으며, 왜 같은 방향으로 모이고 있을까

Genie 4가 등장했을 때 이 분야는 이미 움직이고 있었습니다. 앞서 살펴본 두 가지 접근법에 따라 대략적으로 정리하면 다음과 같습니다.

• Decart의 Oasis(2024년 10월, 칩 스타트업 Etched와 공동 개발)는 소규모 모델도 충분히 가능성을 보일 수 있다는 사실을 입증했습니다. 로컬 실행을 위해 오픈소스로 공개된 5억 개 파라미터 모델과, 더 큰 체크포인트를 실행하는 호스팅 데모로 구성되며, 게임 엔진을 전혀 사용하지 않고 NVIDIA H100에서 360p, 20 fps로 Minecraft와 비슷한 세계를 즉흥적으로 생성합니다. (The Wall Street Journal에 따르면 Amazon은 Decart를 약 $7 billion에 인수하기 위해 협상 중입니다.)
• World Labs의 Marble은 공간 지능을 내세웁니다. 이는 Fei-Fei Li가 설립한 회사가 월드 모델에 거는 기대를 표현하기 위해 사용하는 용어입니다. 텍스트, 이미지, 동영상으로 지속적으로 탐색할 수 있는 3D 세계를 만들며, 시간 제한 없이 볼 수 있고 Gaussian splat, 메시 또는 동영상으로 내보낼 수 있습니다. AMD는 2026년 9월 28일 World Labs를 $8.2 billion에 인수한다고 발표했습니다.
• NVIDIA Cosmos는 산업용 분야를 겨냥합니다. 로봇과 자율주행차를 위한 합성 훈련 데이터를 생성하고 미래 상황을 시뮬레이션하는 데 쓰이는 오픈 월드 파운데이션 모델 체크포인트를 제공합니다. "현실에 적용하기 전에 꿈속에서 연습한다"는 같은 논리를 카메라뿐 아니라 액추에이터를 갖춘 기계에도 적용한 것입니다. NVIDIA의 "피지컬 AI" 스택(Cosmos와 Isaac GR00T 로봇 파운데이션 모델)은 DeepMind의 로보틱스 실험과 정확히 같은 방향을 지향합니다.
• Runway의 GWM Worlds 2는 Genie 4보다 몇 달 앞서 출시됐습니다. 동영상 생성 기술을 기반으로 성장한 회사가 오디오를 포함한 플레이 가능한 생성 세계를 선보이며, 픽셀 중심 접근법에서도 동영상 모델과 월드 모델의 경계가 흐려지고 있음을 보여 줬습니다.

그리고 이 지형도 주변에는 자금이 몰리고 있습니다. Amazon–Decart, AMD–World Labs, 그리고 자율주행 테스트를 위해 시뮬레이션을 자체 구축하고자 2026년 10월 22일 발표된 Rivian의 월드 모델 스타트업 Third Dimension 인수까지 이어집니다. 게임 스튜디오, 로봇 개발사, 자동차 제조업체가 모두 같은 것을 찾고 있습니다. 바로 훈련 환경으로 쓸 세계입니다. Google이 계속해서 이 기술을 추구하는 이유, 그리고 보도된 2분이라는 시간을 마케팅 문구가 아니라 연구 목표로 봐야 하는 이유도 여기에 있습니다. 시뮬레이터가 학습을 위한 교실로 유용하려면, 학습이 이뤄질 만큼 오랫동안 일관성을 유지해야 합니다.

DeepMind는 이 연구를 "AGI 구축의 핵심 요소"라고 설명합니다. 그 주장의 근거는 이렇습니다. 세계에서 행동할 지능은 꼬리표가 아니라 원인과 결과를 통해 학습해야 하며, 제어할 수 있고 무한히 다양하며 안전하게 위험한 세계만이 확장 가능한 교실이라는 것입니다. 이는 이 접근법을 가장 강하게 옹호하는 주장인 동시에 하나의 가설이기도 합니다. 픽셀 수준의 시뮬레이션이 체화된 지능의 기반이 될지, 아니면 LeCun 진영이 제안하는 추상적 잠재 표현이 일부 역할을 맡는 여러 기반 중 하나에 그칠지는 아직 누구도 증명하지 못했습니다.

Genie 4에 관해 구체적으로 말할 수 있는 것은 다음과 같습니다. DeepMind의 설명에 따르면 공식적으로 내세울 수 있는 최초의 성과는 네이티브 오디오입니다. 오디오를 네이티브 방식으로 생성하는 최초의 실시간 월드 모델이라는 것입니다. 더 큰 주장은 저희의 해석이며, 확정된 사실처럼 들리기보다 논거로서 그 무게를 감당해야 합니다. 저희가 보기에는 이 정도 충실도의 인터랙티브 월드에서 사용자와 음성으로 대화하고 응답까지 들을 수 있는 첫 사례이며, 추론 모델이 렌더러의 루프에 함께 참여하는 모습을 보여 주는 지금까지 가장 명확한 공개 사례입니다. 다시 말해, 이 분야가 "월드 모델"이라는 말의 두 가지 의미, 즉 픽셀과 그 안을 움직이는 마음을 함께 구현하는 데 가장 가까이 다가선 사례입니다.

자주 묻는 질문

월드 모델이란 무엇인가요? 한 문장으로 설명하면요.
세계의 작동 방식을 생성하는 모델입니다. 세계의 현재 상태와 행동을 입력받아 그다음 세계가 어떻게 보이고 들릴지를 예측하므로, 에이전트가 그 안에서 행동하고 연습할 수 있습니다.

Genie 4는 Veo나 Sora 같은 동영상 모델과 어떻게 다른가요?
동영상 모델은 완성된 클립을 제공하지만, Genie 4는 프레임마다 입력에 반응하고 자신이 생성한 내용을 기억하며 실시간 오디오도 직접 만들어 내는 환경을 제공합니다. 동영상은 콘텐츠이고, 월드 모델은 장소입니다.

지금 Genie 4를 사용할 수 있나요?
아직은 아닙니다. 신뢰할 수 있는 테스터를 대상으로 한 연구 프리뷰입니다. 다음 단계로는 Google AI Ultra 구독자를 위한 Project Genie를 통해 소비자에게 공개될 예정입니다(현재는 Genie 3가 실행 중). 이후 Gemini API와 Google AI Studio의 얼리 액세스 파트너로 개발자에게도 제공될 예정입니다. 일정이나 가격은 아직 공개되지 않았습니다.

Genie 4 세션은 얼마나 오래 실행할 수 있나요?
세션은 여전히 짧습니다. 공식적으로 일관성은 "짧은 세션" 동안 유지됩니다. TechCrunch가 출시 브리핑을 전한 내용에 따르면 일관된 장면을 유지할 수 있는 최대 시간은 약 2분으로, Genie 3의 두 배입니다.

Genie 4는 소리를 생성하나요?
네. 완성된 동영상에 덧씌우는 트랙이 아닙니다. 주변 소리, 음악, 음성 대화가 각 프레임의 세계를 구성하는 일부로 생성되며, 캐릭터는 실시간으로 사용자와 서로에게 반응합니다.

그렇다면 Genie 4는 물리 법칙을 이해하나요?
DeepMind는 출시 데모에서 공기역학과 충돌 같은 물리 시나리오를 보여 줬지만, Genie 4의 물리 능력을 검증할 수 있는 벤치마크는 공개된 적이 없습니다. Physics-IQ를 비롯한 동영상 기반 모델의 독립 평가에서는 시각적 사실성이 물리적 이해를 뜻하지 않는다는 결과가 계속 나오고 있습니다. 사실성은 증명이 아니라 대리 지표로 봐야 합니다.

월드 모델이 게임 엔진을 대체할까요?
조만간은 아니며, 아마 완전히 대체하지도 않을 것입니다. 생성된 세계는 탐색과 프로토타이핑에서 속도와 다양성 면에서 이미 강점을 보입니다. 하지만 엔진이 보장하는 결정론적이고 설계자가 제어할 수 있는 장시간 실행 세계를 아직 구현하지는 못합니다. 가까운 미래에는 두 기술이 협력할 가능성이 큽니다. 아이디어 구상, 시뮬레이션, 에이전트 훈련에는 생성된 세계를, 실제 제품 제작과 결정론적 플레이에는 엔진을 활용하는 방식입니다.

출처

• Genie 4: 새로운 세대의 월드 시뮬레이션 (Google DeepMind, 2026년 10월 27일)
• Genie 3: 월드 모델의 새로운 지평 (Google DeepMind, 2025년 8월 5일)
• Genie 2: 대규모 파운데이션 월드 모델 (Google DeepMind, 2024년 12월 4일)
• Google의 Genie 4 월드 모델, 오디오와 더욱 현실적인 세계 및 실시간 조작 기능 추가 (TechCrunch, 2026년 10월 27일)
• 더 크고 더 나은 세계 생성 / Marble: 멀티모달 월드 모델 (World Labs)
• NVIDIA와 글로벌 로보틱스 선도 기업들, 피지컬 AI를 현실 세계로 이끌다 (NVIDIA, 2026년 3월 16일)