Genie 4 解析：什麼是世界模型？為什麼 Google 持續投入其中

2026 年 10 月 27 日，Google DeepMind 宣布推出 Genie 4，這是該公司最新的世界模型。不同於 AI 影片模型會交給你一段完成的影片，Genie 4 生成的是一個你可以踏入其中的世界：它會在每一影格回應你的鍵盤操作，你可以用一般英文在模擬進行中改寫場景，而世界現在也會即時發出自己的聲音——風聲、腳步聲、音樂、對白——不再是事後疊加在影片上的音軌。

新功能是這次的焦點，也為我們提供了最明確的理由，來回答 AI 產業過去兩年一直爭論的問題：「世界模型」究竟是什麼？為什麼每間大型實驗室都想打造一個？

截至推出時，Genie 4 是提供給受信任測試者的研究預覽版。DeepMind 表示，Genie 4「即將推出」，將透過 Project Genie 提供給 Google AI Ultra 訂閱者使用。Project Genie 是該公司的消費者世界探索產品，目前搭載 Genie 3、Nano Banana Pro 和 Gemini；此外，也會提供給 Gemini API 和 Google AI Studio 的早期存取合作夥伴。Project Genie 的候補名單已開放，但尚未公布日期和價格。因此目前還沒有人能預約體驗 Genie 4。你可以做的是了解它所屬的領域——這個領域才是最值得關注的部分，而且發展迅速。

世界模型究竟是什麼？

剝除行銷包裝後，世界模型就是一種神經網路，它學會了某個世界如何運作，足以持續模擬這個世界：給定世界目前的狀態和一個動作，它會預測接下來世界看起來——現在也包括聽起來——會是什麼樣子。給這類系統足夠的影片資料，最後就會產生類似一套你從未親手編寫的遊戲引擎：沒有物理程式碼、沒有手工製作的素材，也沒有關卡設計。規則、景物、山丘上方的雲，全都來自模型權重。

這個概念有一項開創性的代表成果。2018 年，David Ha 和 Jürgen Schmidhuber 發表的World Models論文指出，小型 Agent 可以在自身環境的生成模型中接受訓練——用作者的說法，就是「完全在世界模型所生成、由自身幻想出的夢境中訓練」——之後再移回真實遊戲中。這至今仍是最精簡的定義：世界模型是一個練習的場所。

此後，各家公司從同一個概念得出了兩種不同的結論：

以像素進行預測。OpenAI 在 2024 年 2 月發表的〈Video generation models as world simulators〉中主張，擴大影片生成規模是「打造通用實體世界模擬器的一條有前景的路徑」。支持這個方向的證據，是 Sora 能在渲染 Minecraft 遊戲畫面的同時，以基本策略控制玩家。這種說法認為，只要影片生成得夠好，對世界的理解自然也會隨之而來。
以抽象表徵進行預測。Yann LeCun 在 2022 年的立場論文A Path Towards Autonomous Machine Intelligence中提出相反觀點：世界模型應該在抽象表徵空間中預測未來狀態，而不是預測像素——部分原因是像素層級的預測會耗費模型大部分的能力在無人能驗證的細節上；另一部分原因是 Agent 會透過比較想像中的結果來規劃，而不是比較想像中的影格。JEPA 架構就是將這套主張化為程式碼。

兩派對目標並無分歧——打造足夠深入的模擬器，讓 Agent 能在其中訓練，而不必為每次失誤付出真實世界的代價。他們的分歧在於，哪種表徵能先達到這個目標。DeepMind 的 Genie 系列屬於像素派，不過還有一個我們稍後會談到的變化：先從像素出發，但這些像素可以透過動作互動，而且現在背後還有語言模型支援。

為什麼可遊玩的世界比漂亮的影片更難

最容易讓人混淆的地方在於，世界模型和影片生成器是難度層次不同的兩種東西，而不是更大型的影片生成器。兩者在結構上有以下差異：

比較項目	影片生成器	世界模型
產出的內容	一段完成的影片	持續運作的環境
誰在其中行動	沒有人——影片會自行播放	你，每一影格都能參與
每個影格取決於	提示詞，去噪一次	你上一個動作加上世界目前的狀態
狀態	不需要保留任何內容	世界會記住自己生成的內容
聲音	後製到完成的影片上	隨著世界即時生成
結束時機	影片播放完畢時	你停止時——或開始出現漂移時

關於這張表格的補充說明：它呈現的是兩種模型類型理想情況下的差異。實際產品各有不同——Runway 的 GWM Worlds 2 和 Decart 的 Oasis 就是以影片為基礎、但設計成可遊玩的模型。

但可遊玩的世界模型必須面對影片生成器能避開的問題：

速度。電影級影片模型可能需要花好幾分鐘處理一個鏡頭。世界模型每個影格只能花上不到一秒，因為互動體驗的運作速度是每秒 24 到 60 影格，回應再慢一點就會破壞沉浸感。互動性是架構問題，不只是輸出品質問題。
記憶。模型向你呈現過的所有內容都必須記住。離開某個地標，一分鐘後再回來：如果地標渲染出來的樣子不同，這個世界就會立刻失去可信度。這就是為什麼一致性——一個世界能維持多少連貫且有記憶的體驗——才是這個領域的人真正關注的指標。
因果物理。偽造逼真的影像很容易；要呈現因果關係就沒那麼簡單。2025 年的一項基準測試名為Physics-IQ，研究人員將日常事件的真實錄影暫停，要求影片模型——Sora、Runway、Pika、Lumiere、Stable Video Diffusion、VideoPoet——接續生成畫面，再將結果與實際發生的後續情況比較評分，涵蓋流體、光學、固體力學、磁學和熱力學。其結論是：這些模型對物理的理解「嚴重受限，且與視覺逼真度無關」。世界模型必須掌握這個平衡，否則在其中訓練的任何內容都無法確定能否轉移到外部。

這三個難關正好對應 Genie 的發展歷程。每一代都是為了進一步提升速度、記憶能力和因果推理能力。

Genie 系列：從玩具到（據報導）兩分鐘

世代	發布時間	輸入內容	展現的能力
Genie	2024 年 2 月	單張圖片	可遊玩的 2D 世界，可從影片推斷動作
Genie 2	2024 年 12 月	單張圖片	可遊玩的 3D 世界，具備物體恆存性，最長約一分鐘
Genie 3	2025 年 8 月	文字提示詞	首次實現即時生成：720p、24 fps，可持續數分鐘
Genie 4	2026 年 10 月 27 日	即時文字和事件	原生音訊；Gemini「導演」參與其中；約 2 分鐘（據報導）

注意：Genie 4 的解析度和影格率尚未公布。Genie 2 的一分鐘數據和 Genie 3 的數據來自 DeepMind 的公告；上表的兩分鐘數據則是 TechCrunch 根據 DeepMind 發布會簡報所做的整理（此處為報導內容）。

Genie 系列有兩個細節值得一提，因為它們有助於理解這個概念，不只是冷知識：

第一代 Genie 自行發明了控制方式。2024 年的Genie 論文介紹了一個擁有 11-billion 個參數的基礎世界模型，以未標註動作的網路原始影片進行訓練；研究發現，當訓練影片中的人按下「左」或「跳躍」時，網路可以從影格之間的變化中擷取出一個潛在動作空間。即使沒有人為動作加上標籤，模型仍展現出可遊玩的特性，這就是為什麼世界模型中的「控制器」不代表設計師選定的按鈕，而是模型能推斷出的任何動作——而 DeepMind 後續各代不斷擴展的，也正是這些動作，從平台遊戲的操作一路延伸到由文字操控的世界事件。

一致性的提升幅度，最能說明問題所在。根據 DeepMind 2024 年 12 月的公告，Genie 2 能讓連貫的世界維持大約一分鐘。Genie 3 將可用的互動時間延長至數分鐘，並能保留約一分鐘前的記憶。根據上述 TechCrunch 報導，Genie 4 則將運作時間延長一倍，約可達兩分鐘。從這個發展脈絡就能看出問題的本質：互動式世界最困難之處不在渲染，而是在互動速度下，讓數百個連續且被記住的狀態保持一致。

Genie 4 有哪些新功能

DeepMind 的公告聚焦於四項能力。應該將它們合在一起理解，而非視為「Genie 3 加上幾項額外功能」：

1. 你可以即時用語言引導世界。自然語言編輯——改變天氣、移動鏡頭、加入新人物或物件——會即時套用到模擬中，而 Gemini 會根據周遭實際場景調整你的措辭。在你輸入指令的間隔期間，Gemini 會持續觀察並引導，讓世界連貫地發展。這裡的關鍵不在於渲染場景，而在於回應場景中的變化。

2. 物理現象與人物。Genie 4 能模擬真實世界中的物理情境——DeepMind 舉出的例子包括空氣動力學和碰撞。DeepMind 表示，它「最顯著的飛躍」在於人物：角色能自然移動、有機地回應周遭環境，並可即時互動操控。

3. 原生音訊。根據 DeepMind 自己的說法，Genie 4 是「我們首個原生生成音訊的即時世界模型」。每種場景都有自己的環境音，從樹林間的風聲到海灘上的浪濤聲都有——而最前沿的部分是語音：角色可以即時交談，並對你的輸入和世界中的事件做出反應，而不是事後配上配音音軌。

4. 在迴圈中加入推理層。第四項是 Genie 4 與 Genie 1–3 做法的分水嶺。DeepMind 表示，在底層架構中，Gemini Omni——Gemini 家族中能將影像、音訊和文字轉換成影片的多模態模型——負責以真實世界的外觀與行為為模擬場景奠定基礎，其他 Gemini 模型則提供推理能力。具體來說，Gemini 3.8 Flash會持續以「迴圈中的引導 Agent」身分運作：Genie 4 渲染場景時，它會觀察場景、將目標拆解為步驟、檢視傳入的影格、確認每個步驟，並在世界變化或使用者介入時重新規劃。官方指出，這能在生成的世界中實現可靠的因果關係、程序性行為和多步驟推理。

這個推理層在公告中還有一個明確的搭檔：DeepMind 展示了與 Gemini 4 Argon和 Gemini Robotics 合作的實驗，由 Argon 將使用者指示的任務拆解成步驟，並在模擬畫面渲染時，以文字說明穿插其中，讓模擬任務在執行過程中持續朝完成目標推進。這也為「先在想像的世界中練習任務，再投入真實世界」開啟了大門，正是世界模型對機器人領域的核心價值：無限多樣、安全地模擬危險情境、可重複執行的訓練環境，而且每次重試幾乎不會增加邊際成本。

目前仍行不通的部分

DeepMind 點出了仍待克服的缺口，值得視為這個領域的待辦清單：

一致性只在短時間的工作階段內維持。視覺細節和物體恆存性仍會變動、漂移，尤其是在模擬執行較久、經過多次複雜編輯，或使用者在場景中移動時。
複雜的物理互動、即時音訊的準確度、渲染清晰易讀的文字、空間準確度，以及長期一致性，都是目前積極研究的領域。

要更完整地說：目前還沒有人能打造出永遠保持一致的生成式世界。World Labs 的 Marble——能重建並保存 3D 世界，並匯出為 Gaussian splats 或網格——採取不同的架構，從另一條路徑追求相同的目標。而 DeepMind 表示，下一步是混合式世界模型：讓語言模型堆疊承載世界中結構化、合乎邏輯的部分，同時由 Genie 渲染世界的外觀、聲音與回應方式，而不是要求單一大型網路一次完成兩者。根據 TechCrunch 報導，Google 研究總監 Tejas Kulkarni 在發布簡報中表示：「未來我們將愈來愈常看到這類混合式世界模型：結合 Gemini 撰寫程式碼和文字，以及 Genie 即時接收這些內容，並以不同抽象層次模擬現實。」

在這項技術觸及一般消費者之前，有兩項與安全相關的事實值得注意：所有 Genie 4 生成的影片和音訊輸出都帶有 SynthID 浮水印；DeepMind 表示，在開放預覽版前已進行安全性評估，並刻意先向可信任的測試者開放。

還有哪些團隊正在打造世界模型，以及它們為何走向相同方向

Genie 4 登場時，這個領域早已開始快速發展。以下依照前述兩大路線，簡要整理目前的版圖：

Decart 的 Oasis（2024 年 10 月，與晶片新創 Etched 合作打造）證明了小型模型也能有所作為：這款 500-million-parameter 模型採開放原始碼，可在本機執行，另有託管式示範版，使用較大的檢查點，在 NVIDIA H100 上以 360p、20 fps 即興生成 Minecraft 風格的世界——整個過程完全不需要遊戲引擎。（《華爾街日報》報導，Amazon 正洽談以約 $7 billion 收購 Decart。）
World Labs 的 Marble主打空間智慧——這是 Fei-Fei Li 的公司用來描述其世界模型布局的術語。它能從文字、影像或影片生成可持續保存、可供探索的 3D 世界，不受時間限制地檢視，並匯出為 Gaussian splats、網格或影片。AMD 於 2026 年 9 月 28 日宣布，將以 $8.2 billion 收購 World Labs。
NVIDIA Cosmos代表工業應用路線：提供開放的世界基礎模型檢查點，用來生成合成訓練資料，並模擬機器人和自動駕駛車輛可能遭遇的情境——同樣採用「在真實世界行動前先預演」的邏輯，但對象除了配備攝影機的機器，也包括配備致動器的機器。NVIDIA 的「實體 AI」堆疊（Cosmos，加上 Isaac GR00T 機器人基礎模型）正是依照 DeepMind 機器人實驗的思路打造。
Runway 的 GWM Worlds 2在 Genie 4 問世前幾個月推出：這家以影片生成起家的公司，推出了帶有音訊、可供遊玩的生成式世界，證明「像素派」也能展現影片模型與世界模型之間的界線正從另一個方向逐漸模糊。

而這張版圖背後還有資金流動：Amazon–Decart、AMD–World Labs，以及 Rivian 收購世界模型新創 Third Dimension（於 2026 年 10 月 22 日宣布），藉此將自駕測試所需的模擬技術納入內部。遊戲工作室、機器人業者和車廠都在尋找同一樣東西——可作為訓練環境的世界。這就是 Google 持續投入這項技術的原因，也說明了為何傳聞中的兩分鐘時長是研究目標，而不是行銷口號：模擬器只有在能長時間維持穩定、足以讓人學習時，才稱得上有用的教室。

DeepMind 將這整個研究方向描述為「打造 AGI 的關鍵要素」。背後的主張是：能在世界中採取行動的智慧，必須從原因而非標籤中學習；而可控制、變化無窮且能安全模擬危險情境的世界，是唯一能大規模擴展的教室。這是這項布局最強烈的版本——但它終究只是一項賭注。像素層級的模擬會不會成為具身智慧的基礎，還是只會成為多種基礎之一，並由 LeCun 陣營的抽象潛在表示分擔部分工作，目前沒有人能證明。

關於 Genie 4，目前能確切指出的是：它在原生音訊方面首開先河——依照 DeepMind 的說法，它是第一個能原生生成音訊的即時世界模型。更大的主張是我們提出的，因此應該視為論點，而非既定事實：在我們看來，這是首個達到此保真度、可供使用者對話並會回應的互動式世界，也是目前公開展示中最明確的一例，呈現推理模型與渲染器共用同一個運作迴圈——這是這個領域最接近讓「世界模型」同時代表這個詞兩個部分的一次：像素，以及在其中移動的心智。

常見問題

一句話來說，什麼是世界模型？
能生成世界如何運作的模型——給定世界目前的狀態和一個動作，就能預測接下來世界的外觀與聲音，讓 Agent 能在其中行動和練習。

Genie 4 和 Veo 或 Sora 這類影片模型有何不同？
影片模型提供完成的片段；Genie 4 則提供一個能逐格回應輸入、記住自己生成內容，並即時產生音訊的環境。影片是內容；世界模型是一個場域。

我現在可以使用 Genie 4 嗎？
目前還不行。它目前是提供給可信任測試者的研究預覽版。接下來會透過 Project Genie 開放給 Google AI Ultra 訂閱者使用（目前執行的是 Genie 3），之後也會讓 Gemini API 和 Google AI Studio 的早期存取合作夥伴開發者使用。目前尚未公布日期或價格。

Genie 4 的工作階段可以執行多久？
目前工作階段仍然很短。官方表示一致性只在「短時間的工作階段」內維持；根據 TechCrunch 對發布簡報的報導，上限約為兩分鐘的場景一致性，是 Genie 3 的兩倍。

Genie 4 會生成聲音嗎？
會——不是在完成的影片上另加音軌，而是將環境音、音樂和對話作為世界的一部分，在每個影格中生成；角色會即時對你以及彼此做出反應。

那 Genie 4 理解物理嗎？
DeepMind 在發布示範中展示了空氣動力學和碰撞等物理情境，但尚未公布可公開驗證的 Genie 4 物理基準測試。對影片類模型進行的獨立評估——例如 Physics-IQ——一再發現，視覺寫實並不代表理解物理；應將寫實度視為替代指標，而非證據。

世界模型會取代遊戲引擎嗎？
短期內不會，而且可能不會完全取代。生成式世界在探索和原型製作方面，已經具備速度快、多樣性高的優勢；但目前還無法提供引擎所能保證的確定性、設計掌控度和長時間穩定運作的世界。更可能的近期發展是協作：用生成式世界進行構想、模擬和 Agent 訓練；用引擎負責正式製作和確定性遊玩。