2026 年 10 月 27 日,Google DeepMind 宣布推出 Genie 4,这是其最新的世界模型。与生成一段成品视频的 AI 视频模型不同,Genie 4 生成的是一个供你进入的世界:它会在每一帧响应你的键盘输入,你可以在模拟过程中用简单的英语改写场景,而这个世界现在还自带实时声音——风声、脚步声、音乐、对白——而不是事后叠加在视频上的配乐。
新能力是这次发布的重点,同时也为回答这个 AI 行业争论了两年的问题提供了最直接的契机:“世界模型”究竟是什么,为什么每家主要实验室都想拥有一个?
发布时,Genie 4 仍是面向受信任测试者开放的研究预览版。据 DeepMind 称,它“即将推出”,将通过 Project Genie 面向 Google AI Ultra 订阅用户开放。Project Genie 是该公司的消费级世界探索产品,目前由 Genie 3、Nano Banana Pro 和 Gemini 提供支持;此外,也将面向 Gemini API 和 Google AI Studio 的早期访问合作伙伴开放。Project Genie 的候补名单已经开放,但尚未公布日期和定价。因此,目前还没人能预约体验 Genie 4。你可以做的是了解它所处的领域——这个领域才是真正有意思的部分,而且发展迅速。
世界模型究竟是什么?
撇开营销话术不谈,世界模型是一种神经网络,它学会了某个世界的运行方式,并能持续模拟这个世界:给定世界当前的状态和一个动作,它会预测接下来世界看起来——如今还包括听起来——是什么样子。给这样的系统输入足够多的视频,最终得到的就像一台你从未编写过的游戏引擎:没有物理代码,没有手工制作的素材,也没有关卡设计。规则、景色、山丘上空的云,全都来自模型的权重。
这个概念有一份奠基之作。2018 年,David Ha 和 Jürgen Schmidhuber 在《World Models》论文中展示,一个小型智能体可以在自身环境的生成模型中进行训练——用作者的话说,它“完全在世界模型生成的幻觉梦境中训练”——然后再迁移回真实游戏中。这仍是最简洁的一句话定义:世界模型是一个供你练习的地方。
此后,各家公司从同一个理念中得出了两种不同的结论:
- 预测像素。2024 年 2 月,OpenAI 在《视频生成模型作为世界模拟器》中提出,扩展视频生成是“一条构建通用物理世界模拟器的有前景路径”。作为这一方向的依据,它展示了 Sora 渲染 Minecraft 游戏画面,同时通过一个基础策略控制玩家。这个观点认为,只要视频足够逼真,对世界的理解也会随之而来。
- 预测抽象表示。Yann LeCun 在 2022 年的立场论文《迈向自主机器智能之路》中提出了相反的观点:世界模型应当在抽象表示空间中预测未来状态,而不是预测像素——部分原因是像素级预测会把模型的大部分能力耗费在没人能验证的细节上,另一部分原因是智能体规划时会比较想象中的结果,而非想象中的画面。JEPA 架构就是将这一观点付诸代码的实现。
两派对目标看法一致——打造一个足够深入的模拟器,让智能体能在其中训练,而不必为现实世界里的每次失误付出代价。分歧在于哪种表示方式能先实现这个目标。DeepMind 的 Genie 系列属于像素派,但还有个转折,我们稍后会讲到:先从像素入手,但这些像素可以交互,而且现在背后还有一个语言模型。
为什么可玩的世界比好看的视频更难
容易让人困惑的关键在于,世界模型的难度层级与视频生成器不同;它并不是一个更大的视频生成器。两者在结构上有以下区别:
| 对比项 | 视频生成器 | 世界模型 |
|---|---|---|
| 你得到什么 | 一段成品视频 | 一个持续运行的环境 |
| 谁在其中行动 | 没有人——它自行播放 | 你,每一帧都能参与 |
| 每一帧由什么生成 | 一个提示词,经过去噪后生成一次 | 你的上一个动作加上世界当前的状态 |
| 状态 | 没有需要保留的内容 | 世界会记住自己生成过的内容 |
| 声音 | 后期添加到成品视频中 | 随世界实时生成 |
| 何时结束 | 视频播放完毕时 | 你停止时——或者出现状态漂移时 |
关于这张表需要说明一点:它描述的是两种模型类型之间的理想化差异。具体产品可能介于两者之间——Runway 的 GWM Worlds 2 和 Decart 的 Oasis 就是基于视频的模型,但专为交互游玩而设计。
但可玩的世界模型必须面对一些视频生成器可以避开的问题:
- 速度。电影级视频模型生成一个镜头可能要花几分钟。世界模型每帧只有不到一秒的时间,因为交互体验需要以每秒 24 到 60 帧的速度运行,响应再慢一点就会打破沉浸感。交互性是架构问题,而不只是输出质量问题。
- 记忆。模型向你展示过的一切,都必须记住。离开一个地标,一分钟后再回来:如果这个地标呈现得不一样,整个世界就会立刻崩塌。因此,一致性——一个世界能维持多少连贯且被记住的体验——才是业内人士真正关注的指标。
- 因果物理。伪造逼真的影像很容易;模拟因果关系则不然。一个名为Physics-IQ的 2025 年基准测试暂停了日常事件的真实录像,让视频模型——Sora、Runway、Pika、Lumiere、Stable Video Diffusion、VideoPoet——续写后续画面,再依据实际发生的后续情况,对生成结果进行评分,涵盖流体、光学、固体力学、磁学和热力学。其结论是:这些模型对物理的理解“严重受限,且与视觉真实感无关”。世界模型必须妥善解决这一问题,否则在其中训练的任何内容都无法保证能迁移到现实世界。
这三大难点与 Genie 的发布历程恰好对应。每一代产品的目标,都是在速度、记忆和因果性上再向前迈进一步。
Genie 系列:从玩具到两分钟(据报道)
| 版本 | 发布时间 | 输入内容 | 证明了什么 |
|---|---|---|---|
| Genie | 2024 年 2 月 | 一张图片 | 可玩的 2D 世界,动作从视频中推断而来 |
| Genie 2 | 2024 年 12 月 | 一张图片 | 具有物体持存性的可玩 3D 世界,最长约一分钟 |
| Genie 3 | 2025 年 8 月 | 一个文本提示词 | 首次实现实时生成:720p、24 fps,可持续数分钟 |
| Genie 4 | 2026 年 10 月 27 日 | 实时输入文本和事件 | 原生音频;Gemini 充当循环中的“导演”;约 2 分钟(据报道) |
注:Genie 4 的分辨率和帧率尚未公布。Genie 2 的一分钟数据和 Genie 3 的数据来自 DeepMind 的公告;上面的两分钟数据则是 TechCrunch 根据 DeepMind 发布会的介绍整理得出的(据此报道)。
关于这一概念,Genie 系列有两点值得关注,而不仅仅是冷知识:
第一个 Genie 自行发明了控制方式。2024 年的Genie 论文介绍了一款拥有 11-billion 个参数的基础世界模型,它利用未标注动作的原始互联网视频进行训练;研究发现,当训练素材中有人按下“左”键或“跳跃”时,网络可以从帧间变化中提取出一个潜在动作空间。即使没人标注动作,模型也能实现可玩性。这也是为什么世界模型中的“控制器”并不意味着设计师选定的按钮,而是模型能够推断出的任何动作——而 DeepMind 后续几代产品不断扩展了这些动作,从平台游戏中的移动操作,到由文本控制的世界事件。
一致性的提升最能说明问题。根据 DeepMind 2024 年 12 月的公告,Genie 2 能让一个连贯的世界维持约一分钟。Genie 3 将可交互时长延长到数分钟,并能记住约一分钟前的内容。根据上文 TechCrunch 的报道,Genie 4 将可运行时长加倍至约两分钟。这个发展过程揭示了问题的核心:交互式世界最难的部分不在于渲染,而在于以交互速度让数百个连续的记忆状态保持一致。
Genie 4 有哪些新功能
DeepMind 的公告重点介绍了四项能力。理解这些功能时,应该把它们放在一起看,而不是当成“Genie 3 加上一些额外功能”:
1. 实时用语言操控世界。自然语言编辑——改变天气、移动摄像机、加入新人物或物体——可以实时应用到模拟中,而 Gemini 会根据周围场景调整对你措辞的理解。在你输入指令的间隙,Gemini 会持续观察并操控世界,让它连贯地推进。关键不在于渲染场景,而在于响应场景内部的变化。
2. 物理与人物。Genie 4 能模拟现实世界中的物理情境,DeepMind 举的例子包括空气动力学和碰撞。据 DeepMind 称,它“最显著的飞跃”在于人物:角色动作自然,能自发地对周围环境做出反应,也可以通过交互在实时场景中操控。
3. 原生音频。用 DeepMind 自己的话说,Genie 4 是“我们首个原生生成音频的实时世界模型”。每种场景都有自己的环境音,从树林中的风声到海滩上的浪声——而最前沿的能力是语音:角色可以实时交谈,并对你的输入和世界中的事件做出反应,而不是事后配上配音。
4. 在循环中加入推理层。第四点正是 Genie 4 与 Genie 1–3 方案的分野。据 DeepMind 介绍,在底层,Gemini Omni——Gemini 系列中可将图像、音频和文本转化为视频的多模态模型——负责让模拟世界贴近现实世界的外观与行为,而其他 Gemini 模型则提供推理能力。具体来说,Gemini 3.8 Flash会持续作为“循环中的引导智能体”运行:Genie 4 渲染时,它会观察场景、将目标拆解为多个步骤、检查传入的帧、验证每一步,并在世界发生变化或用户介入时重新规划。据称,这样做能让生成的世界具备可靠的因果关系、程序化行为和多步骤推理能力。
公告中还提到了与这一推理层搭档的另一项实验:Gemini 4 Argon 与 Gemini Robotics。Argon 会把用户指示的任务拆解为多个步骤,并将这些步骤作为文本说明穿插进模拟过程,在渲染过程中持续引导任务走向完成。这就为“先在想象的世界里练习任务,再投入真实世界”打开了大门。这正是世界模型对机器人技术的核心价值:变化无穷、可以安全地模拟危险情况、能够反复运行的训练环境,而且每次重试几乎没有额外成本。
目前仍未解决的问题
DeepMind 自己列出了尚存的缺口,值得把它们视为整个领域的待办清单:
- 连贯性只能维持较短时间。视觉细节和物体恒存性仍会变化、漂移,尤其是在模拟运行时间更长、经过多次复杂编辑,或你在场景中移动时。
- 复杂的物理交互、实时音频准确性、清晰文字渲染、空间准确性以及长期一致性,都是正在积极研究的方向。
换句话说:目前还没有人解决生成世界如何始终保持一致的问题。World Labs 的 Marble——可重建并持久保存的 3D 世界,可导出为 Gaussian splats 或网格——是从另一条路径追求同一目标的竞争架构。DeepMind 声明的下一步则是混合世界模型:让语言模型堆栈承载世界的结构化逻辑层,同时由 Genie 渲染世界的外观、声音和响应方式,而不是让一个庞大的网络同时承担两者。Google 研究总监 Tejas Kulkarni 在发布简报会上对 TechCrunch 表示:“未来我们会越来越多地看到这类混合世界模型:Gemini 负责编写代码和文本,Genie 则实时接收这些内容,并以不同的抽象层级模拟现实。”
在 Genie 4 面向普通消费者开放之前,有两项与安全相关的信息值得注意:所有 Genie 4 视频和音频输出都带有 SynthID 水印;DeepMind 表示,在开放预览版之前已进行了安全评估,并有意先向可信测试者开放。
还有谁在构建这类模型——以及他们为何殊途同归
Genie 4 问世时,这个领域早已风起云涌。按照前文提到的两大路线,概况如下:
- Decart 的 Oasis(2024 年 10 月,与芯片初创公司 Etched 合作打造)证明了小模型也能大显身手:这款拥有 500-million 参数、开源供本地运行的模型,另有一个托管演示版使用更大的检查点;它能即兴生成 Minecraft 风格的世界,以 360p 和 20 fps 的速度运行在 NVIDIA H100 上,整个流程中没有游戏引擎参与。(据《华尔街日报》报道,Amazon 正在洽谈以约 $7 billion 收购 Decart。)
- World Labs 的 Marble主打“空间智能”——这是 Fei-Fei Li 创办的公司对其世界模型路线的称呼。它能根据文本、图像或视频生成可持久保存、可导航的 3D 世界,不受时间限制地查看,并可导出为 Gaussian splats、网格或视频。AMD 于 2026 年 9 月 28 日宣布,将以 $8.2 billion 收购 World Labs。
- NVIDIA Cosmos走的是工业路线:开放世界基础模型检查点,用于生成合成训练数据,并为机器人和自动驾驶汽车模拟未来——这套“先在现实到来前进行演练”的逻辑,同样适用于配有执行器和摄像头的机器。NVIDIA 的“物理 AI”技术栈(Cosmos 以及 Isaac GR00T 机器人基础模型)的定位,正与 DeepMind 的机器人实验如出一辙。
- Runway 的 GWM Worlds 2比 Genie 4 早几个月推出:它能生成带音频、可供交互的世界。Runway 本是一家以视频生成起家的公司,这也证明了视频模型与世界模型之间的界限,正从另一方向逐渐模糊。
这张版图周围涌动着资金:Amazon 收购 Decart、AMD 收购 World Labs,以及 Rivian 收购世界模型初创公司 Third Dimension——该收购于 2026 年 10 月 22 日宣布,旨在将模拟能力纳入公司内部,用于自动驾驶测试。游戏工作室、机器人制造商和汽车厂商都在寻找同一种东西——作为训练环境的世界。这就是 Google 持续追逐这一领域的原因,也是据报道的两分钟时长为何是研究目标而非营销话术:只有模拟器足够连贯、能够让人从中学习,它才能成为有用的课堂。
DeepMind 将这项工作的整体方向称为“构建 AGI 的关键环节”。其背后的主张是:能够在世界中行动的智能,必须从因果关系而非标签中学习;而一个可控、变化无穷且能安全模拟危险情况的世界,是唯一能够规模化扩展的课堂。这是对这一方向最有力的论据——但它终究只是一种押注。像素级模拟究竟会成为具身智能的基础,还是仅为多种基础之一、由 LeCun 阵营所说的抽象潜变量承担部分任务,目前没人能证明。
关于 Genie 4,目前可以确定地说:它在原生音频方面实现了官方所称的首创——按 DeepMind 的说法,它是首个能够原生生成音频的实时世界模型。更大的论断来自我们自己,应当作为论据来权衡,而不是当成已成定论的事实:在我们看来,这是首个达到这种保真度、可与之对话且会回应你的交互式世界;也是迄今最清晰的公开案例,展示了推理模型如何加入渲染器的循环——让“世界模型”最接近同时体现这个词的两层含义:像素,以及在其中活动的心智。
常见问题
一句话来说,什么是世界模型?
一种描述世界如何运行的生成式模型——给定世界当前的状态和一个动作,它会预测接下来世界看起来、听起来如何,让智能体能够在其中行动和练习。
Genie 4 与 Veo 或 Sora 这类视频模型有何不同?
视频模型会生成一段完整的视频;Genie 4 则提供一个会逐帧回应你输入的环境,记住自己生成的内容,并实时生成自己的音频。视频是内容;世界模型则是一个场所。
现在能用 Genie 4 吗?
还不能。它目前是面向可信测试者的研究预览版。下一步将通过 Project Genie 向 Google AI Ultra 订阅用户开放(目前运行的是 Genie 3),之后开发者也将以 Gemini API 和 Google AI Studio 的早期访问合作伙伴身份加入。目前尚未公布日期或价格。
Genie 4 单次会话能运行多久?
目前会话时间仍然较短。官方说一致性只能维持“较短的会话”;据 TechCrunch 对发布简报会的报道,保持场景一致性的时长上限约为两分钟,是 Genie 3 的两倍。
Genie 4 会生成声音吗?
会——并非在成品视频上叠加音轨。环境音、音乐和口语对话都是作为世界的一部分随每一帧生成的,角色会实时回应你以及彼此之间的互动。
那么,Genie 4 理解物理规律吗?
DeepMind 在发布演示中展示了空气动力学和碰撞等物理场景,但尚未公布可公开验证的 Genie 4 物理基准测试。针对视频类模型的独立评估——例如 Physics-IQ——不断发现,视觉上的逼真并不意味着具备物理理解能力。应当把逼真度视为代理指标,而非证明。
世界模型会取代游戏引擎吗?
短期内不会,很可能也不会完全取代。生成式世界在探索和原型设计方面已经胜在速度和多样性;但它们还无法提供游戏引擎所保证的确定性、设计可控性和长时间运行能力。更可能的近期趋势是协作:用生成式世界进行创意构思、模拟和智能体训练;用游戏引擎进行正式制作和确定性游玩。
来源
- Genie 4:新一代世界模拟(Google DeepMind,2026 年 10 月 27 日)
- Genie 3:世界模型的新前沿(Google DeepMind,2025 年 8 月 5 日)
- Genie 2:大规模基础世界模型(Google DeepMind,2024 年 12 月 4 日)
- Google 的 Genie 4 世界模型加入音频、更逼真的世界和实时引导功能(TechCrunch,2026 年 10 月 27 日)
- 生成更大、更好的世界 / Marble:多模态世界模型(World Labs)
- NVIDIA 与全球机器人领域领军企业携手,将物理 AI 带入现实世界(NVIDIA,2026 年 3 月 16 日)



