Runway 实时世界模型 GWM Worlds 2 与 WorldPrompt 技术解析
Runway 发布研究预览 GWM Worlds 2,引入 WorldPrompt 格式以支持实时交互式视频与音频生成。该模型通过自回归扩散和蒸馏技术实现 720p 24fps 的实时流式输出,允许用户通过提示词控制场景中的角色、相机和环境事件。
推荐理由:通过Runway高管访谈,揭示了实时世界模型在自回归生成、蒸馏加速及因果一致性上的工程挑战与Agent应用潜力。
AI 视频生成与理解:文生视频模型、视频编辑工具与影视创作变革的追踪。
Runway 发布研究预览 GWM Worlds 2,引入 WorldPrompt 格式以支持实时交互式视频与音频生成。该模型通过自回归扩散和蒸馏技术实现 720p 24fps 的实时流式输出,允许用户通过提示词控制场景中的角色、相机和环境事件。
推荐理由:通过Runway高管访谈,揭示了实时世界模型在自回归生成、蒸馏加速及因果一致性上的工程挑战与Agent应用潜力。
Google Research 发布 AI video co-director 框架,基于 Gemini 和 Veo 构建多智能体系统以解决长视频生成的语义漂移和级联失败问题。
推荐理由:提出多智能体框架解决长视频语义漂移,通过全局优化与视觉记忆实现分钟级叙事一致性。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。
推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过原生视频工具动态搜索、扫描和检查目标片段,替代固定帧率的静态处理。
推荐理由:官方给出 token 与成本降幅及准确率变化,并说明在长视频场景下与静态处理的取舍差异。
Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者带来一批生成视频创作控制能力,通过 Gemini API 在 Google AI Studio 提供。
推荐理由:官方给出场景延展、首尾帧插值与 4K 上采样等具体能力与开放入口,可据此判断生成视频工作流的变化。
Google DeepMind 发布 Nano Banana 2 Lite 和 Gemini Omni Flash 两款模型,前者是 Nano Banana 系列中速度最快、成本最低的图像模型,4 秒生成文本到图像,每张 1K 图像 0.034 美元;后者支持高质量视频生成与对话式编辑,输出视频定价为每秒 0.10 美元。
推荐理由:两款模型同日开放开发者入口,并给出延迟、单价与能力边界,便于评估图像到视频的串联工作流。
Google DeepMind 发布 Gemini Omni 家族首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并通过自然语言多轮对话编辑视频。
推荐理由:Gemini Omni Flash 把视频生成与对话式编辑合并到同一模型,读者可据此判断多模态创作入口的变化。