Google DeepMind 为 Gemini 推出智能体视频理解功能
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过动态检索帧、音频和转录文本,将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。
推荐理由:Gemini 新功能给出 token 与成本下降幅度及启用方式,读者可据此评估长视频分析流程的改动空间。
AI 视频生成与理解:文生视频模型、视频编辑工具与影视创作变革的追踪。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过动态检索帧、音频和转录文本,将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。
推荐理由:Gemini 新功能给出 token 与成本下降幅度及启用方式,读者可据此评估长视频分析流程的改动空间。
Google DeepMind 发布 Gemini Omni 1.1 Flash,面向开发者提供更可控的生成视频能力,通过 Gemini API 在 Google AI Studio 等平台开放。
推荐理由:原文列出场景延展、首尾帧指定、4K 放大等具体能力与开放入口,可据此评估生成视频在开发流程中的可控性。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款模型给出明确的延迟、单价与可用入口,读者可据此判断图像与视频生成流水线的成本变化。
Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并通过自然语言对话编辑视频。
推荐理由:Gemini 首个 Omni 系列模型发布,多模态输入加对话式视频编辑的入口值得关注。
Overworld 发布新一代实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广泛消费级硬件的 360p 档位。
推荐理由:Waypoint-1.5 用 720p/360p 双档位和消费级硬件本地运行把实时世界模型从演示推向可用。
Google DeepMind 最新生成音乐模型 Lyria 3 以 beta 形式在 Gemini 应用上线,用户输入文字或上传图片、视频即可生成 30 秒带歌词或纯器乐的曲目,并配 Nano Banana 生成的封面图。
推荐理由:官方披露 Lyria 3 在 Gemini 中的三项能力改进与 SynthID 音频核验入口,可据此判断生成音乐的可用边界。
Overworld 发布实时交互视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已在 Hugging Face Hub 上线,Waypoint-1-Small 可用,Medium 版即将推出。
推荐理由:Waypoint-1 把交互式世界模型的训练重点放在零延迟控制上,并公布推理库与运行性能数据,可据此判断实时视频生成的落地条件。
Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),用统一的编码器-解码器 Transformer 加查询机制,把点追踪、点云重建和相机位姿估计等 4D 任务收敛到单一框架。
推荐理由:官方给出的效率数据与统一查询架构,可用来对照此前需要多模型拼凑的 4D 重建流程。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,即使提示词简短也能生成更生动、有对白和叙事的视频,并改善角色身份、背景与物体跨场景一致性。
推荐理由:官方披露 Veo 3.1 Ingredients to Video 的一致性、竖屏与 1080p/4K 升级及上线渠道,便于判断视频工作流怎么变。
Hugging Face 发布 SmolVLM2 系列视频理解模型,包含 2.2B、500M 和 256M 三种参数规模,并同步支持 Transformers 与 MLX。
推荐理由:Hugging Face 发布三档小参数视频理解模型,并给出 iPhone、VLC 等端侧落地方式,可对照其内存与性能取舍。