Google DeepMind 发布 Gemini Omni 1.1 Flash,增强生成视频控制能力
Gemini Omni 1.1 Flash lets you build with more control
Google DeepMind 发布 Gemini Omni 1.1 Flash,面向开发者提供更可控的生成视频能力,通过 Gemini API 在 Google AI Studio 等平台开放。
原文列出场景延展、首尾帧指定、4K 放大等具体能力与开放入口,可据此评估生成视频在开发流程中的可控性。
2026年8月27日
|
Omni 现在可提供工作室级视频制作能力,包括扩展场景、首尾帧插值、清晰的 4K 超分辨率、更快的原型制作等。
Anish Nangia
Google DeepMind 产品经理
Alisa Fortin
Google DeepMind 产品经理
收听文章
[[duration]] 分钟
此内容由 Google AI 生成。生成式 AI 仍处于实验阶段
今天,我们推出 Gemini Omni 1.1 Flash,一套全新的创意控制与生成式视频能力,以支持开发者。Gemini Omni 将真实世界推理引入生成式创作,而今天的更新让 Omni 1.1 可通过 Google AI Studio 中的 Gemini API 达到生产级、可供专业使用。
无论你是在构建生成式视频工作流、创意工具,还是媒体编辑软件,这些更新都能让生成式视频更可控、迭代更快,并为真实部署打磨到位。以下是新增内容概览:
扩展场景,实现更长叙事
场景扩展让你可以基于已有视频,从其结束处无缝继续生成画面。
借助 Omni 1.1,模型现在可以分析最多 10 秒的先前上下文——相比此前只能参考最后一秒的模型是一大飞跃。其结果是视觉一致性和叙事连贯性得到改善,让你可以构建更长的故事或拓展到新的创意方向。你可以按 10 秒为单位扩展视频,累计总长度最多可达 40 秒。
以下是如何使用 Gemini API 扩展你的场景:
from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="gemini-omni-1.1-flash",
previous_interaction_id=previous_video_interaction.id,
input=[
{"type": "text", "text": "Continue the scene."}
],
response_format={
"resolution": "360p",
},
)指定首帧和尾帧
通过指定镜头的起始帧和结束帧,实现流畅的转场和运镜。Omni 1.1 可在两个关键帧之间生成连续视频,非常适合复杂的环绕运镜、变焦转场或无缝循环片段。
提示词 1:一位身着米色西装、风格时尚的鼓手在宏伟大厅中演奏一套红色架子鼓的特写低角度镜头,随着摄像机快速横摇至侧面,画面展现出另一位年长的萨克斯手正在演奏,旁边还有一位身着白色服装的芭蕾舞者在柔和的紫色舞台灯光下旋转。一个连续镜头,无跳切。
提示词 2:摄像机变焦进入电视屏幕,我们在其中看到与开头相同的女性和相同场景。无缝视频。一个连续镜头,无跳切。
以 360p 更高效地草拟视频
以 360p 分辨率生成轻量预览,速度最高可提升 60%*,成本仅为 Omni 1.1 标准 720p 分辨率的三分之一。这有助于快速原型制作、分镜迭代以及在开发者平台中快速渲染。
*与 720p 分辨率相比,基于 360p 分辨率的系统吞吐量,生成速度最高可提升 60%
提示词:虹彩海洋硅藻的微观视图,展现精致的玻璃状硅质外壳,具有令人惊叹的自然对称性。色彩从深火山琥珀色和暖铜色,到鲜艳的绿松石色和紫罗兰色,仿若大地与海洋的丰富调色板。微小而精致的结构在干净的暗场背景上柔和发光。高保真科学成像,锐利细节,有机纹理,显微摄影。在整个视频中保持显微镜镜头效果。
最高可超分辨率至 4K
使用 Omni 1.1 生成精致的 1080p 或 4K 高分辨率输出,可直接用于专业制作。
提示词 1:游动的鱼,跟踪镜头
提示词 2:一只小花栗鼠从屏幕左侧的树林里窜出,好奇地嗅着空气,然后从屏幕右侧窜出画面
提示词 3:电影级微距特写,精致的枝条上长满鲜艳的金橙色日本枫叶,在柔和而有节奏的秋风中轻轻沙沙作响、摇曳生姿。阳光透过半透明的叶片,营造出温暖、发光的效果。浅景深,梦幻的焦外散景背景,超精细纹理,照片级真实感,4K。
在多模态输入中添加视频参考
在构建场景时参考最多三秒的视频,让你能够基于视频参考保持视觉上下文和角色一致性。
提示词:使用上传的三段舞者视频,并将他们替换为所提供的角色。让他们表演各自参考视频中的舞蹈,全部一起出现在所提供图像中的大型开放空间里。
狗狗角色 dog.png 应表演 dance3.mp4 中的古典舞。章鱼 octo.png 应表演 dance1.mp4 中的嘻哈舞,而熊 bear.png 应表演 dance2.mp4 中的霹雳舞。最终结果应为一个连续镜头,没有场景切换。
可用于构建的启发式概念
以下是一些想法,展示开发者如何将这些新能力应用于自定义工具和创意工作流。
看看客户如何将 Omni Flash 投入生产
我们的客户已经通过 Agent Platform API 使用 Gemini Omni Flash 驱动真实世界的生产。探索他们创作的视频,并在下方了解他们如何使用该模型。
立即使用 Gemini Omni 1.1 Flash 构建
Gemini Omni 1.1 Flash 的定价表。
Omni 1.1 正在整个 Google 开发者生态系统中逐步推出:
- 在 Google AI Studio 中开始构建:直接在 Google AI Studio 中试用 Omni 1.1。
- 在 Gemini Enterprise Agent Platform 上构建:企业可以直接通过 Agent Platform API 使用 Omni 1.1 进行构建。
- 探索开发者文档:查看官方文档、cookbook 和提示词指南,了解如何将场景扩展、视频参考和放大功能集成到你的应用中。
从今天起,Omni 1.1 也已在 Google Flow 中面向全球所有 Google AI Plus、Pro 和 Ultra 订阅者提供。场景扩展已在 Gemini app 中面向全球所有 Google AI Plus、Pro 和 Ultra 订阅者提供。
在收件箱中获取 Google 的最新消息
订阅我们的新闻通讯,获取产品更新、活动信息、特别优惠等更多内容。
你的信息将根据Google 的隐私政策使用。你可以随时退出。
来源:Google DeepMind · deepmind.google