跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 21–40 条 · 共 64 条
5月17日周日
  1. Google DeepMind74

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini 和 Chrome

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图片、视频、音频验证从 Gemini app 扩展到 Search,并将在未来几周进入 Chrome,Gemini 中该功能已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini 和 Chrome,并开放云端检测 API,读者可了解内容溯源工具的实际入口与合作方。

5月16日周六
4月28日周二
  1. Hugging Face Blog74

    NVIDIA 发布 Nemotron 3 Nano Omni:面向文档、音频与视频智能体的长上下文全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni 全模态理解模型,在文本、图像基础上加入原生音频与视频理解,覆盖文档分析、语音识别、长音视频理解、GUI 智能体和通用多模态推理五类任务。

    推荐理由:原文给出了架构细节、多模态基准成绩与吞吐数据,读者可据此判断开源全模态模型在文档、音视频与 GUI 智能体场景的可用性。

4月13日周一
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics-ER 1.6

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型的一次重大升级,增强了空间推理与多视角理解,并新增仪表读数能力。

    推荐理由:官方给出新版本在空间推理、成功检测与仪表读数上的能力变化,以及 API 与 AI Studio 的开放入口。

4月9日周四
4月3日周五
4月2日周四
  1. Hugging Face Blog86

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。

    推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。

4月1日周三
3月31日周二
  1. Hugging Face Blog60

    IBM 发布 Granite 4.0 3B Vision 文档理解多模态模型

    IBM 发布 Granite 4.0 3B Vision,一款面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式挂载在 Granite 4.0 Micro 之上,在 Hugging Face 以 Apache 2.0 许可开放。

    推荐理由:IBM 以 LoRA 适配器形式发布 3B 文档视觉模型,并给出图表与表格抽取的对比基准,便于判断小模型在企业文档场景的可用性。

3月26日周四
3月17日周二
3月4日周三
2月27日周五
  1. Google DeepMind82

    Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image)图像模型

    Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image),把 Nano Banana Pro 的先进世界知识、推理与画质带到 Flash 级速度,可调用 Gemini 知识库与网页搜索实时信息渲染特定主体,并支持图内文字渲染与翻译。

    推荐理由:官方给出 Nano Banana 2 相对前代的能力清单与全线产品入口,便于判断速度与保真度取舍。

2月19日周四
  1. Google DeepMind64

    Gemini 应用上线 Lyria 3,可用文字或图片生成 30 秒音乐

    Google DeepMind 最新生成音乐模型 Lyria 3 以 beta 形式在 Gemini 应用上线,用户输入文字或上传图片、视频即可生成 30 秒带歌词或纯器乐的曲目,并配 Nano Banana 生成的封面图。

    推荐理由:官方披露 Lyria 3 在 Gemini 中的三项能力改进与 SynthID 音频核验入口,可据此判断生成音乐的可用边界。

1月16日周五
1月14日周三
  1. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,新增竖屏输出与 1080p/4K 升采样

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,即使提示词简短也能生成更生动、有对白和叙事的视频,并改善角色身份、背景与物体跨场景一致性。

    推荐理由:官方披露 Veo 3.1 Ingredients to Video 的一致性、竖屏与 1080p/4K 升级及上线渠道,便于判断视频工作流怎么变。

1月6日周二
  1. Hugging Face Blog68

    NVIDIA 发布 Cosmos Reason 2,面向物理 AI 的开源推理视觉语言模型

    NVIDIA 发布面向物理 AI 的开源推理视觉语言模型 Cosmos Reason 2,提供 2B 和 8B 两种参数规模,在 Physical AI Bench 和 Physical Reasoning 榜单上位列开源模型第一。

    推荐理由:Cosmos Reason 2 给出 2B/8B 开源权重的具体升级项与评测数据,可据此判断物理 AI 推理模型的当前水位。

1月5日周一
12月17日周三
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3 Flash 模型

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度,在 GPQA Diamond 上得分 90.4%、Humanity's Last Exam 无工具得分 33.7%、MMMU Pro 上得分 81.2%、SWE-bench Verified 上得分 78%。

    推荐理由:Gemini 3 Flash 以 Pro 级推理配合 Flash 级延迟和价格,提供了速度与智能取舍的实测基准。

11月20日周四
  1. Google DeepMind62

    Google 在 Gemini 应用中上线 AI 图片验证功能

    Google DeepMind 在 Gemini 应用中上线 AI 图片验证功能,用户上传图片并提问即可检测是否由 Google AI 生成或编辑,背后依据的是 2023 年推出的 SynthID 数字水印技术。

    推荐理由:Gemini 应用新增图片 AI 来源验证入口,并给出 SynthID 水印规模与 C2PA 扩展路径等关键细节。