跳到正文

#多模态

今日 4 条
4月3日周五
4月2日周四
  1. Hugging Face Blog86

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。

    推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。

4月1日周三
3月31日周二
  1. Hugging Face Blog60

    IBM 发布 Granite 4.0 3B Vision 文档理解多模态模型

    IBM 发布 Granite 4.0 3B Vision,一款面向企业文档理解的紧凑型视觉语言模型,以 LoRA 适配器形式挂载在 Granite 4.0 Micro 之上,在 Hugging Face 以 Apache 2.0 许可开放。

    推荐理由:IBM 以 LoRA 适配器形式发布 3B 文档视觉模型,并给出图表与表格抽取的对比基准,便于判断小模型在企业文档场景的可用性。

3月29日周日
3月26日周四
3月17日周二
3月4日周三
2月27日周五
  1. Google DeepMind82

    Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image)图像模型

    Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image),把 Nano Banana Pro 的先进世界知识、推理与画质带到 Flash 级速度,可调用 Gemini 知识库与网页搜索实时信息渲染特定主体,并支持图内文字渲染与翻译。

    推荐理由:官方给出 Nano Banana 2 相对前代的能力清单与全线产品入口,便于判断速度与保真度取舍。

2月25日周三
2月19日周四
  1. Google DeepMind64

    Gemini 应用上线 Lyria 3,可用文字或图片生成 30 秒音乐

    Google DeepMind 最新生成音乐模型 Lyria 3 以 beta 形式在 Gemini 应用上线,用户输入文字或上传图片、视频即可生成 30 秒带歌词或纯器乐的曲目,并配 Nano Banana 生成的封面图。

    推荐理由:官方披露 Lyria 3 在 Gemini 中的三项能力改进与 SynthID 音频核验入口,可据此判断生成音乐的可用边界。

1月30日周五
1月16日周五
1月14日周三
  1. Google DeepMind71

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,新增竖屏输出与 1080p/4K 升采样

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,即使提示词简短也能生成更生动、有对白和叙事的视频,并改善角色身份、背景与物体跨场景一致性。

    推荐理由:官方披露 Veo 3.1 Ingredients to Video 的一致性、竖屏与 1080p/4K 升级及上线渠道,便于判断视频工作流怎么变。

1月6日周二
  1. Hugging Face Blog68

    NVIDIA 发布 Cosmos Reason 2,面向物理 AI 的开源推理视觉语言模型

    NVIDIA 发布面向物理 AI 的开源推理视觉语言模型 Cosmos Reason 2,提供 2B 和 8B 两种参数规模,在 Physical AI Bench 和 Physical Reasoning 榜单上位列开源模型第一。

    推荐理由:Cosmos Reason 2 给出 2B/8B 开源权重的具体升级项与评测数据,可据此判断物理 AI 推理模型的当前水位。

1月5日周一
12月30日周二
12月24日周三
12月17日周三
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3 Flash 模型

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度,在 GPQA Diamond 上得分 90.4%、Humanity's Last Exam 无工具得分 33.7%、MMMU Pro 上得分 81.2%、SWE-bench Verified 上得分 78%。

    推荐理由:Gemini 3 Flash 以 Pro 级推理配合 Flash 级延迟和价格,提供了速度与智能取舍的实测基准。

12月10日周三
12月9日周二
11月21日周五
11月20日周四
  1. Google DeepMind62

    Google 在 Gemini 应用中上线 AI 图片验证功能

    Google DeepMind 在 Gemini 应用中上线 AI 图片验证功能,用户上传图片并提问即可检测是否由 Google AI 生成或编辑,背后依据的是 2023 年推出的 SynthID 数字水印技术。

    推荐理由:Gemini 应用新增图片 AI 来源验证入口,并给出 SynthID 水印规模与 C2PA 扩展路径等关键细节。

  2. Google DeepMind76

    Google DeepMind 发布 Gemini 3 Pro Image(Nano Banana Pro)图像模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),这是基于 Gemini 3 Pro 的高保真图像生成与编辑模型,开始在 Google AI Studio 和 Vertex AI 上面向开发者付费预览。

    推荐理由:DeepMind 官方给出 Gemini 3 Pro Image 的付费预览入口与分辨率、参考图数量等规格,可据此判断是否接入生产流程。

  3. Google DeepMind85

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布新一代图像生成与编辑模型 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro,强调更强的推理与世界知识、图像内多语言文字的准确渲染,以及最高 14 张图像融合、最多 5 人一致性保持。

    推荐理由:Google DeepMind 官方介绍 Nano Banana Pro 的能力边界与全平台上线节奏,便于判断图像生成工作流的变化。

11月19日周三
11月13日周四
11月11日周二
  1. Google DeepMind48

    Google DeepMind 新研究:让 AI 视觉模型更像人一样看世界

    Google DeepMind 在 Nature 发表新论文,提出一种三步对齐方法,用认知科学的"odd-one-out"任务发现视觉模型常依赖背景色、纹理等表层特征,与人类判断系统性错位。团队以 SigLIP-SO400M 为基座训练适配器作为"教师",生成含百万张图像、数百万条类人判断的 AligNet 数据集,再微调其他模型,使其内部表征按人类概念层级重新组织,从而提升鲁棒性与泛化能力。

10月21日周二
10月15日周三
10月2日周四
9月23日周二
9月9日周二
  1. Hugging Face Blog60

    mmBERT 发布:ModernBERT 走向大规模多语言

    Hugging Face Blog 介绍 mmBERT,一个在 1800 多种语言、3T+ tokens 文本上训练的大规模多语言编码器模型。它基于 ModernBERT 架构,采用 60→110→1833 语言的三阶段训练和从 30% 降到 5% 的动态掩码策略,首次在 XLM-R 基础上取得全面提升,推理吞吐量提升 2-4 倍并支持 8192 tokens。

    推荐理由:mmBERT 把 ModernBERT 扩展到 1800 多种语言,并给出三阶段训练和低资源语言学习的可迁移方法。

8月12日周二
8月7日周四
7月23日周三
7月9日周三