IBM 发布 Granite 4.0 3B Vision 文档理解多模态模型

今天我们很高兴宣布 Granite 4.0 3B Vision，这是一个专为企业文档理解而设计的紧凑型视觉语言模型（VLM）。它专为从复杂文档、表单和结构化视觉内容中可靠地提取信息而打造。Granite 4.0 3B Vision 在以下能力上表现出色：

表格提取：从文档图像中准确解析复杂的表格结构（例如多行、多列等）
图表理解：将图表和图形转换为结构化的机器可读格式、摘要或可执行代码
语义键值对（KVP）提取：在多样化的文档布局中识别并定位具有语义意义的键值字段对

该模型以 LoRA 适配器的形式构建在 Granite 4.0 Micro（我们的稠密语言模型）之上，使视觉与语言保持模块化，从而支持纯文本回退，并无缝集成到混合流水线中。它继续支持视觉语言任务，例如根据图像生成详细的自然语言描述（例如“详细描述这张图片”）。该模型可以单独使用，也可以与 Docling 配合使用，通过深度视觉理解能力增强文档处理流水线。

Granite 4.0 3B Vision 是如何构建的

Granite 4.0 3B Vision 的性能源于三项关键投入：通过一种新颖的代码引导数据增强方法构建的专用图表理解数据集、一种新颖的 DeepStack 架构变体（可实现高细节视觉特征注入），以及使该模型在企业部署中保持实用性的模块化设计。

ChartNet：教模型真正理解图表

图表对视觉语言模型（VLM）来说是一项挑战，因为理解图表需要同时对视觉模式、数值数据和自然语言进行推理，而这是大多数 VLM 难以很好处理的组合，尤其是在空间精度至关重要时——例如从折线图中读取精确数值。为弥补这一差距，我们开发了 ChartNet：一个专为图表解读与推理而构建的百万级多模态数据集，我们即将发布的 CVPR 2026 论文将对此进行详细描述。

ChartNet 使用代码引导的合成流水线生成 170 万个多样化图表样本，涵盖 24 种图表类型和 6 个绘图库 [见图 1]。它的独特之处在于，每个样本都由五个对齐组件构成——绘图代码、渲染图像、数据表、自然语言摘要和问答对——为模型提供了一种深度跨模态的视角，不仅了解图表看起来是什么样，更了解它意味着什么。该数据集还包括人工标注和真实世界子集，并经过视觉保真度、语义准确性和多样性筛选。

其成果是一种训练资源，使 VLM 从仅仅描述图表，转向真正理解图表所编码的结构化信息——并在不同模型规模、架构和任务上带来一致的提升。

图 1：ChartNet 的合成数据生成流水线。

DeepStack：更智能的视觉特征注入

大多数 VLM 仅在单个位置将视觉信息注入其语言模型，这迫使模型同时处理高层语义和细粒度空间细节。Granite 4.0 3B Vision 通过 DeepStack Injection 采取了不同的方法：抽象视觉特征被路由到较早的层以进行语义理解，而高分辨率空间特征则被馈送到较后的层以保留细节。其结果是，该模型既能理解文档中包含什么，也能理解其位置——这对于表格提取、图表理解和 KVP 解析等布局与内容同样重要的任务至关重要。如需完整的技术解析，请参阅模型卡中的 Model Architecture 部分。

模块化：一个模型，两种模式

Granite 4.0 3B Vision 以 LoRA 适配器的形式打包在 Granite 4.0 Micro 之上，而非作为独立模型。在实践中，这意味着同一部署可以同时服务多模态和纯文本工作负载，并在不需要视觉能力时自动回退到基础模型。这使企业集成保持简单直接，同时不牺牲性能。

性能表现

图表：在经人工验证的 ChartNet 基准上使用 LLM-as-a-judge 进行评估时，Granite 4.0 3B Vision 在所有受评估模型中（包括规模显著更大的模型）取得了最高的 Chart2Summary（86.4%）分数[见图 2]。它还在 Chart2CSV（62.1%）上排名第二，仅次于 Qwen3.5-9B（63.4%），而后者规模是其两倍多。

图 2：Granite 4.0 3B Vision 在 chart2csv 和 chart2summary 上的性能，使用 LLM-as-a-judge 与同类视觉语言模型进行比较。

表格：我们在两种设置下评估表格提取：裁剪表格（孤立区域）和整页文档（嵌入复杂布局中的表格）[见图 3]。基准套件包括 TableVQA-extract（裁剪表格图像）、OmniDocBench-tables（整页文档）和 PubTables-v2（裁剪和整页两种设置）。模型的任务是以 HTML 格式提取表格，并使用 TEDS 进行评分，该指标同时衡量结构和内容准确性。Granite 4.0 3B Vision 在所有受评估模型中于各项基准上均取得最强性能，在 PubTablesV2 上于裁剪（92.1）和整页（79.3）两种设置下领先，并在 OmniDocBench（64.0）和 TableVQA（88.1）分数上领先。

图 3：Granite 4.0 3B Vision 在裁剪和整页基准（TableVQA-extract、PubTables-v2、OmniDocBench-tables）上的表格提取性能，以 TEDS 衡量。

语义 KVP：VAREX 是一个专为区分小型提取模型而设计的基准，包含 1,777 份美国政府表单，涵盖从简单的平面布局到复杂的嵌套和表格结构。模型使用精确匹配（EM）进行评估，这是一个严格的指标，要求模型提取的键值对与真实标注相匹配。Granite 4.0 3B Vision 在零样本下达到 85.5% 的 EM 准确率。

如何使用

Granite 4.0 3B Vision 既可作为独立的视觉信息提取引擎运行，也可作为使用 Docling 的全自动文档处理流水线的一部分。该模型旨在支持跨多种文档类型和视觉格式的可扩展、准确提取。

1. 独立图像理解 Granite 4.0 3B Vision 可以直接在单张图像上运行，因此该选项适用于已有工作流、需要针对性视觉提取而无需修改上游系统的应用。这便于集成到现有自动化工作流中，适合轻量级、任务特定的工具（例如表单解析器、图表分析器等）。

2. 与 Docling 集成的文档理解流水线 Granite 4.0 3B Vision 还可以与 Docling 无缝集成，以支持完整的端到端文档理解。该模式可以提供：

使用 Docling 对多页 PDF 进行大规模处理
借助 Docling 自动检测、分割和裁剪图形、表格及其他视觉元素，并将裁剪干净的图像重定向到 Granite Vision 模型进行细粒度提取
高效的工作流，整体计算成本更低，吞吐量更快
更高的准确性、更可靠的提取效果，并显著提升大规模文档集合的处理效率

示例用例

表单处理：使用 KVP 能力从发票、表单和收据中提取结构化字段，或使用 image2text 功能生成图形的自然语言描述（例如“详细描述这张图像”）。
财务报告分析：使用 Docling 解析报告、检测图形并裁剪视觉元素。使用 Granite Vision 的 chart2csv、chart2code 处理图表，并使用 tables_json 能力处理表格，将其转换为结构化、机器可读的数据，从而实现可操作的洞察。
研究文档智能：利用 Docling 对密集的学术 PDF 进行 OCR 和版式解析，并将提取的图形传递给 chart2summary，将表格裁剪图像传递给 tables_html，从而在单一流水线中让视觉内容与自由文本一同可被发现。

立即试用

Granite 4.0 3B Vision 现已在 HuggingFace 上提供，基于 Apache 2.0 许可证发布。完整的技术细节、训练方法和基准测试结果可在模型卡片中查看。我们很想了解你用它构建了什么——请在 community 标签页中分享你的反馈。