TII 发布 Falcon Perception 感知模型与 Falcon OCR

TL;DR — Falcon Perception 是一个 0.6B 参数的早期融合 Transformer，用于从自然语言提示中进行开放词汇的定位与分割。该模型使用混合注意力掩码，将图像块 + 文本作为单一序列处理，并通过小型结构化 token 接口和轻量级输出头生成可变数量的实例。在 SA-Co 上，Falcon Perception 达到 68.0 Macro-F1（SAM 3 为 62.3），主要剩余差距在于存在性校准（MCC 0.64 对 0.82）。我们还推出了 PBench，一个按能力（属性、OCR 引导消歧、空间约束、关系）以及按密集长上下文拥挤场景细分的诊断基准。

我们还发布了 Falcon OCR，一个 0.3B 参数的模型，在 olmOCR 基准和 OmniDocBench 上分别达到 80.3 和 88.6 的分数，同时拥有所有开源 OCR 模型中最高的吞吐量。

本文是一篇简短、实用的总结，介绍我们构建了什么、为什么这样构建，以及过程中学到的东西。

问题：为什么感知系统最终变成了流水线？

许多开放词汇感知系统被构建为模块化流水线：一个（通常是冻结的）视觉骨干提取特征，一个独立的融合/解码阶段将其与语言结合，还有额外组件负责匹配和后处理。这一系列设计在许多场景下效果很好，但存在权衡：难以干净地扩展，难以将改进归因到正确的组件，并且随着我们为每种失败模式添加新修复，很容易积累复杂性。

我们提出了一个更简单的问题：如果我们选择正确的注意力模式、输出接口和训练信号，单个早期融合 Transformer 骨干能否同时处理感知和语言建模？

在我们的实验中，答案基本上是可以。本文的其余部分描述了主要设计选择及其背后的证据。

架构：早期融合、混合注意力与高效密集接口

单个自回归 Transformer 处理由图像块、文本和任务 token 组成的统一序列。 模型按固定顺序预测对象属性：<coord> → <size> → <seg>。 边界框坐标和尺寸通过专用头解码，并作为傅里叶特征重新注入。 高分辨率分割掩码通过 <seg> token 与上采样图像特征之间的点积生成。

一个骨干，两种行为

其核心是，Falcon Perception 是一个密集 Transformer，从第一层起就在共享参数空间中处理图像块和文本 token。我们没有采用独立的视觉骨干加后期融合解码器，而是保留单个骨干，并依赖掩码和轻量级输出接口，使密集预测问题变得可行。

图像和文本具有不同的结构：像素是 2D 的，受益于双向上下文，而预测接口本质上是顺序的。我们通过混合注意力掩码来解决这个问题：

• 图像 token以双向方式关注所有其他图像 token，构建全局视觉上下文（就像视觉编码器那样）。
• 文本与任务 token对它们之前的一切进行因果注意力——包括完整的视觉前缀以及之前的文本。

这使得同一主干网络在图像 token 上可以像双向视觉编码器一样工作，同时仍然支持对任务 token 进行自回归预测。

感知链：面向密集输出的由粗到细监督

密集感知不是固定大小的预测问题：一张图像可能包含零个实例，也可能包含数百个。自回归生成提供了干净的变长接口，但完全自回归的密集生成（例如逐个 token 生成多边形或高分辨率掩码）会迅速变得昂贵。

我们使用一个小型结构化接口——感知链（Chain-of-Perception），它将每个实例分解为三个步骤：

<coord> → <size> → <seg>

1. 坐标 token：模型首先预测实例的中心——解决它在谈论哪一个对象。
2. 尺寸 token：然后是空间范围——解决它有多大。
3. 分割 token：最后，一个单一的嵌入向量，与上采样后的图像特征做点积后，即产生全分辨率的二值掩码。

这个顺序是刻意设计的。先确定几何信息可以减少歧义（“是哪个实例？”），并使掩码预测步骤更接近于在已确定对象条件下的像素细化。

专用头，开销极小

主干网络是共享的，而解码使用针对输出类型定制的轻量级头：

• 坐标与尺寸头使用傅里叶特征编码：通过随机高斯投影将连续坐标映射到高维正弦空间。这克服了神经网络的频谱偏差，比仅用离散分箱获得更精确的定位。解码后的坐标被重新注入序列，作为后续 token 的条件。

• 分割头计算 <seg> token 的隐藏状态与内容感知的上采样图像特征之间的点积。由于 <seg> token 是在几何信息之后产生的，并且能够访问早期融合的视觉上下文，我们可以避免基于解码器的实例分割训练中常见的独立掩码查询机制和匈牙利匹配。

PBench：为隔离缺失能力而设计的基准

现有的指代表达式基准（如 RefCOCO）已经饱和——模型经常达到 90% 以上——而且它们混淆了出错的原因。模型失败是因为它无法读取文本？无法理解空间关系？无法处理拥挤场景？

我们推出 PBench，一个诊断性基准，按所需的主要能力对样本进行分类：

每个样本针对一个主导能力：OCR 提示避免空间限定词，空间提示避免图像内文字消歧。这产生的是能力画像，而不是一个不透明的单一分数，也更容易决定下一步该在何处投入（数据、训练课程或后训练）。

训练：蒸馏、大规模数据与三阶段配方

多教师蒸馏

Falcon Perception 不是从随机权重开始训练（在我们的消融实验中，这对分割不稳定），而是通过多教师蒸馏进行初始化。两个强大的视觉教师提供互补信号：

• DINOv3（ViT-H）：对分割至关重要的强局部特征
• SigLIP2：用于开放词汇理解的语言对齐特征

蒸馏得到的初始化在 ImageNet-1k 上达到 74.25% 零样本准确率，在 Pascal VOC 上达到 85.11% 线性探测 mIoU，为感知特定训练之前提供了强大的视觉基础。

数据：5400 万图像、1.95 亿正表达、4.88 亿难负样本

我们通过多阶段流水线构建训练集：

1. 通过 DINOv3 嵌入对网络抓取图像进行层次聚类，以确保概念覆盖均匀。
2. VLM 驱动的列举为每张图像生成密集的目标描述，并按 PBench 复杂度级别分类（60% 基础，40% 高级）。
3. 负样本挖掘生成语义、视觉和细粒度难负样本，以对抗幻觉。
4. 集成共识——SAM 3、Qwen3-VL-30B 和 Moondream3 必须一致（IoU > 0.8）才会自动接受。
5. 人工验证——分歧样本交给标注员，从而找回使自动化系统困惑的难样本。

我们保持正负样本严格 1:1 的比例。这使存在性校准成为一等目标：模型应能可靠地表示“不存在”，而不只是在高置信时绘制掩码。

三个阶段（总计 700 GT）

阶段 1——上下文列举（450 GT）：模型学习自回归地列举场景清单——预测文本表达及其位置。查询之间的完全因果注意力使模型能够学习目标共现（“叉子，然后是刀，然后是盘子”）。这建立起广泛的场景理解。

阶段 2——任务对齐（225 GT）：修改注意力掩码，使查询之间不再能相互看见，从而模拟推理时的独立查询。文本 token 上的损失被掩蔽，将梯度信号完全集中在存在性分类和定位上。此阶段从“场景理解”过渡到“回答这个特定问题”。

阶段 3——长上下文微调（10 GT）：一个短阶段，将每个表达的掩码限制提高到 600，并使用极小的恒定学习率。这使模型适应极端拥挤密度，同时不遗忘早期能力。

通过消融实验验证的关键设计选择：

• Muon 优化器用于专用头（相比 AdamW）——在 SA-Co 检测上提升 +4.8 分
• 实例的栅格顺序（相比随机/按大小）——在 SA-Co 上相比随机顺序提升 +10 分
• Gram 特征正则化——防止偏离蒸馏特征，使分割提升 +1.5 分
• 全局损失归一化跨 rank —— 修正 FSDP 中变长打包序列带来的偏差

结果

SA-Co：一流的掩码质量

在 SA-Co 开放词汇分割基准上，Falcon Perception（0.6B 参数）达到 68.0 Macro-F1，而 SAM 3 为 62.3，在属性密集型（+8.2）、食品与饮品（+12.2）以及运动器材（+4.0）划分上有大幅提升。同时，Falcon Perception 在存在性校准上落后于 SAM 3（MCC：0.64 对 0.82），这是目前最明显的待改进方向。

以下是一个示例输出——提示词 "Falcon" 生成了精确的实例掩码：

Falcon Perception 在指代表达式上也表现出色，能够正确分割视频每一帧中带黑色面包胚的汉堡：

PBench：随提示复杂度扩展

这正是早期融合设计展现出最大差异的地方：

在简单物体上，差距不大。当提示词变得更组合化——需要 OCR 引导消歧、空间约束或关系绑定——差距便随之扩大。

在我们的 PBench Dense 划分中，Falcon Perception（0.6B）大幅超越通用 VLM 基线（例如，在我们的评估设置中，72.6 对 Qwen3-VL-30B 的 8.9），并在空间和关系层级上达到或超过 8B 模型。

定性结果：OCR、空间、关系与密集

随着提示词变得更组合化——需要 OCR 引导消歧、空间约束、关系绑定，或扩展到数百个实例——早期融合的优势变得肉眼可见：

• OCR 引导定位（第 2 级）：当区分信号是写在物体上的文字时，Falcon Perception 能正确读取，而 SAM 3 无法区分。
• 空间理解（第 3 级）：当提示词指定空间关系时，Falcon Perception 会形成连贯的 2D 场景图。
• 关系推理（第 4 级）：当目标通过交互而非外观来定义时，Falcon Perception 能理解场景图。
• 密集场景：扩展到数百个实例：当场景极其拥挤时，自回归接口尤其有用，此时固定查询解码器可能触及实际限制。

第 2 级——OCR 引导定位：Falcon Perception 读取物体上的文字来消歧；SAM 3 无法做到。

"168 wine bottles"：Falcon Perception 识别出标有 "168" 的瓶子， 而 SAM 3 高亮了每一个瓶子。"Honolulu direction sign"：Falcon 读取文字以找到正确的指示牌。

第 3 级——空间理解：Falcon Perception 能解析空间约束；SAM 3 返回误报。

"Lower meat skewer on left grill"、"black car to the right of red car at bottom"、 "Belgian flag on the left"——Falcon Perception 根据空间约束解析出正确的实例。 SAM 3 对多个候选预测出误报。

第 4 级——关系推理：Falcon Perception 理解交互；SAM 3 忽略关系约束。

"Pastry next to brown round bread"、"person using phone"、 "person holding helmet in hand"——Falcon Perception 识别出正在交互的实例。 SAM 3 高亮了该物体类别的所有实例，忽略了关系约束。

密集场景：Falcon Perception 可扩展到数百个实例；SAM 3 的解码器会耗尽查询 token。

"雪雁"、"鸽子"、"彩色罐装饮料"——Falcon Perception 以自回归方式分割数百个实例。SAM 3 的固定尺寸解码器在超过约 200 个实例后会耗尽查询 token。

Falcon OCR：将早期融合扩展到文档理解

现代 OCR 早已超越了从干净扫描件中提取文本的范畴。如今的系统必须在一次处理中应对多栏布局、数学公式、表格、图表和多语言内容。大多数有竞争力的 OCR VLM 都采用一套熟悉的配方来应对：一个视觉编码器输入到一个单独的文本解码器，再加上特定任务的胶水模块。这些系统能用，但往往很大（1B–3B+ 参数）。

我们走了另一条路：复用 Falcon Perception 中相同的早期融合密集 Transformer，但从零开始专门为 OCR 训练一个更小的 0.3B 参数变体。成果就是 Falcon OCR——一个单一骨干网络，在共享参数空间中以相同的混合注意力掩码（图像 token 用双向，文本 token 用因果）处理图像 patch 和文本 token，并通过提示而非额外模块来切换任务。

我们从头开始训练（没有多教师蒸馏），因为 OCR 所需的视觉特征——细粒度字形识别、笔画级区分——与对分割有用的对象级特征差异很大。从头开始能让骨干网络从一开始就发展出针对文本优化的表征。

训练

我们在一个精心筛选的英文数据混合集上训练，涵盖三个核心任务：通用文档文本解析（数字 PDF、旧扫描件、打字文档）、数学与科学公式识别，以及表格结构识别。该混合集还包括手写体、真实场景文本，以及由渲染的 LaTeX 和 HTML 源生成的合成样本。训练目标是对结构化文本输出进行纯下一 token 预测。

训练分两个阶段进行：一个恒定的学习率的长时间预训练阶段，模型在该阶段学习跨所有元素类型的核心 OCR 能力；随后是一个短时间的余弦衰减微调阶段，学习率退火至接近零。

基准测试结果

我们在 olmOCR（跨多样输入的二元正确性检查）和 OmniDocBench（全页解析的连续指标）上进行评估。所有对比模型都显著更大和/或使用专有基础设施。Falcon OCR 仅以 0.3B 参数在 olmOCR 上达到 80.3%，与最佳系统相差 1.7 个百分点，并在多栏（87.1%）和表格（90.3%）上领先所有模型。在 OmniDocBench 上它取得 88.64 的总分，领先于 DeepSeek OCR v2、GPT 5.2 和 Mistral OCR 3。

服务吞吐量

在 0.3B 参数下，Falcon OCR 大约比 0.9B 级别的 OCR VLM 小 3 倍，这直接转化为更高的服务吞吐量。在单张 A100-80GB 上使用 vLLM 在高并发下测得：

紧凑的占用空间和 vLLM 集成（连续批处理、PagedAttention、优化的 CUDA 内核）使其在大规模文档数字化场景中切实可行，适用于需要处理数百万页文档的情况。

我们在结果中看到了什么

更广泛地说，这些结果表明，早期融合的单栈 Transformer 是 OCR 领域中“视觉编码器加文本解码器”方案的一种可行替代方案。一个骨干网络、共享参数空间、一个解码接口，以及更好的数据和训练信号，而非日益复杂的流水线。我们希望这能鼓励更多工作朝这个方向发展。

定性示例

Falcon OCR 处理在具有挑战性的真实世界条件下拍摄的图像，这些图像具有变化的光照、多样的文本语义（数学公式、结构化表格、手写笔记）以及复杂的文档布局，从而生成结构化的文本输出。

点击下方每个类别以展开。

手写与真实世界图像：在恶劣条件下准确转录手写文本和野外拍摄图像。

Falcon OCR 从具有可变光照、方向和内容复杂度的手写文档和真实世界照片中提取文本。

表格提取：在各种格式中忠实再现表格结构和单元格内容。

Falcon OCR 从各种格式和复杂度的表格中准确再现单元格条目和结构布局。

数学公式：准确识别不同符号复杂度级别的方程。

Falcon OCR 正确转录从简单方程到具有嵌套算子的多行推导式等数学表达式。

复杂文档布局：从多栏、混合内容文档中忠实提取文本。

Falcon OCR 在从具有多栏布局、图表和脚注的文档中提取文本时，保持阅读顺序和结构保真度。

推理：快速、实用且开放

该版本包含一个基于 PyTorch 的 FlexAttention 构建的推理栈，这使得表达自定义注意力模式并高效服务打包的变长序列变得切实可行。

分页推理引擎

• 分页 KV 缓存，带虚拟页表（不会因填充而浪费内存）
• 连续批处理：新序列在生成中途进入，完成的序列立即释放页面
• CUDA 图捕获用于解码循环
• 后台分词与 GPU 计算重叠
• HR 特征缓存：带固定内存缓冲区的 LRU 缓存，用于上采样图像特征的 GPU-CPU 异步传输——对同一图像的后续查询可跳过昂贵的上采样步骤

在我们基于 H100 的设置中，对于少量实例，典型延迟约为 ~100ms 预填充、~200ms 上采样（若已缓存则为 0ms）以及 ~50ms 解码。（这些数字取决于分辨率、序列长度和预测实例数量。）

Falcon-OCR 的 Docker 与 MLX 集成

对于 Falcon-OCR 模型，我们还提供了vLLM docker 服务器以实现快速部署，以及面向 Apple-Silicon 的MLX 集成

请查看 github 仓库了解详情。

更大的图景：感知领域的“苦涩教训”

Falcon Perception 刻意保持极简：一个主干网络、一个目标函数族，以及仅在输出连续且稠密处使用的小型头部。其基本假设是，大部分性能提升应来自数据、算力和训练信号，而非不断用专用模块扩展流水线。

该架构不阻碍任何显而易见的扩展路径：增加更多图像和更难提示以提升基础定位能力，混入纯文本数据以改善语言能力，增大上下文长度以应对更稠密的场景。它仍然只是一个序列模型。

Falcon Perception 由阿联酋阿布扎比技术创新研究院（TII）的 Falcon Vision 团队开发。

引用

如果您使用 Falcon-Perception，请引用

@article{bevli2026falcon,
  title   = {Falcon Perception},
  author  = {Bevli, Aviraj and Chaybouti, Sofian and Dahou, Yasser and Hacid, Hakim and Huynh, Ngoc Dung and Le Khac, Phuc H. and Narayan, Sanath and Para, Wamiq Reyaz and Singh, Ankit},
  journal = {arXiv preprint arXiv:2603.27365},
  year    = {2026},
  url     = {https://arxiv.org/abs/2603.27365}
}