文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 开源许可的多模态模型，可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平，可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争，并已集成进 Transformers。
推荐理由：8B 开源多模态模型在视觉问答基准上对标更大模型，并附指令微调数据集，可据此判断社区多模态微调的起点。
Hugging Face 发布 IDEFICS，一个基于公开数据和模型构建的开源视觉语言模型，可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本，提供 base 和 instructed 两种变体，各有 9B 和 80B 参数规模。
推荐理由：Hugging Face 公开了 Flamingo 的开源复现细节，读者可了解其数据构成与双版本参数规模。
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO（7 亿对）以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型，这是 ALIGN 首次免费开源，也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由：首个开源 ALIGN 模型连同 700M 训练数据集一并放出，读者可据此判断复现视觉语言建模的可行性。
Hugging Face 将 Perceiver IO 加入 Transformers，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由：原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例，读者可据此判断跨模态统一架构的可用性。