Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型
Google DeepMind 发布 EmbeddingGemma 2,把文本、图像、音频、视频统一映射到同一嵌入空间,基于 Gemma 4 架构,参数 740M,采用 Apache 2.0 许可,面向端侧推理。
推荐理由:官方给出参数量、模块化设计与存储压缩细节,读者可据此判断端侧多模态检索的落地成本。
Google DeepMind 发布 EmbeddingGemma 2,把文本、图像、音频、视频统一映射到同一嵌入空间,基于 Gemma 4 架构,参数 740M,采用 Apache 2.0 许可,面向端侧推理。
推荐理由:官方给出参数量、模块化设计与存储压缩细节,读者可据此判断端侧多模态检索的落地成本。
Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 740M。Google 称其在多模态嵌入基准上超越参数量最高达其两倍的竞品,在 Massive Text Embedding Benchmark(Code)上得分 78.68,比前代 68.76 提升近 10 分。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,PyLate、Stanford-NLP ColBERT 以及 colpali-engine 视觉文档检索检查点均可通过同一套 API 加载。
推荐理由:原文给出多种 ColBERT 类检查点的统一加载方式,以及索引体积与检索收益之间的实测取舍,可据此决定是否替换现有稠密检索。
JetBrains 发布 Mellum2,一个从零训练、总参数 12B、每 token 仅激活 2.5B 的 MoE 模型,面向自然语言与代码任务,采用 Apache 2.0 许可证开源。官方称其推理速度比同规模模型快 2 倍以上,可用于路由、RAG、摘要、子智能体及私有化部署。模型已上线 Hugging Face,完整技术报告同步发布。
作者发布六款 Sentence Transformers CrossEncoder 重排模型(17m、32m、68m、150m、400m、1b),基于 Ettin ModernBERT 编码器,采用对 mixedbread-ai/mxbai-rerank-large-v2 打分的逐点 MSE 知识蒸馏训练。
Hugging Face 发布 Granite Embedding Multilingual R2 两款 Apache 2.0 多语言嵌入模型,均基于 ModernBERT。
Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。
推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。
Hugging Face 发布 vdr-2b-multi-v1 多语言嵌入模型,可将文档页面截图直接编码为稠密单向量,无需 OCR 或分块即可检索意、西、英、法、德五种语言的视觉文档。