EmbeddingGemma 2 采用 Apache 2.0 许可
Simon Willison 对 EmbeddingGemma 2 采用 Apache 2.0 许可表示赞赏。他指出嵌入模型涉及存储成千上万甚至数百万条嵌入向量,若模型闭源托管,厂商一旦停服,用户就得付费重新计算所有存量向量,而 OpenAI 在 2024 年 4 月的补偿承诺并不可普遍依赖。他更愿付费使用托管版本,同时保留自行运行开放权重或另寻供应商的余地。
Simon Willison 对 EmbeddingGemma 2 采用 Apache 2.0 许可表示赞赏。他指出嵌入模型涉及存储成千上万甚至数百万条嵌入向量,若模型闭源托管,厂商一旦停服,用户就得付费重新计算所有存量向量,而 OpenAI 在 2024 年 4 月的补偿承诺并不可普遍依赖。他更愿付费使用托管版本,同时保留自行运行开放权重或另寻供应商的余地。
Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 740M。Google 称其在多模态嵌入基准上超越参数量最高达其两倍的竞品,在 Massive Text Embedding Benchmark(Code)上得分 78.68,比前代 68.76 提升近 10 分。
AI 公司 Reflection 发布其首个免费开放模型 Beam,这是一个混合专家模型,每 token 激活 501B 总参数中的 23B,主打编码、逻辑推理与智能体任务,用更低算力对标 DeepSeek 和 Qwen 的开源模型。
NASA 与 IBM Research 联合多家学术机构发布 NASA-IBM Lunar Foundation Model,称其为最早的开源月球科学基础模型之一。
Hugging Face 开源 AstaBrief 8B,一个基于 Qwen3-8B 微调、可将研究问题与检索文献片段生成带引用报告的模型。
Google DeepMind 于 9 月 8 日发布 AlphaGenome Atlas,这是一个在线仓库,预先计算了参考人类基因组全部 90 亿种单碱基变异的 AlphaGenome 预测结果。
Hugging Face 推出 NeoMME,包含 260M 和 800M 两个多语言多模态编码器,不用独立预训练视觉塔或因果语言模型,由单个双向 Transformer 同时处理文本 token 与原始图像 patch,并以掩码离散扩散目标从零训练。
微软研究院推出 GigaPath-Flash 和 GigaTIME-Flash 两款高效病理基础模型,均以 Apache 2.0 许可证开放。
NVIDIA 发布开源视觉语言模型 Ising Calibration 1.5,可解读量子处理器的诊断输出并判断其调优方式,实现基于 AI 的 QPU 自动校准。该版本增强了上下文学习能力,无需先前的训练样本即可分析陌生的诊断结果。
PaddleOCR 的 PP-OCRv6 已在 HF Mirror 上线,提供 tiny、small、medium 三档模型,参数规模从 1.5M 到 34.5M,其中 medium 和 small 单模型支持 50 种语言。
JetBrains 发布 Mellum2,一个从零训练、总参数 12B、每 token 仅激活 2.5B 的 MoE 模型,面向自然语言与代码任务,采用 Apache 2.0 许可证开源。官方称其推理速度比同规模模型快 2 倍以上,可用于路由、RAG、摘要、子智能体及私有化部署。模型已上线 Hugging Face,完整技术报告同步发布。
Hugging Face 发布 OlmoEarth v1.1 地球观测模型系列,通过将 Sentinel-2 各分辨率合并为单一 token 缩短序列长度,在保持 v1 性能的同时将计算成本最多降低 3 倍。该系列提供 Base、Tiny、Nano 三种规模,权重与训练代码均已开放,部分任务存在性能回退。
Hugging Face 发布 Granite Embedding Multilingual R2 两款 Apache 2.0 多语言嵌入模型,均基于 ModernBERT。
Hugging Face 推出 AprielGuard,一个 8B 参数的安全护栏模型,可检测 16 类安全风险与提示注入、越狱、记忆投毒、多智能体攻击等对抗攻击,并覆盖工具调用和推理链等智能体工作流场景。该模型支持推理与非推理两种模式,兼顾可解释分类与生产环境的低延迟需求。
Hugging Face 推出 Ettin,首个用相同数据(2T tokens)、架构和训练配方训练的 SoTA 配对编码器与解码器模型套件,参数覆盖 17M-1B。
Numina 与 Kimi 团队发布定理证明模型 Kimina-Prover-72B,基于 Qwen2.5-72B 并用 Kimi k1.5 的 RL 流程训练,在 miniF2F 基准上以 TTRL 搜索框架达到 92.2% 的 SOTA 通过率。
NVIDIA Llama Nemotron Nano VL 已上架 Hugging Face,这是一款 8B 视觉语言模型,面向智能文档处理与 OCR。
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线,共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸,各有 base 和 instruct 变体。
推荐理由:原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式,可据此判断本地部署门槛。
阿联酋 TII 基于 Falcon 3 架构推出 7B 参数模型 Falcon-Arabic,支持阿拉伯语、英语等多语言。该模型支持 32,000 tokens 上下文,在 OALL v2 基准上超越同规模阿拉伯语 LLM,甚至优于体积大至 4 倍的模型,并覆盖 RAG 等长文档任务。
Falcon-LLM 团队发布 Falcon-Edge 系列 1.58bit 语言模型,基于 BitNet 架构,提供 1B 和 3B 两种规模,各有 base 与指令微调版本,用约 1.5 Tera Tokens 内部数据预训练。
语言技术实验室发布 Visual Salamandra,把 70 亿参数的 Salamandra 大语言模型扩展至图像和视频多模态任务,并以 SigLIP-So400m 编码器、2 层 MLP 投影器与 late-fusion 架构实现视觉-语言对齐。
DeepSeek-V3 的更新版 DeepSeek-V3-0324 本周出现在 Hugging Face Hub 上,架构与原始 V3 相同,许可证由自定义模型许可改为 MIT。
推荐理由:梳理了 DeepSeek-V3 更新版在数学与代码基准上的提升幅度,并给出本地部署与量化方案。
Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个规模,作为任何 BERT 类模型的即插即用替代。
推荐理由:从架构到训练的完整技术拆解,并附论文、预训练 checkpoint 与微调路径,便于判断能否替换现有 BERT 类编码器。
IBM 联合普林斯顿、CMU、UIUC 发布推理高效的混合 Mamba2 模型 Bamba-9B,基于 2.2T tokens 完全开放数据训练,在 vLLM 中吞吐量提升 2.5 倍、延迟加速 2 倍。
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层,以 5500GT 数据训练,权重以 TII Falcon Mamba 7B License 1.0 开源。
IBM Research 与 Hugging Face 团队合作,将基于 MLP-Mixer 架构的轻量级时间序列模型 PatchTSMixer 发布到 Transformers 库中,支持多变量预测、分类和回归,并可预训练后迁移到下游任务。
Hugging Face 发布 aMUSEd,一个非扩散的文生图模型,是 Google MUSE 的开源复现版,采用 Masked Image Model 方法,推理步数更少,模型约 800M 参数。它已集成进 diffusers,发布了研究预览版并采用 OpenRAIL 许可,官方称生成质量并非最佳,同时提供训练和微调代码。
Mistral 发布 Mixtral 8x7B,采用 MoE 架构,含 base 与 Instruct 版本,支持 32k token 上下文,HumanEval 得分 40.2%,在多数基准上追平或超过 GPT-3.5,并以 Apache 2.0 许可开放。
推荐理由:Mistral 开源 MoE 模型登顶开放权重榜,文中量化数据可帮助读者判断本地部署门槛。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型减少 35% 和 55%,图像保真度接近原模型。模型以 Realistic-Vision 4.0 为教师模型,在 LAION Art Aesthetic 数据集上训练,推理速度最高快 100%。权重和代码均已发布在 Hugging Face。
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。