LLM 研究论文清单：2025 年 7 月至 12 月
Sebastian Raschka 发布 2025 年 7 月至 12 月的 LLM 研究论文整理清单，按推理模型、其他强化学习方法、推理时扩展方法、模型发布与技术报告、架构、高效训练、扩散语言模型、多模态与视觉语言模型、数据与预训练数据集等类别划分。
#推理
#推理
今日 4 条Ahead of AI · Sebastian RaschkaAI 评分1212
Google DeepMind精选AI 评分8484 Google DeepMind 发布 Gemini 3 Flash 模型
Google DeepMind 发布 Gemini 3 Flash，主打前沿智能与速度，在 GPQA Diamond 上得分 90.4%、Humanity's Last Exam 无工具得分 33.7%、MMMU Pro 上得分 81.2%、SWE-bench Verified 上得分 78%。
推荐理由：Gemini 3 Flash 以 Pro 级推理配合 Flash 级延迟和价格，提供了速度与智能取舍的实测基准。
Hugging Face BlogAI 评分4747 Intel 发布 DeepMath：基于 Qwen3-4B 和 smolagents 的轻量数学推理 Agent
Intel AI Software Group 发布 DeepMath，一个基于 Qwen3-4B Thinking、用 smolagents 构建并用 GRPO 微调的数学推理 Agent，模型输出短 Python 片段在沙箱中执行后回填推理。
Ahead of AI · Sebastian Raschka精选AI 评分7676 从 DeepSeek V3 到 V3.2：架构、稀疏注意力与强化学习更新
Sebastian Raschka 梳理了 DeepSeek V3 到 V3.2 的演进，指出 V3.2 沿用 V3.2-Exp 的架构，核心变化是加入 DeepSeek Sparse Attention（DSA）以提升效率。
推荐理由：以 DeepSeek 技术报告为线索，梳理 V3 到 V3.2 的架构与训练变化，帮助读者看清稀疏注意力和 RL 奖励设计的取舍。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 Transformers v5：简化模型定义并强化推理与量化
Hugging Face 发布 Transformers v5 首个候选版本 v5.0.0rc-0，主题为互操作性。官方称该库每日 pip 安装量已超 300 万次，累计安装超 12 亿次，支持的模型架构从 v4 时的 40 个增至 400 余个，Hub 上兼容的模型 checkpoint 超过 75 万个。
推荐理由：官方长文给出 v5 在模块化定义、推理接口与量化上的改动，读者可据此判断迁移成本与生态兼容性。
Hugging Face BlogAI 评分4343 从第一性原理理解 continuous batching：LLM 推理吞吐优化是如何推导出来的
Hugging Face 博客从注意力机制与 KV 缓存出发，用吞吐量优化推导出 continuous batching：通过并行处理多段对话、完成即换出来提升高负载场景下的推理性能。
Hugging Face BlogAI 评分5555 ServiceNow 发布 Apriel-H1：把 15B 推理模型蒸馏成 Mamba 混合架构，吞吐提升 2.1 倍
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构，旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐，总训练量 76.8B token。
Ahead of AI · Sebastian RaschkaAI 评分3636 超越标准 LLM：Sebastian Raschka 详解线性注意力混合架构等替代方案
Sebastian Raschka 撰文梳理标准 Transformer 之外的 LLM 替代架构，覆盖文本扩散模型、线性注意力混合架构和代码世界模型等方向。部分方案主打更高效率，另一些如代码世界模型意在提升建模性能。他此前发布的 Big LLM Architecture Comparison 聚焦主流 Transformer 架构，本次文章回应了读者对替代路线的疑问。
Berkeley AI ResearchAI 评分3535 无需 TD 学习：用分治法扩展 off-policy 强化学习
一篇新研究提出以分治法（divide and conquer）替代时序差分（TD）学习的 off-policy 强化学习算法，将 Bellman 递归次数从线性降到对数级，从而扩展至长时程任务。
Hugging Face BlogAI 评分3939 MiniMax M2 的智能体泛化：对齐基准还是对齐真实世界？
MiniMax 在 Hugging Face 博客复盘 M2 后训练中的智能体对齐经验：智能体泛化不只是适配新工具，而要适应工具信息、系统提示词、用户提示词、环境与工具返回等全流程扰动。
Ahead of AI · Sebastian RaschkaAI 评分4949 详解 LLM 评估的 4 种主要方法（附从零实现代码）
LLM 评估实践中主要有四种方法：选择题基准、验证器、排行榜和 LLM 评委，可归为基于基准与基于判断两类。选择题基准以 MMLU 为代表，覆盖 57 个学科、约 1.6 万道题，按准确率计分，如 16000 题答对 14000 题即 87.5%。文中用纯 PyTorch 从零实现的 Qwen3 0.6B（约需 1.5 GB 内存）演示了 MMLU 评分流程。
Hugging Face BlogAI 评分2424 在 Intel Core Ultra 上加速 Qwen3-8B 智能体：用深度剪枝草稿模型提升推理速度
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上以 Qwen3-0.6B 作草稿模型对 Qwen3-8B 做投机解码，生成速度提升约 1.3 倍。
Hugging Face BlogAI 评分2828 Writer 发布 Palmyra-mini 系列开源小模型，含两款推理版本
Writer 发布 Palmyra-mini 系列三款开源模型，参数规模 1.5B 至 1.7B，包括非思考基础模型 palmyra-mini 与两款经 Chain of Thought 训练的推理变体 palmyra-mini-thinking-a、palmyra-mini-thinking-b。
Hugging Face Blog精选AI 评分6060 Hugging Face 分享 gpt-oss 在 transformers 中可用的优化技巧
Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术，包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。
推荐理由：Hugging Face 公开 gpt-oss 适配 transformers 的升级细节，读者可据此判断量化、并行与缓存优化如何落地。
Hugging Face BlogAI 评分5353 NVIDIA 发布 600 万多语言推理数据集与 Nemotron Nano 2 9B
NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2，将原有英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言，并保留原始英文推理链。
Hugging Face BlogAI 评分3939 Kimina-Prover-RL：Lean 4 形式化定理证明开源训练流程，含 1.7B 与 0.6B 模型
AI-MO 与 Kimi 开源 kimina-prover-rl 训练流程，基于 DeepSeek-R1 式"先推理后生成"范式，兼容 Verl 框架，并随附 1.7B 与 0.6B 两个模型。
Hugging Face BlogAI 评分2929 Hugging Face 推出 TextQuests：LLM 玩文字冒险游戏能有多强？
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏评测 LLM 的智能体能力，每局最多执行 500 步，分带官方提示与无提示两轮运行，并用游戏进度和 Harm 两项指标打分。
Hugging Face Blog精选AI 评分8282 OpenAI 发布开源权重模型系列 gpt-oss
OpenAI 发布开源权重模型系列 gpt-oss，包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b，均为采用 MXFP4 4-bit 量化的 MoE 模型，使用 Apache 2.0 许可。
推荐理由：Hugging Face 汇总了 gpt-oss 两个开源权重模型的参数、部署路径与生态适配情况，适合了解本地运行条件。
Hugging Face BlogAI 评分3737 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测真实未来事件来评测其推理能力，避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 预测市场，每周分别产出约 5 个新闻问题和 8 个市场问题，答案可随时间验证。
Hugging Face BlogAI 评分4848 Kimina-Prover：在大规模形式推理模型上应用测试时 RL 搜索
Numina 与 Kimi 团队发布定理证明模型 Kimina-Prover-72B，基于 Qwen2.5-72B 并用 Kimi k1.5 的 RL 流程训练，在 miniF2F 基准上以 TTRL 搜索框架达到 92.2% 的 SOTA 通过率。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 SmolLM3：3B 多语言长上下文推理模型
Hugging Face 发布 SmolLM3，一个 3B 全开源模型，训练于 11.2T tokens，支持英语、法语、西班牙语、德语、意大利语和葡萄牙语，上下文窗口达 128k。
推荐理由：Hugging Face 公开了 3B 模型的完整训练配方与数据配比，读者可了解小模型在长上下文和双模式推理上的工程路径。
Hugging Face BlogAI 评分4040 长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管大量 LLM，服务超 50 个应用、每天消耗逾 1 亿 token 并生成超 1000 万 token。由于 vLLM 默认的 chunked-prefill 会为单个请求顺序调度 prefill，一个长提示词即可阻塞后续请求的 prefill 队列，抬高首 token 延迟。
The GradientAI 评分2424 AGI 不是多模态：为什么把模态拼起来无法通向通用智能
The Gradient 刊文《AGI Is Not Multimodal》指出，多模态路线把大量模块化网络堆叠起来看似通用，短期内无法实现具备感知运动推理、运动规划与社交协作能力的人类级 AGI。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成提速 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Caching，使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自定义视觉语言模型的精简代码库，KV Cache 在 Attention 块、语言模型层和生成循环三处启用，把逐步生成从全序列重算改为增量更新。文中的经验适用于所有自回归语言模型生成。
Hugging Face Blog精选AI 评分6161 Falcon-H1 发布六款开源混合注意力 SSM 模型
Falcon-H1 系列发布 6 个开源模型，覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B，均含 base 与 instruct 版本，采用 Apache 2.0 宽松许可。
推荐理由：Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer，可据此判断端侧与长上下文场景的取舍。
Hugging Face BlogAI 评分2424 Hugging Face 盘点 Vision Language Models 一年进展：更小、更强、更快
Hugging Face 发布博客回顾过去一年视觉语言模型（VLM）的关键变化：Qwen 2.5 Omni 采用 Thinker-Talker 架构，MiniCPM-o 2.6 以 8B 参数覆盖视觉、语音和语言；Moonshot AI 的 Kimi-VL-A3B-Thinking 用 16B 总参数、2.8B 激活参数的 MoE 解码器实现长链式推理。
OpenAI NewsAI 评分3232 OpenAI o3 如何自动化复杂工作流
OpenAI o3 可对复杂任务进行推理，帮助自动化多步骤工作流。该模型面向需要多步推理与流程编排的场景，官方展示了其在这类任务中的应用方式。
Hugging Face BlogAI 评分3434 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 Chat Template 比 Qwen-2.5 和 QwQ 更复杂：通过 enable_thinking 标志可将推理设为可选，设为 false 时模板插入空思考块，让模型跳过逐步推理，而 QwQ 等早期模型强制每轮生成思维链。
Hugging Face BlogAI 评分2727 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布开源量化工具 AutoRound，这是一种权重-only 的训练后量化（PTQ）方法，通过符号梯度下降联合优化权重的取整与截断范围，支持 INT2-INT8 低比特量化。
Hugging Face BlogAI 评分5858 ServiceNow 开源 PipelineRL：用 inflight 权重更新提升 LLM 强化学习吞吐
ServiceNow 开源实验性 RL 实现 PipelineRL，核心是在 RL 训练中做 inflight 权重更新：每次优化器更新后不停止推理就把新权重广播到推理服务器，从而在保持高推理吞吐的同时让数据接近 on-policy。
Hugging Face BlogAI 评分2727 Hugging Face 解析并发请求下的 LLM Prefill 与 Decode 优化
LLM 的 token 生成分为可并行处理提示词的 prefill 阶段和只能逐个生成的 decode 阶段，两者分别对应首 token 延迟和单 token 延迟。在 24 张 H100 组成的集群上自托管大模型时，decode 阶段受 GPU 显存带宽限制，可通过批处理多请求提升利用率。低并发下吞吐随并发数近线性增长，GPU 利用率饱和后吞吐不再提升，总吞吐与单请求延迟之间存在权衡。
Hugging Face BlogAI 评分4141 Hugging Face 推出 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 长上下文语言模型评估基准，已评估 59 个近期 LCLM，主张跨多样下游任务评估才能真正区分模型能力。
Hugging Face BlogAI 评分2828 Hugging Face 新增 Hyperbolic、Nebius AI Studio、Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、FLUX.1 等模型，并已集成 JS 和 Python 客户端 SDK。
Hugging Face Blog精选AI 评分6464 Open-R1 项目更新：复现 DeepSeek-R1 评测、训练管线与合成数据
Hugging Face 的 Open-R1 项目启动一周后发布首份更新，称已能复现 DeepSeek 在 MATH-500 上报告的评测分数，并公开了评测排行榜。
推荐理由：Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节，可供复现者参考。
Hugging Face BlogAI 评分3232 如何在 AWS 上部署并微调 DeepSeek 模型
Hugging Face 与 AWS 合作发布了在 AWS 上部署和微调 DeepSeek R1 系列模型的指南，涵盖通过 Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 和 EC2 Neuron 等服务的部署路径，以及基于 Hugging Face Training DLCs 的微调方法。
Hugging Face Blog精选AI 评分6060 Hugging Face 发起 Open-R1 项目，复现 DeepSeek-R1 数据与训练流程
Hugging Face 启动 Open-R1 项目，计划系统性复现 DeepSeek-R1 的数据与训练流程，补上官方未公开的数据集和训练代码。该计划分三步：蒸馏高质量推理数据集复现 R1-Distill 模型，复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程，并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域，并向社区开放代码与讨论。
推荐理由：DeepSeek-R1 开源权重但未公开数据与训练代码，该项目计划补上蒸馏与纯 RL 复现路径。
Hugging Face BlogAI 评分4747 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过统一的 TGI 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎，用户可按模型、硬件和性能需求切换后端。
Hugging Face Blog精选AI 评分7575 Answer.AI 与 LightOn 发布 ModernBERT：取代 BERT 的编码器模型系列
Answer.AI 与 LightOn 发布 ModernBERT，一个仅编码器模型系列，包含 base（149M 参数）和 large（395M 参数）两个规模，作为任何 BERT 类模型的即插即用替代。
推荐理由：从架构到训练的完整技术拆解，并附论文、预训练 checkpoint 与微调路径，便于判断能否替换现有 BERT 类编码器。
Hugging Face BlogAI 评分4949 IBM 联合普林斯顿、CMU、UIUC 发布混合 Mamba2 模型 Bamba-9B
IBM 联合普林斯顿、CMU、UIUC 发布推理高效的混合 Mamba2 模型 Bamba-9B，基于 2.2T tokens 完全开放数据训练，在 vLLM 中吞吐量提升 2.5 倍、延迟加速 2 倍。
Hugging Face BlogAI 评分2727 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Intel Xeon，Emerald Rapids，带 AMX）和 N2（第 3 代 Xeon，Ice Lake，仅 AVX-512）上对比测试文本嵌入与文本生成。