英伟达团队从 Nemotron 3 出发，用监督微调、强化学习和反馈驱动的推理循环，让 Nemotron-3-Ultra-CC 在 IOI 2026 拿到 535.4/600，超过 361.12 的金牌线；通用版 Nemotron 3 Ultra 配合 SFT、RL 检查点在生成-验证-修正系统中于 IMO 2026 得到 30/42，超过 29 的官方金牌线。
推荐理由：原文公开了从 Nemotron 3 到 IOI、IMO 金牌级系统的完整微调配方与数据规模，可据此评估领域特化模型的可复现路径。
Hugging Face 的 Avijit Ghosh、Margaret Mitchell 与 Samir Passi 在 9 月 6 日发布于 ArXiv 的论文中指出，当前 AI 智能体的审批流程实际上把人类挤出循环，人沦为只给权限、无从思考的"肉工具"。
Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox，它让智能体在隔离的 MCP 工具会话中运行，按终端数据库状态和副作用评分，而非最终回复，每个任务重复 20 次。
推荐理由：通过 507 个有状态业务工作流的 20 次重复运行，揭示模型单次成功率与稳定完成率之间的差距。
Hugging Face 发布论文 ProvenanceGuard，一种面向基于 MCP 的 LLM 智能体的来源感知事实性验证层，用于捕捉"跨来源混淆"——即某个说法在证据池中为真、却被归因到错误来源。
Hugging Face 发布 BenchMIRT，一种在单条题目层面审计 LLM 基准的方法，基于多维 IRT 从 100 个 LLM、16 个基准、超 34K 道题的评测结果中自动分离出安全与通用推理两个维度。
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》，提出量化感知修复（QAH）：不再从恢复后的 bfloat16 checkpoint 蒸馏，而是直接从压缩前的原始模型蒸馏，教师与学生架构和精度均可不同。
Hugging Face 发布研究，提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型，发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写，被静音的年份甚至被补全为 2011。
推荐理由：文章用三类探针量化 ASR 模型对基准本身的过拟合，并给出可复用的检出方法。
Hugging Face 举办 ICML 2026 开放复现挑战赛，1,221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体在 19 天内发布 6,816 份 Trackio logbook，覆盖 2,226 篇论文、约占大会 34%。
Multiverse Computing 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》。
DharmaOCR 在专为葡萄牙语设计的 OCR 基准上得分 0.925，超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。
Hume 推出 Real World VoiceEQ 语音 AI 基准，覆盖 40 多个主流闭源与开源语音模型，横跨 ASR、TTS、S2S 与语音理解四类共 15+ 维度、60+ 指标。
Hugging Face 发布开源基准 ScarfBench，用于评测 AI 智能体在企业 Java 跨框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态。
Hugging Face 团队提出 DiScoFormer（Density and Score Transformer），单次前向传播即可同时估计分布的密度与 score，无需针对新分布重新训练。
Hugging Face 与 Treble Technologies 上线首个开放的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并按近场、远场高/中/低 SNR 等条件评估模型。
Hugging Face 发布 QIMMA，一个先对基准本身做质量验证、再评测模型的阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，其中 99% 为原生阿拉伯语内容。
Hugging Face 将 RLVE 框架扩展到多轮、工具增强的电商对话，推出 EcomRLVE-GYM，包含商品发现、替代品、购物车搭建、退货、订单跟踪、政策问答、捆绑规划和多意图旅程 8 个可验证环境。
Hugging Face 发布 VAKRA，一个基于工具的可执行基准，用于评估 AI 智能体在类企业环境中的推理与行动能力。VAKRA 提供 8000+ 本地托管 API 与覆盖 62 个领域的真实数据库，包含 API 链式调用、工具选择、多跳推理等四类任务，推理链需 3-7 步，且模型整体表现较差。
Hugging Face 推出端到端语音智能体评测框架 EVA，首次同时评估任务成功率与对话体验，输出 EVA-A（准确率）和 EVA-X（体验）两项分数，并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集（覆盖航班改签、取消、代金券等），并对 20 个级联与音频原生系统（如 S2S 模型、LALM）给出基准结果，发现准确率与体验之间存在一致的权衡。
Hugging Face 发布 AssetOpsBench，一个面向工业资产管理场景的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
Intel AI Software Group 发布 DeepMath，一个基于 Qwen3-4B Thinking、用 smolagents 构建并用 GRPO 微调的数学推理 Agent，模型输出短 Python 片段在沙箱中执行后回填推理。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构，旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐，总训练量 76.8B token。
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评测嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域，每个数据集至少 1k 文档和 50 queries，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测。
NVIDIA 发布 Nemotron-Personas-Japan，一个面向日本主权 AI 的开放合成画像数据集，共 600 万条自然日语画像，采用 CC BY 4.0 授权，可商用与非商用。
Meta 发布 GAIA 的后续基准 Gaia2 以及开源框架 Meta Agents Research Environments（ARE），用于运行、调试和评测智能体。
推荐理由：Meta 发布 Gaia2 基准与 ARE 环境源码，给出多模型在模糊、噪声与时间推理任务上的实测结果，便于对照自身智能体能力。
SandboxAQ 开源 Structurally Augmented IC50 Repository（SAIR），包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构，每个结构都配有来自 ChEMBL 或 BindingDB 的实验测定 IC₅₀ 数据，以 CC BY 4.0 许可免费开放。
AI-MO 与 Kimi 开源 kimina-prover-rl 训练流程，基于 DeepSeek-R1 式"先推理后生成"范式，兼容 Verl 框架，并随附 1.7B 与 0.6B 两个模型。
Hugging Face 推出 FilBench，一个覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言的评测套件，含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并基于 Lighteval 构建，已作为社区任务上线官方 Lighteval 仓库。
Hugging Face 推出 3LM（علم），首个专门评估阿拉伯语 LLM 在 STEM 与代码生成能力的多组件基准，包含 865 道真实 STEM 选择题、1744 道合成高难度题，以及译成阿拉伯语的 HumanEval+ 和 MBPP+ 代码任务。
Hugging Face 发布 FutureBench，通过让 AI 智能体预测真实未来事件来评测其推理能力，避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 预测市场，每周分别产出约 5 个新闻问题和 8 个市场问题，答案可随时间验证。
Hugging Face 宣布举办 NeurIPS 2025 E2LM 竞赛，面向科学知识领域构建能在 LLM 训练早期（约 200B tokens 前）捕捉有效信号的新基准。
Hugging Face 发布 ScreenSuite，称其为面向 GUI Agent 最全面的评测套件，整合 13 个基准，覆盖感知、Grounding、单步动作与多步智能体四类能力。
推荐理由：原文给出 13 个基准的构成与纯视觉评测设定，可据此了解 GUI Agent 评测如何统一与本地复现。
Hugging Face 分享研究，提出让 CodeAgent 以结构化 JSON 同时输出 thoughts 和可执行 code，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards Space，将阿拉伯语 AI 评测集中到一处，目前上线 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
Open R1 发布第三期更新，包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克（IOI）的新基准，以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由：Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型，可看蒸馏训练的具体做法与教训。
Yaak 与 Hugging Face 的 LeRobot 团队联合发布 Learning to Drive（L2D），被称为全球最大的开源自动驾驶数据集，包含来自德国 30 个城市、60 辆驾校电动车、历时 3 年采集的 90+ TB 多模态数据，约 5000 小时驾驶记录。
推荐理由：L2D 开源数据集包含 5000+ 小时德国驾校数据，可用于 LeRobot 端到端自动驾驶模型的训练与闭环测试。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，用 DeepSeek R1 在 512 张 H100 本地生成 400k 道题的解答，过滤后保留 220k 道含正确推理轨迹的题目。
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数从 1B 到 70B 以上，来自 180 多个机构，其中超 70% 为 chat 和微调模型，11% 为预训练模型，超半数模型小于 7B。
Adyen 和 Hugging Face 联合推出 DABstep，一个包含 450+ 真实数据分析任务的多步推理数据智能体基准，最强推理型智能体准确率仅 16%。
Hugging Face 的 Open-R1 项目启动一周后发布首份更新，称已能复现 DeepSeek 在 MATH-500 上报告的评测分数，并公开了评测排行榜。
推荐理由：Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节，可供复现者参考。