让长时间运行的 NVIDIA TensorRT 引擎构建在 Python 或 C++ 中可观测、可取消
NVIDIA 提出让长时间运行的 TensorRT 引擎构建在 Python 或 C++ 中变得可观测、可取消，以解决构建过程无进度反馈的问题。TensorRT 引擎构建可能耗时数秒到数分钟，大型强类型模型、深层 tactic 搜索以及全新 GPU SKU 上的冷 timing cache 都会拉长构建时间。
#推理
#推理
今日 1 条NVIDIA Developer BlogAI 评分2121
Hugging Face Blog精选AI 评分8282 Thinking Machines 发布 Inkling 与 Inkling-Small 开源多模态模型
Thinking Machines Lab 在 Hugging Face 发布 Inkling 系列开源多模态大模型，Inkling 为 975B 总参数、41B 激活参数的 MoE 模型，原生接受图像、文本和音频输入，支持 1M 上下文。
推荐理由：首个约1T参数、1M上下文的开源原生多模态模型，附完整部署配置与基准对比可供参考。
Hugging Face BlogAI 评分3131 PyTorch 性能分析（第三部分）：剖析 attention 实现的性能表现
PyTorch 官方博客 "Profiling in PyTorch" 系列第三篇聚焦 attention，通过 naive attention、inplace 因果掩码、SDPA 和自定义 kernel 四种实现对比 profiler 追踪结果。
Hugging Face Blog精选AI 评分7777 vLLM 的 transformers 建模后端提速至原生实现水平
Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的吞吐量，覆盖 Qwen3-4B（单卡）、Qwen3-32B（张量并行）、Qwen3-235B-A22B-FP8（数据加专家并行，8×H100）三种规模。
推荐理由：官方给出三个 Qwen3 模型的实测对比，读者可了解无需移植即可获得原生级 vLLM 推理速度的具体路径。
MIT News · AIAI 评分2424 MIT 专访：智能体 AI 今天是什么，我们又希望它成为什么？
MIT News 专访 MIT EECS 副教授、CSAIL 成员 Phillip Isola，解析智能体 AI 与 ChatGPT、Claude 等生成式 AI 的区别。
Google DeepMind精选AI 评分6767 Google DeepMind 发布 DiffusionGemma：文本扩散模型推理最高提速 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散方式一次性生成 256 个 token，在专用 GPU 上文本生成最高提速 4 倍，单张 NVIDIA H100 上超过 1000 tokens/秒，RTX 5090 上超过 700 tokens/秒。
推荐理由：官方给出 4x 推理加速的实测数字与本地低并发场景边界，读者可据此判断它适合哪些交互式工作流。
Hugging Face Blog精选AI 评分6464 Hugging Face 详解连续批处理中的异步化：用 CUDA 流与事件消除 CPU-GPU 串行等待
Hugging Face 博客发布第二篇高效 LLM 推理系列文章，讲解如何在连续批处理中实现异步化：将 CPU 的批准备与 GPU 的计算解耦，用 H2D、compute、D2H 三个非默认 CUDA 流配合 CUDA event 跨流同步，并处理双缓冲防数据竞争与 carry-over 传递新 token。
推荐理由：以 CPU 与 GPU 串行浪费为主线，给出三流分离与 CUDA event 同步的异步批处理实现思路，可迁移到长序列推理部署优化。
Hugging Face BlogAI 评分1919 AWS 上基础模型训练与推理的构建模块
AWS 撰文解析基础模型训练与推理的系统架构，指出扩展已从预训练单曲线演变为预训练、后训练与测试时计算三条路线，三者对加速计算、高带宽低延迟网络和分布式存储提出趋同的基础设施需求。
Berkeley AI ResearchAI 评分4040 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队梳理了从自一致性、Best-of-N、Tree of Thoughts 到 ThreadWeaver、ParaThinker、GroupThink、Hogwild!
Hugging Face BlogAI 评分3636 vLLM V0 迁移到 V1：RL 训练中先对齐正确性再改目标函数
PipelineRL 将推理引擎从 vLLM V0 迁移到 V1 时出现训练-推理不匹配，修复 logprobs 语义、V1 运行时默认值、inflight 权重更新路径和 fp32 lm_head 四处后 V1 与 V0 参考轨迹重新对齐。
Hugging Face Blog精选AI 评分8080 DeepSeek-V4 发布：百万 token 上下文面向智能体长任务
DeepSeek 发布 V4，Hub 上有 DeepSeek-V4-Pro（1.6T 总参数、49B 激活）和 DeepSeek-V4-Flash（284B 总参数、13B 激活）两个 MoE checkpoint，均支持 1M-token 上下文窗口。
推荐理由：原文拆解了 V4 混合注意力与工具调用后训练设计，可判断长上下文智能体工作负载的成本取舍。
Berkeley AI ResearchAI 评分3636 GRASP：面向世界模型长时程规划的梯度规划器
Berkeley AI Research 提出 GRASP，一种面向学习型世界模型的梯度规划器，通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上加入随机性做探索、并重塑梯度以避免经由高维视觉模型的脆弱"状态-输入"梯度，从而让长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Berkeley AI ResearchAI 评分3636 Berkeley AI Research 提出 SPEX 与 ProxySPEX，大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 和 ProxySPEX，用于在大规模 LLM 中识别驱动模型输出的关键特征、数据与内部组件交互。SPEX 利用交互的稀疏性和低阶性，将搜索问题转化为稀疏恢复问题，可扩展到比既有方法大几个数量级的规模；ProxySPEX 进一步利用层次结构，以约少 10 倍的消融次数达到与 SPEX 相当的性能。
Google DeepMindAI 评分3434 AlphaGo 十年：从围棋到生物学，再到更多领域的影响
Google DeepMind 回顾 AlphaGo 击败围棋世界冠军十周年，称其标志现代 AI 时代的开端。此后其搜索与强化学习方法衍生出 AlphaGo Zero、AlphaZero，并推动 AlphaFold 2 破解蛋白质折叠难题，AlphaFold 数据库已被超 300 万研究人员使用，相关成果于 2024 年获得诺贝尔化学奖。
Google DeepMind精选AI 评分7474 Google DeepMind 发布 Gemini 3.1 Flash-Lite，主打高性价比
Google DeepMind 发布 Gemini 3 系列中最快、最具成本效率的模型 Gemini 3.1 Flash-Lite，今日起通过 Gemini API 在 Google AI Studio 面向开发者预览，企业可通过 Vertex AI 使用。
推荐理由：原文给出价格、速度与基准分数，可判断这款轻量模型在高频工作负载中的取舍。
Google DeepMind精选AI 评分7575 Google DeepMind 发布 Gemini 3.1 Pro，ARC-AGI-2 得分 77.1%
Google DeepMind 于 2 月 19 日发布 Gemini 3.1 Pro，定位为面向复杂任务的核心推理升级版，在 ARC-AGI-2 上取得 77.1% 的已验证得分，超过 3 Pro 推理表现的两倍。
推荐理由：官方给出 ARC-AGI-2 的 77.1% 得分与多产品线开放范围，可据此判断核心推理能力的提升幅度。
Google DeepMind精选AI 评分7777 Gemini 3 Deep Think 升级：面向科研与工程推理
Google DeepMind 发布 Gemini 3 Deep Think 的重大升级，这一专用推理模式面向科学、研究与工程难题。
推荐理由：官方给出了 Gemini 3 Deep Think 在多项学术与竞赛基准上的成绩，并首次开放 Gemini API 早期访问。
Google DeepMind精选AI 评分7878 Google DeepMind 用 Gemini Deep Think 加速数学与科学发现
Google DeepMind 发布两篇论文，介绍由 Gemini Deep Think 驱动的数学研究智能体 Aletheia 在专业研究问题上的表现。该智能体带有自然语言验证器，可迭代生成、验证和修正解答，并能承认无法求解，同时借助 Google 搜索和网页浏览梳理文献以避免虚假引用。
推荐理由：两篇论文给出 Gemini Deep Think 驱动的数学研究智能体 Aletheia 在专业数学、物理与计算机科学问题上的实际协作案例。
Hugging Face BlogAI 评分4343 解锁 GPT-OSS 的智能体 RL 训练：一次实践复盘
Hugging Face 博客复盘了用 verl 框架对 GPT-OSS-20B 做智能体强化学习训练的过程，该模型此前已被验证性能接近 OpenAI o3-mini 和 o4-mini，但尚未验证是否适合智能体 RL 训练。
Hugging Face BlogAI 评分4242 微软 DIFF Transformer V2 发布：解码速度追平标准 Transformer
微软发布 Differential Transformer V2（DIFF V2），在保持 KV head 数量不变的前提下将 query head 翻倍，解码速度与标准 Transformer 相当，且无需自定义 attention kernel。
Google DeepMind精选AI 评分8484 Google DeepMind 发布 Gemini 3 Flash 模型
Google DeepMind 发布 Gemini 3 Flash，主打前沿智能与速度，在 GPQA Diamond 上得分 90.4%、Humanity's Last Exam 无工具得分 33.7%、MMMU Pro 上得分 81.2%、SWE-bench Verified 上得分 78%。
推荐理由：Gemini 3 Flash 以 Pro 级推理配合 Flash 级延迟和价格，提供了速度与智能取舍的实测基准。
Hugging Face BlogAI 评分4747 Intel 发布 DeepMath：基于 Qwen3-4B 和 smolagents 的轻量数学推理 Agent
Intel AI Software Group 发布 DeepMath，一个基于 Qwen3-4B Thinking、用 smolagents 构建并用 GRPO 微调的数学推理 Agent，模型输出短 Python 片段在沙箱中执行后回填推理。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 Transformers v5：简化模型定义并强化推理与量化
Hugging Face 发布 Transformers v5 首个候选版本 v5.0.0rc-0，主题为互操作性。官方称该库每日 pip 安装量已超 300 万次，累计安装超 12 亿次，支持的模型架构从 v4 时的 40 个增至 400 余个，Hub 上兼容的模型 checkpoint 超过 75 万个。
推荐理由：官方长文给出 v5 在模块化定义、推理接口与量化上的改动，读者可据此判断迁移成本与生态兼容性。
Hugging Face BlogAI 评分4343 从第一性原理理解 continuous batching：LLM 推理吞吐优化是如何推导出来的
Hugging Face 博客从注意力机制与 KV 缓存出发，用吞吐量优化推导出 continuous batching：通过并行处理多段对话、完成即换出来提升高负载场景下的推理性能。
Hugging Face BlogAI 评分5555 ServiceNow 发布 Apriel-H1：把 15B 推理模型蒸馏成 Mamba 混合架构，吞吐提升 2.1 倍
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构，旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐，总训练量 76.8B token。
Berkeley AI ResearchAI 评分3535 无需 TD 学习：用分治法扩展 off-policy 强化学习
一篇新研究提出以分治法（divide and conquer）替代时序差分（TD）学习的 off-policy 强化学习算法，将 Bellman 递归次数从线性降到对数级，从而扩展至长时程任务。
Hugging Face BlogAI 评分3939 MiniMax M2 的智能体泛化：对齐基准还是对齐真实世界？
MiniMax 在 Hugging Face 博客复盘 M2 后训练中的智能体对齐经验：智能体泛化不只是适配新工具，而要适应工具信息、系统提示词、用户提示词、环境与工具返回等全流程扰动。
Hugging Face BlogAI 评分2424 在 Intel Core Ultra 上加速 Qwen3-8B 智能体：用深度剪枝草稿模型提升推理速度
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上以 Qwen3-0.6B 作草稿模型对 Qwen3-8B 做投机解码，生成速度提升约 1.3 倍。
Hugging Face BlogAI 评分2828 Writer 发布 Palmyra-mini 系列开源小模型，含两款推理版本
Writer 发布 Palmyra-mini 系列三款开源模型，参数规模 1.5B 至 1.7B，包括非思考基础模型 palmyra-mini 与两款经 Chain of Thought 训练的推理变体 palmyra-mini-thinking-a、palmyra-mini-thinking-b。
Hugging Face Blog精选AI 评分6060 Hugging Face 分享 gpt-oss 在 transformers 中可用的优化技巧
Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术，包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。
推荐理由：Hugging Face 公开 gpt-oss 适配 transformers 的升级细节，读者可据此判断量化、并行与缓存优化如何落地。
Hugging Face BlogAI 评分5353 NVIDIA 发布 600 万多语言推理数据集与 Nemotron Nano 2 9B
NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2，将原有英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言，并保留原始英文推理链。
Hugging Face BlogAI 评分3939 Kimina-Prover-RL：Lean 4 形式化定理证明开源训练流程，含 1.7B 与 0.6B 模型
AI-MO 与 Kimi 开源 kimina-prover-rl 训练流程，基于 DeepSeek-R1 式"先推理后生成"范式，兼容 Verl 框架，并随附 1.7B 与 0.6B 两个模型。
Hugging Face BlogAI 评分2929 Hugging Face 推出 TextQuests：LLM 玩文字冒险游戏能有多强？
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏评测 LLM 的智能体能力，每局最多执行 500 步，分带官方提示与无提示两轮运行，并用游戏进度和 Harm 两项指标打分。
Hugging Face Blog精选AI 评分8282 OpenAI 发布开源权重模型系列 gpt-oss
OpenAI 发布开源权重模型系列 gpt-oss，包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b，均为采用 MXFP4 4-bit 量化的 MoE 模型，使用 Apache 2.0 许可。
推荐理由：Hugging Face 汇总了 gpt-oss 两个开源权重模型的参数、部署路径与生态适配情况，适合了解本地运行条件。
Hugging Face BlogAI 评分3737 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测真实未来事件来评测其推理能力，避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 预测市场，每周分别产出约 5 个新闻问题和 8 个市场问题，答案可随时间验证。
Hugging Face BlogAI 评分4848 Kimina-Prover：在大规模形式推理模型上应用测试时 RL 搜索
Numina 与 Kimi 团队发布定理证明模型 Kimina-Prover-72B，基于 Qwen2.5-72B 并用 Kimi k1.5 的 RL 流程训练，在 miniF2F 基准上以 TTRL 搜索框架达到 92.2% 的 SOTA 通过率。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 SmolLM3：3B 多语言长上下文推理模型
Hugging Face 发布 SmolLM3，一个 3B 全开源模型，训练于 11.2T tokens，支持英语、法语、西班牙语、德语、意大利语和葡萄牙语，上下文窗口达 128k。
推荐理由：Hugging Face 公开了 3B 模型的完整训练配方与数据配比，读者可了解小模型在长上下文和双模式推理上的工程路径。
Hugging Face BlogAI 评分4040 长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管大量 LLM，服务超 50 个应用、每天消耗逾 1 亿 token 并生成超 1000 万 token。由于 vLLM 默认的 chunked-prefill 会为单个请求顺序调度 prefill，一个长提示词即可阻塞后续请求的 prefill 队列，抬高首 token 延迟。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成提速 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Caching，使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自定义视觉语言模型的精简代码库，KV Cache 在 Attention 块、语言模型层和生成循环三处启用，把逐步生成从全序列重算改为增量更新。文中的经验适用于所有自回归语言模型生成。
Hugging Face Blog精选AI 评分6161 Falcon-H1 发布六款开源混合注意力 SSM 模型
Falcon-H1 系列发布 6 个开源模型，覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B，均含 base 与 instruct 版本，采用 Apache 2.0 宽松许可。
推荐理由：Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer，可据此判断端侧与长上下文场景的取舍。