单相直接液冷如何支撑未来十年的超高密度计算
现代 AI 加速器单颗功耗可超 1,000 瓦、单个机架发热超过 100 千瓦，已远超风冷可实际散热的范围。单相直接液冷通过在高发热部件上安装冷板，让水或水乙二醇冷却液在闭环中带走热量，从而在更小占地内支撑更高的芯片与机架密度。白皮书还对比了单相直接液冷与两相液冷及浸没式冷却的差异。
#部署/工程
#部署/工程
今日 12 条IEEE Spectrum · AIAI 评分1616 NVIDIA Developer BlogAI 评分2626 Dense 与 MoE 模型对比：活跃参数、吞吐量与如何选择
稠密模型与 MoE 架构的核心差异在于参数激活方式：MoE 通过专家路由让 30B 参数模型每个 token 仅激活 3B 参数，却仍能利用大模型容量，Nemotron 3.5 Lightning 即为例证。文章围绕活跃参数、吞吐量两个维度展开对比，并给出两者各自的适用选择场景。
NVIDIA Developer BlogAI 评分2929 NVIDIA NVLink 6 如何为 AI 工厂提供多层韧性
NVIDIA 详解 NVLink 6 如何为 AI 工厂提供多层韧性。大规模 AI 训练中，集群内每块 GPU 每秒需在数千次集合通信中同步梯度；推理阶段非计划停机则会直接减少已服务的请求量，限制收入。
NVIDIA Developer BlogAI 评分1818 NVIDIA Groq 3 LPX 确定性执行如何驱动 NVIDIA Vera Rubin 上的高能效高交互推理
NVIDIA 详解 Groq 3 LPX 的确定性执行机制，说明其如何在 NVIDIA Vera Rubin 平台上实现高交互推理的能效提升。文章指出，AI 工厂的核心约束是功耗，因此每瓦性能而非原始吞吐量才是衡量 AI 平台价值的标准。平台各组件需在有限功耗预算内最大化输出。
NVIDIA Developer BlogAI 评分1515 NVIDIA FLARE 如何跨 Docker、Kubernetes 和 Slurm 扩展联邦学习
NVIDIA FLARE 支持在 Docker、Kubernetes 和 Slurm 上运行联邦学习，解决项目从单服务器、少量客户端扩展到共享基础设施时的编排问题。随着规模增长，GPU 需按需分配、多项研究需相互隔离，且每个参与机构都要保留对自身数据的控制权。
NVIDIA Developer BlogAI 评分2222 NVIDIA Transformer Engine 加速 JAX 中的 Dropless MoE 训练
NVIDIA 用 Transformer Engine 加速 JAX 中的 Dropless MoE 训练。MoE 已成为大规模 AI 模型训练的标志性架构趋势，DeepSeek、Qwen、Mixtral 都是通过条件计算以更低训练算力达到或超过稠密模型性能的 MoE 模型代表。
IEEE Spectrum · AIAI 评分7474 OpenAI 如何用自家 LLM 设计 Jalapeño 芯片
OpenAI 于 8 月 25 日完整公布首款 AI 加速器芯片 Jalapeño，提供最高 13.4 petaflops 的 4-bit 算力、232 GB 内存和 15.4 TB/s 带宽，并称其相比 Nvidia GB300 可将端到端延迟最多降低 3.6 倍。
MIT News · AIAI 评分3939 MIT 新方法 HardFlow 让生成式 AI 满足安全关键场景的硬约束
MIT 研究人员提出 HardFlow，让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束，同时提升输出质量，无需重新训练。该方法把硬约束采样重构为轨迹优化问题，只在最终输出上强制约束，而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中，HardFlow 实现完全约束满足，质量持续优于基线方法，计算时间与多数同类方法相当或更低。
MIT News · AIAI 评分3939 MIT 分拆公司 Atlas 用 AI 机器人将塑料垃圾变为建筑材料
MIT 分拆公司 Atlas Building Composites 开发出 AI 驱动的机器人制造平台，用无水塑料回收和大型复合材料增材制造技术，将一次性塑料与美产玻璃纤维熔合，打印地基、甲板、桁架等建材。
GitHub Blog · AI & MLAI 评分2929 GitHub 营销运营即代码：用 Copilot 把活动从策划到跟进全流程自动化
GitHub 日韩营销团队用 GitHub Issue 表单、Labels 和 Actions 把活动运营流水线化：Issue 表单收集活动字段，标签触发工作流，活动从单个 Issue 自动搭建、每天筛选报名者并在结束后自动收尾。
The Pragmatic EngineerAI 评分3636 The Pulse #191：AI 智能体推高 CPU 用量，CPU 短缺成新趋势
继 GPU 短缺和内存短缺之后，AI 智能体因大量使用工具而消耗更多 CPU，正带来新的 CPU 短缺趋势。The Pulse 第 191 期指出，如果未来需要更多算力，最好现在就锁定。
NVIDIA Developer BlogAI 评分2727 全栈 NIM 优化如何让 Nemotron 3 Ultra 多承载 2.5 倍用户
NVIDIA 通过全栈 NIM 优化，使 Nemotron 3 Ultra 在相同 GPU 基础设施上可服务的并发用户数提升 2.5 倍。该优化针对生产级 LLM 部署中的并发与交互性权衡，对提示词长、跨步骤复用上下文的智能体 AI 负载尤为关键。
NVIDIA Developer BlogAI 评分2424 NVIDIA BioNeMo Inference Runtime 实现高通量结构预测
NVIDIA BioNeMo Inference Runtime（BioIR）可在 NVIDIA GPU 上加速受支持的生物分子结构预测模型，同时保留熟悉的 PyTorch 工作流。它通过优化 kernel，并在适用场景下使用 CUDA Graphs 来加速模型推理，目标是把整个工作列表高效跑完现有的蛋白质组级别预测流程。
NVIDIA Developer BlogAI 评分2525 NVIDIA 与 Palantir Foundry 用 Nemotron 将供应链经验代码化
NVIDIA 基于 Nemotron 与 Palantir Foundry 将供应链专家经验代码化，以优化从晶圆出厂到首个 token 生成的全流程。其供应链绩效被拆分为两段：time-to-rack 指硅片离开晶圆厂到整机系统抵达数据中心，time-to-token 则涵盖供电、散热、网络与软件栈。
Hugging Face BlogAI 评分4242 TRL v1.14 用 Storage Bucket 替代 NCCL 实现 LoRA 异步 GRPO 训练
TRL v1.14 的 AsyncGRPOTrainer 现已支持只训练并同步 LoRA adapter 到 vLLM，训练与推理可跑在各自独立的 HF Jobs 上。
NVIDIA Developer BlogAI 评分3434 何时使用 Encode-Prefill-Decode 解耦加速多模态模型服务
NVIDIA 详解多模态推理优化技术 Encode-Prefill-Decode（EPD）解耦：将视觉编码阶段与 prefill、decode 阶段分离，在图像密集提示、短到中等长度输出以及量化 MoE 模型上收益最大。结合 NVIDIA Dynamo 使用，最多可实现 5 倍加速。
NVIDIA Developer BlogAI 评分2121 CUDA Toolkit 13.4 新增 Windows on Arm 支持并加强对共享 GPU 的控制
NVIDIA 发布 CUDA Toolkit 13.4，新增对 Windows on Arm 平台的支持，此前 CUDA 应用在 Arm 平台仅通过 Linux 获得支持。该版本还带来更多功能与性能改进，并加强对共享 GPU 的控制。
NVIDIA Developer BlogAI 评分3737 NVIDIA 推出 CUDA Rust：两条编写 GPU 内核的技术路线
NVIDIA 宣布推出 CUDA Rust，为 Rust 提供原生 GPU 编程支持，并给出两条编写 GPU 内核的路径。CUDA C++ 与 CUDA Python 已是成熟的企业级工具链，CUDA Rust 将在 2027 年及以后持续完善。该方向面向推理引擎、服务基础设施、驱动和智能体运行时等不断变化的 AI 系统层。
NVIDIA Developer BlogAI 评分3030 前沿推理走向边缘：如何在 NVIDIA Jetson 上部署并优化模型
NVIDIA 介绍如何在 Jetson 边缘硬件上部署并优化前沿推理与智能体模型。此前具备多步推理能力的模型体积过大，无法在边缘本地运行，开发者只能把推理绕经数据中心，带来网络依赖、成本上升和本可留在设备上的数据外泄风险。NVIDIA 表示这一限制正在被解除。
NVIDIA Developer BlogAI 评分1818 NVIDIA 如何跨联邦 Kubernetes 与 AI 平台传递用户身份
NVIDIA 介绍如何在联邦 Kubernetes 与 AI 平台之间传递用户身份：用户可从中央门户打开受治理数据集、启动 notebook、调用另一集群中的助手，但身份在每一步都要跨越控制面与数据面边界，传统单点登录在此失效。
The Pragmatic EngineerAI 评分6969 科技公司转向开放模型：Uber、Pinterest 等用模型路由削减 AI 账单
Uber、Pinterest、Stripe、Coinbase、Ramp 和 AT&T 等公司通过放弃专有模型、改用智能模型路由来大幅节省 AI 支出。Linear 和 Anthropic 正在实验用 AI 智能体自动修复 bug 和清理技术债务，效果比预期好，但产出的代码还不能不经审查直接合并。
Meta EngineeringAI 评分2222 ZGateway：Meta 为 ZippyDB 引入代理层，承载 40% 流量
Meta 推出 ZGateway，作为 ZippyDB 客户端与 ZServer 数据库之间的无状态代理层，目前承载约 40% 的 ZippyDB 流量，预计将增长至 60% 以上，每秒可处理超过 10 亿次操作，平均用例仅增加约 6% 计算开销。
NVIDIA Developer BlogAI 评分2727 NVIDIA PAIR 虚拟推理路由器：把本地网络的可用算力扩展出来
NVIDIA 推出 PAIR 虚拟推理路由器，可将本地网络中的可用算力扩展给 AI 智能体使用。该方案面向多智能体协作场景：主智能体把复杂任务拆成子任务分派给专用子智能体，用户也会同时运行多个智能体会话。
MIT News · AIAI 评分1717 从 MIT 到 IBM：三位研究者如何加速 AI 与量子部署
三位曾任职 MIT-IBM Computing Research Lab 的研究者现于 IBM 推进 AI 与量子研究：张伟宏（Zhang-Wei Hong）研究面向智能体的测试时训练与企业级智能体框架，Irene Ko 开发 vLLM Hook 插件，通过访问模型隐状态分析提示词注入与幻觉风险；Srinivasan Arunachalam 则从学习理论出发寻找量子加速算法。
NVIDIA Developer BlogAI 评分1515 NVIDIA CUDA 现代工具链实战：六步优化调试与加速指南
NVIDIA 发布 CUDA 优化实战教程，用图像处理示例演示六步渐进式改进：借助 CCCL API 与 Compute Sanitizer 定位索引越界等内存错误，用 NVTX 标注改善 Nsight Systems 性能分析，并调用 CUB 的 block/device 级算法。
NVIDIA Developer BlogAI 评分3030 NVIDIA 如何用推测解码协同设计 AI 模型以加速 LLM 推理
NVIDIA 在 AI 模型协同设计系列第三篇中，探讨如何用推测解码在保持精度的前提下加速 LLM 推理。文章给出五条指南，用于在帕累托前沿上选择 draft 长度与 draft 机制。
MIT News · AIAI 评分4343 MIT 与 Motional 提出 CW-Net，帮人类预测自动驾驶汽车何时会犯错
MIT 与自动驾驶公司 Motional 提出 Concept-Wrapper Network（CW-Net），可将自动驾驶深度学习规划器的内部推理翻译为“接近停驻车辆”“靠近骑行者”等可理解概念。该模块在 1.3 亿个自动驾驶场景样本上训练，不改动原模型驾驶性能，实测帮助安全员更准确预测车辆行为。研究发表于 Nature。
Meta EngineeringAI 评分4949 Meta 构建组织级"第二大脑"：让 AI 智能体从专家反馈中持续学习
Meta 工程团队构建了一个面向合规领域的 AI 智能体，作为领域"第二专家"沉淀机构知识。系统将知识架构与推理层分离，通过自改进闭环把专家反馈编译为经过回归测试的更新，无需重训练模型，并将 200+ 文件按 Position、Taxonomy、Routing、Gateway 等类型组织成严格分类体系。
NVIDIA Developer BlogAI 评分2424 用 NVIDIA Nemotron 构建自适应智能体网络安全系统
NVIDIA 发布基于 Nemotron 的自适应智能体网络安全系统方案，让智能体跨长周期协调工作、追求复杂目标，而非局限于既有告警、预设工作流和已知攻击行为。其重点在于找出防御遗漏之处，并将这些缺口转化为新的防御能力。
NVIDIA Developer BlogAI 评分2424 如何为 AI 推理和 TCO 合理配置 GPU 而不超支
NVIDIA 发文讨论企业如何为 AI 推理负载合理配置 GPU 并优化总拥有成本（TCO）。文章指出，面对延迟目标、模型选择、流量模式和预算约束的复杂组合，组织在 GPU 选型上容易迷失方向。
IEEE Spectrum · AIAI 评分3939 靠出租闲置算力赚 AI 红利：Far AI、Evolving Edge 等平台把家庭电脑变成推理节点
Far Labs 将在未来几周上线 Far AI 平台，Evolving Edge 已开放公测，让家庭服务器和游戏电脑出租闲置算力承接 AI 推理任务并获取收益。小型开源模型常可单机运行，任务过大时可用 Ray 或多 GPU 拆分，节点软件开源并采用最小权限、隔离负载和加密通信。
NVIDIA Developer BlogAI 评分2323 在 Claude Science 中运行 NVIDIA BioNeMo NIM 微服务进行蛋白质结构预测
NVIDIA BioNeMo NIM 微服务现可在 Claude Science 中运行，用于蛋白质结构预测。正文提到，AI 科学家已能读取论文、提出假设、调用模型并判断下一步优先做哪些实验，这类智能体能力先在软件工程中验证价值，编码智能体如今可编写、测试并交付生产代码。
NVIDIA Developer BlogAI 评分2626 NVIDIA TensorRT Model Connect：两条命令将开源模型从 Checkpoint 部署到推理
NVIDIA TensorRT Model Connect 提供开源参考实现集合，可在两条命令内把开源模型从 Checkpoint 直接部署到推理，免去模型专属的转换、预处理、后处理与运行时代码。该方案支持在原生 C++ 中通过 NVIDIA TensorRT 运行受支持的模型。
NVIDIA Developer BlogAI 评分3030 NVIDIA NVLink Fusion 将 NVHBM 引入下一代 AI 基础设施
NVIDIA 通过 NVLink Fusion 将 NVHBM 引入下一代 AI 基础设施，面向超大规模厂商和 AI 原生公司自研的 XPU。这些加速器规模化部署需要 HBM 持续供数，并需要足够的封装与芯片面积承载更多算力。
NVIDIA Developer BlogAI 评分2222 NVIDIA 如何用 AI 智能体训练跨具身机器人导航策略
NVIDIA 介绍了一种用 AI 智能体训练跨具身机器人导航策略的方法。导航要求机器人持续定位自身、理解变化的环境、规划路线并避障，而迁移到新机器人或新场景往往需要新的数据、仿真资产和机器人接口。
Google DeepMind精选AI 评分6565 Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型
Google DeepMind 发布 Gemini 3.5 Transcribe，一款面向实时转写的语音转文字模型，已在 Gemini API、Google AI Studio 和 Gemini Enterprise Agent Platform 开放公开预览。
推荐理由：官方给出 WER、延迟提升和两套 API 入口，读者可据此判断语音转写能否接入现有工程链路。
The Pragmatic EngineerAI 评分2525 Casey Muratori 谈高性能代码为何重要却总被忽视
《The Pragmatic Engineer》播客邀请 Molly Rocket 创始人、Handmade Hero 作者 Casey Muratori，讨论为何软件性能被业界普遍忽视，以及开发者如何写出高性能代码。
Hugging Face BlogAI 评分4949 Sentence Transformers v6.0 如何训练与微调多向量嵌入模型
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder，用于 ColBERT 式后期交互检索，并提供完整训练方案。作者用单张 RTX 3090 训练 14.5 小时得到 mLateOn-medical，在平均 941 token 的医学检索评测上超过其能找到的所有通用检索模型，截断文档最多会损失 0.24 NDCG@10。
NVIDIA Developer BlogAI 评分2727 NVIDIA Dynamo 推出影子引擎恢复，LLM 推理故障可秒级恢复
NVIDIA Dynamo 推出预览功能影子引擎恢复，让 LLM 推理引擎进程故障后无需冷重启即可在数秒内恢复容量。传统冷重启需从存储加载权重到 HBM、编译 kernel 并捕获 NVIDIA CUDA graphs，大模型初始化耗时数分钟。
The Pragmatic EngineerAI 评分5656 Ramp 为何自建内部编码智能体 Inspect
The Pragmatic Engineer 采访了 Ramp 的 CTO Rahul Sengottuvelu、工程负责人 Hamid Dadkhah 和 Inspect 创始工程师 Zach Bruggeman，讲述 Ramp 为何不用 Claude Code、Cursor 等第三方工具而自建内部编码智能体 Inspect。