Sentence Transformers v6.0 如何训练与微调多向量嵌入模型
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder，用于 ColBERT 式后期交互检索，并提供完整训练方案。作者用单张 RTX 3090 训练 14.5 小时得到 mLateOn-medical，在平均 941 token 的医学检索评测上超过其能找到的所有通用检索模型，截断文档最多会损失 0.24 NDCG@10。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分4949 NVIDIA Developer BlogAI 评分2727 NVIDIA Dynamo 推出影子引擎恢复，LLM 推理故障可秒级恢复
NVIDIA Dynamo 推出预览功能影子引擎恢复，让 LLM 推理引擎进程故障后无需冷重启即可在数秒内恢复容量。传统冷重启需从存储加载权重到 HBM、编译 kernel 并捕获 NVIDIA CUDA graphs，大模型初始化耗时数分钟。
NVIDIA Developer BlogAI 评分5151 NVIDIA 发布 CUDA Python 1.0，提供稳定 API 与完整平台访问
NVIDIA 发布 CUDA Python 1.0，主打稳定 API、统一基础和完整平台访问。此前 Python 开发者用 GPU 只有两条路：自己写 CUDA C++ 扩展并维护绑定，或依赖 PyTorch、CuPy、RAPIDS 等上层库，后者虽支撑起 Python GPU 生态但存在局限。
Hugging Face Blog精选AI 评分6767 Gradio 内置 gr.Workflow：把 AI 流程做成可拖拽的节点图并自动生成 REST API
Hugging Face 在 Gradio 中内置 gr.Workflow，把多步 AI 流程描述为由引用、算子和输出组成的类型化节点图，Gradio 提供可拖拽画布运行每个节点并展示中间结果。
推荐理由：原文展示了把多步 AI 流程变成可视化图并自动暴露为 REST 接口的做法，读者可据此判断自己现有脚本能否照此改造。
Meta EngineeringAI 评分5353 Meta 推出面向 AI 规模以太网的 RDMA 传输协议 MetaRoCE
Meta 发布 MetaRoCE，一个专为 AI 工作负载在通用以太网上运行而从头设计的 RDMA 传输协议，并通过 OCP 开放规范、参考软件实现和合规测试套件。
Meta Engineering精选AI 评分6363 Meta 发布首款内置网卡的训练芯片 MTIA 300
Meta 发布 MTIA 300，这是其自研 MTIA 系列中首款面向排序和推荐模型训练优化的芯片，在芯片封装内集成两个网络 chiplet，各含 6 个定制 800 Gbps RDMA NIC，总 I/O 带宽达 1.2 TB/s，无需经过 PCIe 总线。
推荐理由：Meta 给出 MTIA 300 的内置网卡与卸载式集合通信设计，可对比传统 GPU 集群的通信瓶颈。
NVIDIA Developer BlogAI 评分2020 NVIDIA Spectrum-X Ethernet 如何改写 Giga-Scale AI 网络规则
面对分布在数十万块 GPU 上的分布式模型训练，传统通用 Ethernet 已成为首要性能瓶颈。NVIDIA 称 Spectrum-X Ethernet 针对这一 Giga-Scale AI 场景重构了网络规则，但文中未披露具体的吞吐、延迟或加速倍数数据。
NVIDIA Developer BlogAI 评分3434 NVIDIA Vera Rubin 与 Blackwell 为智能体 AI 能效比树立新标准
NVIDIA Vera Rubin 与 Blackwell 为智能体 AI 的每瓦性能树立新标准。OpenRouter 的 State of AI 报告基于 100 万亿 token 的真实使用数据发现，单次请求的平均提示词 token 量增长了约四倍，反映 AI 智能体已从单轮交互扩展为多步工作流。
NVIDIA Developer BlogAI 评分2121 NVIDIA DSX MaxLPS：让 AI 工厂每瓦性能最大化
NVIDIA 推出 DSX MaxLPS，针对 AI 工厂的功耗约束问题，把应用层每瓦性能作为衡量 AI 工厂效率的关键指标。NVIDIA 指出，并非每一兆瓦都能转化为产生收入的算力，电力分配与冷却等环节会造成损耗。
NVIDIA Developer BlogAI 评分3838 NVIDIA Groq 3 LPX 如何在 NVIDIA Vera Rubin 上实现长上下文超快交互
NVIDIA Groq 3 LPX 是面向 NVIDIA Vera Rubin 平台的交互式 AI 推理加速器。平台核心 NVIDIA Vera Rubin NVL72 覆盖从小模型到大型模型、开源与闭源的最广泛 AI 工作负载，兼顾高吞吐与交互性。Groq 3 LPX 与 Vera Rubin NVL72 搭配，进一步扩展该平台的能力。
NVIDIA Developer BlogAI 评分2222 NVIDIA BlueField-4 为智能体 AI 工厂打造全新 Scale-In 网络基础设施
NVIDIA BlueField-4 为智能体 AI 工厂提供全新 Scale-In 网络基础设施，面向每服务器多太比特带宽下连接用户、智能体、应用、数据源与存储系统的需求。传统云基础设施是为可预测的通用负载与标准接口设计的，而智能体 AI 工厂需要专用 DPU 处理来实现线速网络、存储与安全。
NVIDIA Developer BlogAI 评分2121 NVIDIA 用 Vera CPU 解决智能体 AI 集群难题
NVIDIA 发布 Vera CPU，用于解决智能体 AI 集群中 CPU 侧的编排、工具执行与沙箱计算难题。AI 工厂中 GPU 负责跑模型，CPU 承担编排等任务，而智能体负载不像传统计算那样有稳定运行时特征，具有高度不可预测和波动性。
NVIDIA Developer BlogAI 评分3131 NVIDIA AVO 在 ARC-AGI-3 上达到 100%，展示面向长时程自主智能体的前沿级通用架构
NVIDIA 的 AVO 在 ARC-AGI-3 上取得 100% 成绩，展示了一种面向长时程自主智能体的前沿级通用架构。该工作指出前沿语言模型只是 AI 智能体的一部分，外围的 agent harness 才决定模型如何接收上下文、调用工具、维护状态、响应反馈、从失败中恢复并在长任务中持续推进。
NVIDIA Developer BlogAI 评分2222 NVIDIA 谈安全在 AI 智能体栈中的位置
随着 AI 智能体能力增强、运行时间跨度变长，为其应用构建安全与信任愈发重要。NVIDIA 的 AI 安全团队结合在 NVIDIA OpenShell 上与智能体开发者、开源项目及生态伙伴的合作经验，分享了对新兴智能体栈的看法，包括各层所扮演的角色。
Hugging Face BlogAI 评分4646 LFM2.5-DSpark 草稿模型发布：推理最高提速 3.2 倍
LiquidAI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下实现最高 3.18 倍 GPU 吞吐提升和 2.87 倍端侧提速。
NVIDIA Developer BlogAI 评分2929 生成式推荐系统如何在大规模场景下重新定义 RecSys
NVIDIA 指出，LLM 的兴起正推动推荐系统从传统基于嵌入向量相似度的目标转向生成式目标，即根据用户历史序列预测大目录中的下一个动作或物品。推荐系统是消费互联网中最普遍的机器学习问题之一，但大规模训练与部署一直极为困难。
NVIDIA Developer BlogAI 评分1919 用 CLI、技能和 AI 编程智能体开发 NVIDIA Holoscan 应用
NVIDIA 探索通用编程智能体能否利用与工程师相同的示例、文档和开发工具来开发 Holoscan 边缘实时 AI 应用。Holoscan 是面向医疗影像、机器人等边缘实时 AI 应用的平台，HoloHub 是其配套仓库，汇集了不断增长的参考应用与组件。
NVIDIA Developer BlogAI 评分1818 用 NVIDIA FLARE 构建联邦多模态 AI 工作流
NVIDIA FLARE 可用于构建联邦多模态 AI 工作流，让视觉问答、图像描述与图文推理等视觉语言模型（VLM）任务在数据无法集中、原始记录分散于各机构的前提下完成协同训练。原文正文指出，现代 VLM 已能支持这些任务，而联邦学习提供了跨数据本地站点协调训练的途径。
NVIDIA Developer BlogAI 评分2323 用多 GPU 在数分钟内运行大规模 UMAP，且不损失精度
NVIDIA 介绍用多 GPU 加速 UMAP 的方法，可在数分钟内完成大规模降维且不损失精度。UMAP 广泛用于可视化与特征提取，覆盖探索性数据分析、主题建模和单细胞分析等场景，这类工作流常需反复调参重跑，数据集增大后对速度要求更高。
Hugging Face BlogAI 评分3636 Hugging Face 博客：约束感知 GPU 调度器让同集群利用率最高提升 33 个百分点
Hugging Face 博客介绍其自研约束感知 GPU 分配器，在相同硬件、相同负载下与 FIFO 调度器对比测试，GPU 利用率最高提升 33 个百分点，优先级加权产出提升 24.6%–105.1%，平均 52%。在 8 GPU 训练密集型场景中，利用率从 53.6% 升至 87.0%，产出提升 105%。该分配器将实时推理需求视为随时步变化的曲线，批式任务按优先级在整个调度周期内排布。
NVIDIA Developer BlogAI 评分3131 NVIDIA 用 Model Optimizer 的 QAD 打造 Nemotron 3.5 Lightning NVFP4
NVIDIA 发布 Nemotron 3.5 Lightning NVFP4 检查点，借助 NVIDIA Model Optimizer 的 QAD 方法在保持精度的同时实现最高 4 倍吞吐提升。该检查点体积从全精度版本的 66 GB 压缩至 22 GB。
NVIDIA Developer Blog精选AI 评分6969 阿里开放 Qwen3.8-2.4T-A95B 权重，2.4T 参数、单 token 激活 95B
阿里开放了 Qwen3.8-2.4T-A95B（Qwen3.8-Max）的模型权重，这是其目前最大的开放权重模型。该模型总参数 2.4T、单 token 激活 95B，采用细粒度 MoE 架构，混合全注意力与线性注意力，上下文窗口最高 100 万 token。NVIDIA 开发者博客介绍在 GB300 NVL72 上部署该模型并支持可配置推理。
推荐理由：摘要给出 Qwen3.8-2.4T-A95B 的开放权重与关键规格，读者可借此了解其 MoE 结构与长上下文配置。
NVIDIA Developer BlogAI 评分1616 NVIDIA AI 工厂如何选择全栈可观测性方案
NVIDIA 发布指南，讲解如何为 AI 工厂选择全栈可观测性方案。AI 基础设施横跨计算、网络、存储、编排与应用多层，性能下降时某一层观察到的症状可能源自栈内其他位置，全栈可观测性通过打通各层遥测数据帮助运维团队定位问题根源。
Google DeepMind精选AI 评分7676 Google DeepMind 发布多语种手语转文本模型 SL2T，首发 Gboard 与 Live Transcribe
Google DeepMind 发布多语种手语转文本模型 SL2T，并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品，训练数据超 10 万小时、覆盖 50 多种手语。
推荐理由：官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式，可据此判断手语翻译在消费端落地的可行边界。
Meta Engineering精选AI 评分6262 Meta 如何在 WhatsApp 以端到端加密与可验证性构建 Scam Alert
Meta 在 WhatsApp 上构建了可选的 Scam Alert 功能，用端侧机器学习模型在本地对来自非联系人的消息做诈骗概率分类，消息内容不会离开设备，也不会被自动上报。
推荐理由：原文给出 WhatsApp 端侧反诈告警的隐私架构与可验证设计，读者可了解端侧模型在加密通信场景的完整工程路径。
NVIDIA Developer BlogAI 评分2424 NVIDIA JetPack 7.2.1 新增智能体视频技能与 T3000 仿真
NVIDIA 发布 JetPack 7.2.1，为 Jetson 平台加入智能体视频技能（Agentic Video Skills）和 T3000 仿真（T3000 Emulation）。JetPack 面向机器人与智能视频分析等场景，覆盖多摄像头采集、网络流解码、AI 推理与视频编码的完整数据路径。
NVIDIA Developer BlogAI 评分3030 NVIDIA NeMo Switchyard：在多模型间路由 AI 智能体工作负载
NVIDIA 推出 NeMo Switchyard，用于在多个模型之间路由 AI 智能体工作负载。由于每个模型在能力、弱点和成本上各有差异，且这些差异会随工作负载甚至同一工作负载内的不同步骤而变化，智能体任务可能需要分类、推理，以及用小模型处理常规后续任务。该方案针对把所有请求都发给最大模型的做法。
Hugging Face BlogAI 评分5656 NVIDIA 发布 Magpie TTS 多语言版，开放权重支持 12 种语言
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，新增 Modern Standard Arabic、Korean 和 Brazilian Portuguese，共支持 12 种语言。
NVIDIA Developer Blog精选AI 评分6464 Meta 开源 Muse Glimmer：30B 稠密模型，面向本地智能体工作流
Meta 重返开源生态，发布 Muse Glimmer，一个 30B 开源权重稠密模型，上下文窗口超过 120K，面向本地 AI 智能体工作。该模型针对 NVIDIA 边缘、桌面和工作站 AI 平台优化，可在单 GPU 上达到 20K tokens/sec，让常驻智能体在本地处理数据并执行复杂任务。
推荐理由：Meta 回归开源发布 30B 本地智能体模型，并给出单 GPU 吞吐数字和运行平台范围。
Hugging Face BlogAI 评分5858 Multiverse Computing 提出高效知识蒸馏方法，单卡即可完成长上下文蒸馏
Multiverse Computing 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》。
Meta EngineeringAI 评分3737 Meta 广告排序新架构：多阶段序列模型与类 LLM 缩放定律
Meta 为广告排序提出多阶段序列模型架构，将重的离线用户建模与轻量的在线排序解耦，并引入稠密 tokenization 与 target-aware 注意力直接学习特征交互。
Microsoft Research精选AI 评分7171 微软开源 Orchard：可扩展智能体 AI 框架
微软研究院发布开源框架 Orchard，核心是 Orchard Env——一个基于 Kubernetes 的可复用环境服务，支持软件工程、网页导航和个人助理等任务，并能在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中直接训练智能体。
推荐理由：微软开源 Orchard 框架，把训练环境做成可复用服务，读者可据此理解小模型如何直接在真实 harness 中训练。
NVIDIA Developer BlogAI 评分1515 如何在共享 GPU 基础设施上运行隔离的租户 Kubernetes 集群
NVIDIA 介绍如何在共享 GPU 基础设施上运行隔离的租户 Kubernetes 集群。每团队一套专用集群往往带来超出组织所需的隔离程度，而单集群多团队共享虽可行，但随着团队增多协调成本上升，会出现 CRD 版本冲突、RBAC 重叠，且无法把 GPU 容量干净地划分为团队级预算。
NVIDIA Developer BlogAI 评分2222 NVIDIA Vera Storage 基准测试：为 AI 原生存储带来更快的加密、压缩、完整性校验与恢复
NVIDIA 公布 Vera Storage 基准测试结果，针对智能体 AI 工作流中的加密、压缩、完整性校验与恢复性能进行评测。该存储需持续支撑企业知识检索、持久内存访问和 KV cache 复用等操作，每个智能体步骤可能触发多次存储操作并在流程中重复。
NVIDIA Developer BlogAI 评分2828 NVIDIA 如何为快速交互式长上下文推理协同设计 AI 模型注意力
随着智能体与长上下文工作负载普及，注意力机制在推理耗时中占比越来越大，成为主导成本。NVIDIA 提出围绕 GPU 执行方式设计模型架构，即 AI 模型协同设计，以优化长上下文推理性能。
NVIDIA Developer BlogAI 评分2323 NVIDIA nvmath-python：大规模运行高性能核心数学运算
NVIDIA nvmath-python 是一个衔接 Python 科学计算生态与 NVIDIA CUDA-X 数学库的库，让 Python 用户在不改变现有工作流的前提下获得 CUDA-X 性能。视不同 API，运算可运行在 CPU、支持 CUDA 的 GPU，或分布式多 GPU、多节点系统上。
NVIDIA Developer BlogAI 评分2020 NVIDIA 提出安全部署 AI 智能体的四种方式
NVIDIA 提出四种更安全部署 AI 智能体的方式，针对智能体接入大语言模型后带来的安全风险。AI 智能体正被知识工作者当作"数字同事"使用，可完成审查 bug 报告、实现并测试修复、推送补丁并通知人工审核等任务。
NVIDIA Developer BlogAI 评分2626 NVIDIA Exemplar Cloud：在 AI 基础设施上释放完整性能的经验
NVIDIA 指出，采用相同 H100、GB200 NVL72 或 GB300 NVL72 的两套 AI 集群，在同一工作负载、模型和全局 batch size 下，训练吞吐量常出现 8% 到 12% 的差距，原因多来自内核层面的配置选择。NVIDIA 通过 Exemplar Cloud 总结在 AI 基础设施上释放完整性能的经验。
Hugging Face BlogAI 评分1616 GPU 管理：为什么闲置 GPU 是新的停飞客机
Hugging Face 发文指出，AI 的下一道真实约束是利用率而非智能，闲置 GPU 如同停飞客机——成本按日历小时计提，产出只按算力小时累积。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini Robotics ER 2，为机器人带来视频理解、任务编排与多机器人协作
Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2，作为高层“大脑”负责对话、理解物理世界并规划多步任务，再把电机执行交给底层 VLA 模型。
推荐理由：Gemini Robotics ER 2 给出了多机器人协作与视频进度追踪的能力细节和开发者接入方式。