NVIDIA AI 工厂如何实现高回报:高产出、长寿命、通用性
NVIDIA 提出 AI 工厂回报由三要素决定:每兆瓦盈利能力、硬件使用寿命和 token 需求。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量超 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍;2020 年发布的 A100 六年后仍在商用,CUDA 跨代兼容让已部署硬件持续创收。
NVIDIA 提出 AI 工厂回报由三要素决定:每兆瓦盈利能力、硬件使用寿命和 token 需求。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量超 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍;2020 年发布的 A100 六年后仍在商用,CUDA 跨代兼容让已部署硬件持续创收。
NVIDIA 针对沙特阿拉伯语方言微调 Nemotron 模型,以解决区域方言和本地录音条件在预训练数据中代表性不足、导致多语言模型在真实部署中表现欠佳的问题。基础模型可能识别现代标准阿拉伯语,却在沙特方言场景下失准,该工作同时给出向其他语言扩展的路径。
面向大规模个性化场景的生成式推荐系统(GR)把推荐重构为对用户行为的序列建模,用户的交互、上下文、候选物品和动作都被当作高基数事件流中的 token。NVIDIA 介绍如何用 Dynamo-Triton 部署 HSTU 生成式推荐模型。
NVIDIA 发布 cuObject 和 SCADA Server SDK,为 AI 基础设施工程师、存储开发者与云服务商提供对高容量文件与对象存储的快速安全访问。AI 负载在训练、微调、推理上下文、工具调用、搜索和数据库查询中越来越需要高速数据访问,而这些数据大量存于本地与云端的文件及对象中。
NVIDIA NeMo Relay 用于追踪 Agent Harness 的运行行为,解决智能体虽然完成任务却走了低效路径的问题——例如搜索失败触发重复搜索、文件读取被截断后命令再次抓取相同内容,这些多余步骤会拉高延迟并消耗 token。这些低效步骤不会体现在最终答案里,却会增加失败概率。
微软研究院实习生开发了一套端到端机器学习系统,可在风险出现前 30 至 60 分钟为美国本土 66,935 座变电站生成位置级空间天气风险估计。系统把太阳风观测、AE 与 Dst 指数预报、地质电导率等因素结合,先预测磁场变化率 dB/dt 再汇总为大陆级风险评估。评估期内该流水线识别出近 80% 的重大空间天气事件,Dst 预测器在 62.2% 的高活跃小时上优于 Burton 方程。
Amazon Bedrock Knowledge Bases 可通过 AgenticRetrieveStream API 用自然语言查询理赔文档并返回带引用的答案。
AWS 官方博客给出在 Amazon Bedrock AgentCore Runtime Instances 上部署多智能体音乐制作管线的完整教程,三个智能体分别负责作曲、交付与合规筛查,通过同一个 runtimeSessionId 被调度到同一台 GPU 实例并共享文件系统。
推荐理由:原文给出了在 AgentCore Runtime Instances 上搭建多智能体协作管线的完整代码与部署步骤,可迁移到其他长时任务。
MIT Transit Lab 获得 Google.org 210 万美元资助,用于开发 Public Transit Intelligence Hub(PTIQ),将公交机构的实时监控、运营控制和乘客沟通系统整合为单一 AI 编排平台。
CoreWeave 宣布 NVIDIA Vera Rubin NVL72 系统搭配 Spectrum-X 102.4T 以太网正式在其云上可用,Devin 开发商 Cognition 成为首个跑生产负载的客户,早期测试中 SWE-2 推理总 token 吞吐量较 GB200 NVL72 提升最高 4.8 倍。
Amazon Bedrock 在印度上线 Anthropic 的 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5,通过印度地理跨区域推理将请求限制在 ap-south-1 与 ap-south-2 之间,数据不出境。
Amazon Bedrock 现已在首尔和新加坡支持 Anthropic Claude 模型的区域内推理:首尔支持 Claude Opus 5 和 Claude Sonnet 5,新加坡支持 Claude Sonnet 5,通过 bedrock-runtime 端点调用。
NVIDIA TensorRT Model Connect 是基于 NVIDIA TensorRT 构建的开源 C++ AI 模型参考实现集合,整个项目围绕编码智能体设计。项目采用并行工作、模型家族隔离、可回滚变更和 GPU 验证等做法,目标是让 NVIDIA 推理栈的性能更易于使用。
NVIDIA 发布 Metropolis Blueprint for Video Search and Summarization(VSS)3.3,用于降低视觉 AI 智能体的构建与运行成本。该蓝图及其智能体技能将视频接入、流处理、事件检测、检索、摘要与上报整合为一套可维护的系统,面向生产级视频理解。
Amazon Quick 各组件对提示词的解析方式不同,官方博客按组件给出提示词写法:Quick Research 需明确目标、受众与关注点,并自行拆解子问题;Quick Flows 要写清时间、数据源与输出格式,复杂逻辑用编号步骤,并可通过对话迭代调整。
针对 RAG 在数百份合同上做汇总统计会算错的问题,AWS 给出了一套合同智能平台架构:AI 提取智能体(Claude Sonnet 系列)从 PDF 中抽取 8 个关键字段并附置信度。
Condé Nast 与 AWS 生成式 AI 创新中心基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与字幕,将单次内容检索耗时从 250 分钟降至 2 分钟以内。该方案支持自然语言意图检索、以图搜视频、错别字容错和精确时间戳定位,覆盖其 14 万余条视频库。
NVIDIA 推出 OpenShell,为 AI 智能体添加运行时控制能力,使其在被赋予目标后可编写代码、调用工具并持续工作。这类智能体需要访问工作区、计算资源、数据、凭证和外部服务,可支撑软件故障排查、实验运行等持续数天至数周的任务。
NVIDIA DSX MaxLPS 通过策略驱动的功率共享,在参与资源之间动态分配电力,让客户可部署更多 GPU。AI 工厂通常按所有 GPU 同时达到峰值功耗的极端情况预留电力,这部分保护性缓冲在正常运行时会闲置基础设施容量,而 MaxLPS 旨在把未使用的瓦数转化为可用算力,从而提升吞吐量与效率。
在 GitHub Copilot 应用中,canvas 是运行于应用内的全栈小程序,可与 Copilot agent 双向通信,也能调用第三方 API 并在本地执行代码,例如用 Winget 界面管理本地包或直接操作 SQLite 数据库,无需每次都消耗 token 让 agent 代劳。基于 canvas 可以把研究、原型、实现等开发流程自动化,让自己按需退出循环,而不是被聊天输入框限制。
NVIDIA 介绍面向生物基础模型的高效 MoE 训练方法,指出稠密 Transformer 中每个 token 都要过每一层,扩容会同时推高训练与推理算力;MoE 则用多个子网络(专家)替代,每个 token 只激活其中一小部分。
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,通过投机解码在不改变输出质量的前提下实现最高 3.13 倍设备端解码加速、H100 上 2.66 倍,端到端分别最高 2.62 倍和 2.27 倍。
Remedy Entertainment 的 CONTROL Resonant 首发即登陆 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级云端性能串流,支持 DLSS 4、光线追踪和最高 5K HDR,无需 100GB 本地安装。
Meta 宣布把 Private Processing 机密计算基础设施扩展到 Meta AI 眼镜,让流式转录、上下文搜索和长期记忆等云端 AI 负载在机密虚拟机(CVM)中执行,Meta 自身也无法读取用户数据。
即便每块 GPU、网络链路和 pod 都显示健康,512-GPU 训练任务仍可能性能不达标或直接失败,原因可能是单块 GPU 变慢、链路在负载下降级,或配置悄悄把流量导向更慢的路径。运维者往往要到任务跑了几小时后才会发现问题。
GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超 100 万行改动、400 多条行内评审评论的开源 PR 验证其性能。代码行沿用"绘制前高度已知"的确定性虚拟化几何,评论等动态块则改为可预估、惰性测量并以文件与行号锚定的独立几何,避免滚动跳变。
微软研究院对移动操作机器人负载做了首次系统性测量,发现仅依赖机载 GPU 推理会限制机器人性能、电池寿命与可扩展性。
推荐理由:微软对机器人负载的首次系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可在成功率、模型规模与续航上同时获益。
Google Private AI Compute 团队公布为 Private AI Compute 平台带来云端持久记忆的技术方案,通过硬件安全飞地、端到端加密通道和以设备派生密钥加密的每用户数据库,让跨设备 AI 记忆在服务端保持与端侧处理同等的隐私标准,此前该平台为无状态、任务结束即清除上下文。
推荐理由:Google 公开了云端持久记忆如何用安全飞地与设备端密钥实现跨设备隐私,可看架构取舍与验证方式。
NVIDIA 发布 SWE-Serve,用于评估推理服务软件改动——AI 编程智能体的补丁能通过测试,却可能在服务器加载真实模型并处理请求时失败。该基准由 SGLang 团队参与开发,包含 53 个任务,检查系统能否通过公开接口返回正确结果。
NVIDIA 机密计算(CC)为 LLM 推理提供在可信环境中运行的路径,通过内存加密的机密虚拟机(CVM)和机密 GPU 处理个人、企业及受监管场景中的敏感信息与专有模型上下文。
NVIDIA 推出 Topograph,用于拓扑感知的 GPU 工作负载调度。AI 工厂是功率受限系统,工作负载放置不当会割裂拓扑域、迫使流量走共享链路,降低吞吐、抬高作业成本,并让 GPU 在等待数据时白白消耗已分配电力。
NVIDIA 发布 DLSS 5,引入 3D-Guided Neural Rendering 与更细粒度的控制选项,帮助游戏开发者加入更逼真的光照和材质细节,同时保留艺术意图。面向游戏开发者的更新还包括 NVIDIA ACE、RTX Mega Geometry 2.0 和 RTX Kit,覆盖角色 AI、高密度几何与渲染工作流。
NVIDIA 介绍如何借助 AI 智能体与 Isaac ROS 加速 ROS 2 节点:单有快速 CUDA kernel 并不足以让 ROS 2 graph 变快,消息在节点间传递时仍可能在 CPU 内存中序列化或拷贝,抵消感知与 AI 负载留在 GPU 上的收益。方案依托上游抽象与 NVIDIA 近期推出的 CUDA buffer 后端来消除这一瓶颈。
oMLX 创作者兼维护者 Jun Kim 加入 Hugging Face,oMLX 由此从副业变为有全职投入和资金支持的项目,仍保持 Apache 2.0 并由 Jun 继续主导。
Hugging Face 为 transformers 加入 GGUF 支持,可从 Hub 选择量化 checkpoint 并通过 from_pretrained 加载,在本地机器上生成文本。
推荐理由:原文给出在 transformers 中直接加载 GGUF 的用法与本地推理表现,读者可据此判断量化模型的本地使用方式。
NVIDIA TensorRT 多设备推理从 TensorRT 11.0 起正式支持,让单个 TensorRT 网络借助 NCCL 分布式集合通信跨多块 GPU 执行,同时保留 TensorRT 的推理优化。该能力已集成进 NVIDIA Dynamo-Triton,用于应对生成式 AI 超出单 GPU 的算力与显存需求。
NVIDIA 推出 DSX Ready 认证计划,用于评估合作伙伴产品是否符合 NVIDIA DSX AI 工厂参考设计要求,首批涵盖电池储能系统(BESS)与冷却分配单元(CDU)两类。
NVIDIA 推出 Halos,称其为首个也是唯一面向物理 AI 的全栈安全系统,覆盖设计、验证与部署各层,AV 与机器人共享同一套原则。ABI Research 预计 2035 年 L3-5 自动驾驶汽车保有量达 4900 万辆,Omdia 估算 2026 至 2035 年间约 6000 万台工业机器人将部署。
Meta 开源了 Rebalancer,一个已在其内部用于资源分配问题超过九年的分配问题求解器。该库将问题描述与求解分离,提供对象、bins、约束和目标组成的描述语言,并转换为表达式图,可用局部搜索启发式或商业求解器 FICO Xpress、Gurobi 及开源求解器 HiGHS 构建 MIP 求解。相关论文已发表于 OSDI'24。
NVIDIA 在开罗大埃及博物馆举办活动,展示埃及 AI 生态从赋能走向生产级落地,其 Deep Learning Institute 埃及学员规模一年增长超十倍。