NVIDIA 机密计算支持私有高性能生产级 AI 推理
NVIDIA 机密计算(CC)为 LLM 推理提供在可信环境中运行的路径,通过内存加密的机密虚拟机(CVM)和机密 GPU 处理个人、企业及受监管场景中的敏感信息与专有模型上下文。
NVIDIA 机密计算(CC)为 LLM 推理提供在可信环境中运行的路径,通过内存加密的机密虚拟机(CVM)和机密 GPU 处理个人、企业及受监管场景中的敏感信息与专有模型上下文。
The Pragmatic Engineer 采访微软 Windows 团队成员 Pavan Davuluri、Scott Hanselman 和 Logan Iyer,梳理了未来 Windows 在操作系统层面集成 AI 智能体的计划。
NVIDIA 推出 Topograph,用于拓扑感知的 GPU 工作负载调度。AI 工厂是功率受限系统,工作负载放置不当会割裂拓扑域、迫使流量走共享链路,降低吞吐、抬高作业成本,并让 GPU 在等待数据时白白消耗已分配电力。
Simon Willison 发布 llm-anthropic 0.29。该插件用于在 LLM 命令行工具中调用 Anthropic 的 Claude 模型,具体改进与新增功能原文未作说明。
Simon Willison 发布 LLM 插件 llm-typesafe 0.1a0,为 TypeSafe AI 的新模型 Jev 提供支持,安装方式为 llm install llm-typesafe,并需用 llm keys set typesafe 配置 API key。
Stanford 计算机科学家 James Zou 团队发布开源框架 Paper2Agent,输入论文及其代码、数据等补充材料后,系统自动提取核心流程并生成经过测试、可运行的工具体系,相关成果 9 月 16 日发表在 Nature。
Interconnects 播客中,Nathan Lambert 与 Epoch AI 洞察团队负责人 JS Denain 就 RSI、机器人在 AI 加速中的作用、中国模型落后程度及蒸馏能否解释差距展开辩论。
NVIDIA 发布 DLSS 5,引入 3D-Guided Neural Rendering 与更细粒度的控制选项,帮助游戏开发者加入更逼真的光照和材质细节,同时保留艺术意图。面向游戏开发者的更新还包括 NVIDIA ACE、RTX Mega Geometry 2.0 和 RTX Kit,覆盖角色 AI、高密度几何与渲染工作流。
CoolIT 提出以模块化 coldplate 实现近乎 100% 液冷热量捕获,让 AI 服务器在空气负载降至 1% 以下后实现无风扇运行。其方案源自已量产验证六代的无风扇设计,并将液冷从 CPU、GPU 扩展到内存、网络、存储和供电等外设。CoolIT 建模显示,单机架功率超 250 kW 后 70/30 液气混合散热失效,此后该设计将成为旗舰机架级产品的标准配置,延续至 2028 年。
NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,为 ROS 开发者带来智能体工作流与新的平台支持,免费开源。新版本支持 ROS Lyrical 和 Ubuntu 24.04,并与 Open Source Robotics Alliance 合作向 ROS Lyrical 贡献标准数据处理接口,CUDA 提供 GPU 加速示例。
NVIDIA 介绍如何借助 AI 智能体与 Isaac ROS 加速 ROS 2 节点:单有快速 CUDA kernel 并不足以让 ROS 2 graph 变快,消息在节点间传递时仍可能在 CPU 内存中序列化或拷贝,抵消感知与 AI 负载留在 GPU 上的收益。方案依托上游抽象与 NVIDIA 近期推出的 CUDA buffer 后端来消除这一瓶颈。
这个夏天 AI 炒作密集:Anthropic 称 Claude Mythos 漏洞挖掘强于多数安全专家,OpenAI 与 Hugging Face 发生黑客事件,两家又先后宣称数学突破。专家复核后称,黑客事件更多是 OpenAI 安全疏忽,数学结果也没那么新颖,甚至有数学家指控抄袭。文章警告“超级智能”叙事是营销,意在让公司逃避责任。
小米发布 MiMo-V2.6 系列两款原生全模态开源模型,其中 MiMo-V2.6-Pro 以 1.02T 总参数、42B 激活参数登上 Artificial Analysis 智能指数开源权重模型首位(46 分),输入输出价格分别为 $0.435/M 和 $0.87/M token,模型采用 MIT 许可。
推荐理由:复盘小米 MiMo-V2.6 的 RL 训练三轴扩展与开源环境清单,可对照其成本与榜单位置判断开源权重模型的进展。
oMLX 创作者兼维护者 Jun Kim 加入 Hugging Face,oMLX 由此从副业变为有全职投入和资金支持的项目,仍保持 Apache 2.0 并由 Jun 继续主导。
Hugging Face 为 transformers 加入 GGUF 支持,可从 Hub 选择量化 checkpoint 并通过 from_pretrained 加载,在本地机器上生成文本。
推荐理由:原文给出在 transformers 中直接加载 GGUF 的用法与本地推理表现,读者可据此判断量化模型的本地使用方式。
英国 AI Security Institute(AISI)通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果,覆盖 HealthBench。
TypeSafe AI 上周发布 Jev,这是其称为 System One 模型的首次实例:它接受文本输入,但不输出文本,而是返回类别、是非题、评分对应的浮点数及置信度。
TypeSafe AI 发布首个大型可编程 System 1 模型 Jev,官方称其以每美元智能(intelligence per dollar,取自 Jevons Paradox)为优化目标,面向代码而非聊天。
NVIDIA TensorRT 多设备推理从 TensorRT 11.0 起正式支持,让单个 TensorRT 网络借助 NCCL 分布式集合通信跨多块 GPU 执行,同时保留 TensorRT 的推理优化。该能力已集成进 NVIDIA Dynamo-Triton,用于应对生成式 AI 超出单 GPU 的算力与显存需求。
NVIDIA 发布文章阐述 AI 智能体评估方法,指出上线智能体的关键问题是能否在真实环境中连续完成数十次顺序工具调用并在某步失败后恢复,而仅评估模型回答是否"听起来对"无法反映任务是否真正完成。因此智能体评估正从为单次函数调用打分,转向为整个任务打分。
NVIDIA 推出 DSX Ready 认证计划,用于评估合作伙伴产品是否符合 NVIDIA DSX AI 工厂参考设计要求,首批涵盖电池储能系统(BESS)与冷却分配单元(CDU)两类。
NVIDIA 推出 Halos,称其为首个也是唯一面向物理 AI 的全栈安全系统,覆盖设计、验证与部署各层,AV 与机器人共享同一套原则。ABI Research 预计 2035 年 L3-5 自动驾驶汽车保有量达 4900 万辆,Omdia 估算 2026 至 2035 年间约 6000 万台工业机器人将部署。
Meta 开源了 Rebalancer,一个已在其内部用于资源分配问题超过九年的分配问题求解器。该库将问题描述与求解分离,提供对象、bins、约束和目标组成的描述语言,并转换为表达式图,可用局部搜索启发式或商业求解器 FICO Xpress、Gurobi 及开源求解器 HiGHS 构建 MIP 求解。相关论文已发表于 OSDI'24。
NVIDIA 在开罗大埃及博物馆举办活动,展示埃及 AI 生态从赋能走向生产级落地,其 Deep Learning Institute 埃及学员规模一年增长超十倍。
微软在 Nature 发表逆合成模型 RetroChimera,并开源其实现与权重。该模型将基于 Transformer 的 R-SMILES 2 与基于图神经网络、使用反应模板的 NeuralLoc 结合,通过学习式集成对两者预测重新排序,性能在常见与稀有反应类别上均超越任一子模型。
NVIDIA 发布开源安全运行时 OpenShell,在模型智能体之外强制执行策略,并提供沙箱化执行,管控智能体对数据、网络和系统资源的访问。Cisco DefenseClaw 为其增加治理层,JFrog 则集成 OpenShell 扫描和验证智能体技能并限制可访问的技能范围。NVIDIA 同时通过 Open Secure AI Alliance 共享安全研究成果与工具。
RAND 发布长篇论文,提出美国在通往超级智能的不确定路径上应采用"自由行动"战略,通过构建人机生态系统、AI 安全架构和改造国家安全体系来保留选项。论文同时归纳了共存、拒止、加速三大类共七种原型战略,并列出危险临近程度、共存可行性等五项主要不确定性。另一组研究人员则在小鼠颅内培育出含部分人脑组织的脑块,用于潜在实验。
MIT Technology Review 与 Times of San Diego 用 15 个月调查,做出首张美国边境监控塔附近移民死亡的综合地图与分析,数据回溯至 2015 年,合并 No More Deaths、Humane Borders、EFF 等现有数据集,并向德克萨斯州 17 个县的警长办公室申请记录,最终收到 14 个县、超 4000 页警方报告。
中国开放权重模型已明显领先美国,Hugging Face 下载量约为美国的 2 倍(3.2B 对 1.6B),Artificial Analysis 智能指数上 GLM-5.3、GLM-5.3-Flash 和 Kimi K3 分别得分 45、42、44,而美国最高的 Inkling 仅 26。
NVIDIA 在纽约气候周上介绍了五家用 AI 推进清洁能源的公司。ThinkLabs AI 用数字孪生和智能体,把 Southern California Edison 评估每份电网并网申请的时间从 30-45 天缩短到 2 分钟。
Hugging Face 发布 tokenizers v1,在保持与 v0.23 相同 token ID、API 和词表的前提下重写编码流水线,速度常达 v0.23 的数十倍。重构包括 workspace 拆分、无分配 merge、用 SIMD 位运算替代正则拆分(bitcannon)、merge 循环改为侵入式双向链表、单词缓存和原生多线程并行。
一名入职大公司半个月的工程师称,团队里的规格、代码、测试、PRD、工单及其处理、报告等全部由 Claude Code 生成。管理层反复强调推代码不是瓶颈,质疑为何进展缓慢,员工每天工作 12 到 13 小时只是"按回车",从 L1 到 L7 的工程师没人阅读产出。
Interconnects 作者 Nathan Lambert 表示自己仍不相信真正的递归自我改进(RSI),认为当前 AI 安全担忧更多来自"规模化智能体已在工作"这一现实,而非尚未公开的突破。
Jev 发布两天内,其发布视频获得 3600 万次播放,社区迅速出现至少 6 个复现或类似实现,包括基于 ModernBERT 的 Laya、基于扩散模型的 DiffusionGemmaJev。
NVIDIA 发布 AIPerf,用于规模化 LLM 推理的基准测试。文章指出用 curl 命令、手写 asyncio 脚本或临时负载生成器测性能都存在同样问题:单进程性能受限、Python GIL 限制并发。
MIT Libraries 旗下阅读项目 MIT Reads 在十周年之际转向小说与回忆录,以共读促进人际连接,并回应 MIT 对 AI 影响教育与校园社群的探索。校长 Sally Kornbluth 选定 Ted Chiang 的 2019 年短篇集《Exhalation》为 2026 年秋季书目,其探讨人类与 AI 关系等议题,相关作者活动多向公众开放并在线直播。
GitHub Podcast 最新一期拆解了五个 AI 热门观点,结论是:AI 生成的代码仍然要读、要审,但审查力度应随风险变化;Skills 与 MCP 解决的是不同问题,MCP 提供连接工具和数据的标准接口,Skills 更像打包好的 Markdown 经验,两者可组合使用。RAG 也没有死,它为模型提供训练数据之外的信息,可以减少 token 浪费、加快速度并降低不完整回答的概率。
Matt Pocock 在 The Pragmatic Engineer 播客中讲述他如何用 "grill-me" 等技能让 AI 智能体反复追问用户,并以 "tracer bullet" 等引导词改善生成代码质量。
GitHub 用 Copilot 智能体把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行 Rust,AI 智能体编写了大部分代码,跨 128 个 pull request 增量合入 main。
推荐理由:一位工程师复盘用 AI 智能体把 43 万行 TypeScript 运行时迁到 Rust 的全过程,含编排、缓存与评审经验。
AI 智能体工作流可用于为物理 AI 系统准备并验证数字孪生:智能体检查 3D 场景、在 OpenUSD 中编写仿真相关数据、添加物理属性、渲染预检视图,并对照 SimReady 要求验证结果。该流程覆盖从 Blender 场景到交付给 NVIDIA 的仿真就绪 OpenUSD 交接。