用 Amazon Quick 和 Amazon Bedrock AgentCore 构建 AI 合同智能平台
针对 RAG 在数百份合同上做汇总统计会算错的问题,AWS 给出了一套合同智能平台架构:AI 提取智能体(Claude Sonnet 系列)从 PDF 中抽取 8 个关键字段并附置信度。
针对 RAG 在数百份合同上做汇总统计会算错的问题,AWS 给出了一套合同智能平台架构:AI 提取智能体(Claude Sonnet 系列)从 PDF 中抽取 8 个关键字段并附置信度。
Condé Nast 与 AWS 生成式 AI 创新中心基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与字幕,将单次内容检索耗时从 250 分钟降至 2 分钟以内。该方案支持自然语言意图检索、以图搜视频、错别字容错和精确时间戳定位,覆盖其 14 万余条视频库。
芯片设计领域出现名为 IC-STAR 的全流程自主化方案,目标是让工程师从手工操作工具和交接环节转为定义目标、监督 AI 驱动的执行。该方案覆盖硅片开发全生命周期,涉及数字与模拟设计,并已由 Ambiq 在生产环境中部署自主 AI。
Simon Willison 发布 llm-anthropic 0.30,新增 llm anthropic refresh 命令,可直接从 Anthropic API 刷新模型列表,无需为新模型单独发版;同时支持 Claude Sonnet 5.5。该版本还加入 llm anthropic count 命令,调用免费的 token 计数 API,在发送提示词前先返回将消耗的 token 数量。
NVIDIA 推出 OpenShell,为 AI 智能体添加运行时控制能力,使其在被赋予目标后可编写代码、调用工具并持续工作。这类智能体需要访问工作区、计算资源、数据、凭证和外部服务,可支撑软件故障排查、实验运行等持续数天至数周的任务。
NVIDIA DSX MaxLPS 通过策略驱动的功率共享,在参与资源之间动态分配电力,让客户可部署更多 GPU。AI 工厂通常按所有 GPU 同时达到峰值功耗的极端情况预留电力,这部分保护性缓冲在正常运行时会闲置基础设施容量,而 MaxLPS 旨在把未使用的瓦数转化为可用算力,从而提升吞吐量与效率。
在 GitHub Copilot 应用中,canvas 是运行于应用内的全栈小程序,可与 Copilot agent 双向通信,也能调用第三方 API 并在本地执行代码,例如用 Winget 界面管理本地包或直接操作 SQLite 数据库,无需每次都消耗 token 让 agent 代劳。基于 canvas 可以把研究、原型、实现等开发流程自动化,让自己按需退出循环,而不是被聊天输入框限制。
NVIDIA 介绍面向生物基础模型的高效 MoE 训练方法,指出稠密 Transformer 中每个 token 都要过每一层,扩容会同时推高训练与推理算力;MoE 则用多个子网络(专家)替代,每个 token 只激活其中一小部分。
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,通过投机解码在不改变输出质量的前提下实现最高 3.13 倍设备端解码加速、H100 上 2.66 倍,端到端分别最高 2.62 倍和 2.27 倍。
Remedy Entertainment 的 CONTROL Resonant 首发即登陆 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级云端性能串流,支持 DLSS 4、光线追踪和最高 5K HDR,无需 100GB 本地安装。
Meta 宣布把 Private Processing 机密计算基础设施扩展到 Meta AI 眼镜,让流式转录、上下文搜索和长期记忆等云端 AI 负载在机密虚拟机(CVM)中执行,Meta 自身也无法读取用户数据。
Cloudflare 已支持 HTTP 的 Vary 响应头。此前 Cloudflare 缓存会忽略图片以外资源的 Vary 头,开发者按 accept: text/html 分发 HTML 或 JSON 时,可能把 JSON 版本缓存后返回给期待 HTML 的用户。Simon Willison 表示自己更倾向于用 .json 后缀让 URL 可预测地返回 HTML 或 JSON。
即便每块 GPU、网络链路和 pod 都显示健康,512-GPU 训练任务仍可能性能不达标或直接失败,原因可能是单块 GPU 变慢、链路在负载下降级,或配置悄悄把流量导向更慢的路径。运维者往往要到任务跑了几小时后才会发现问题。
GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超 100 万行改动、400 多条行内评审评论的开源 PR 验证其性能。代码行沿用"绘制前高度已知"的确定性虚拟化几何,评论等动态块则改为可预估、惰性测量并以文件与行号锚定的独立几何,避免滚动跳变。
微软研究院对移动操作机器人负载做了首次系统性测量,发现仅依赖机载 GPU 推理会限制机器人性能、电池寿命与可扩展性。
推荐理由:微软对机器人负载的首次系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可在成功率、模型规模与续航上同时获益。
Google Private AI Compute 团队公布为 Private AI Compute 平台带来云端持久记忆的技术方案,通过硬件安全飞地、端到端加密通道和以设备派生密钥加密的每用户数据库,让跨设备 AI 记忆在服务端保持与端侧处理同等的隐私标准,此前该平台为无状态、任务结束即清除上下文。
推荐理由:Google 公开了云端持久记忆如何用安全飞地与设备端密钥实现跨设备隐私,可看架构取舍与验证方式。
NVIDIA 发布 SWE-Serve,用于评估推理服务软件改动——AI 编程智能体的补丁能通过测试,却可能在服务器加载真实模型并处理请求时失败。该基准由 SGLang 团队参与开发,包含 53 个任务,检查系统能否通过公开接口返回正确结果。
NVIDIA 机密计算(CC)为 LLM 推理提供在可信环境中运行的路径,通过内存加密的机密虚拟机(CVM)和机密 GPU 处理个人、企业及受监管场景中的敏感信息与专有模型上下文。
The Pragmatic Engineer 采访微软 Windows 团队成员 Pavan Davuluri、Scott Hanselman 和 Logan Iyer,梳理了未来 Windows 在操作系统层面集成 AI 智能体的计划。
NVIDIA 推出 Topograph,用于拓扑感知的 GPU 工作负载调度。AI 工厂是功率受限系统,工作负载放置不当会割裂拓扑域、迫使流量走共享链路,降低吞吐、抬高作业成本,并让 GPU 在等待数据时白白消耗已分配电力。
NVIDIA 发布 DLSS 5,引入 3D-Guided Neural Rendering 与更细粒度的控制选项,帮助游戏开发者加入更逼真的光照和材质细节,同时保留艺术意图。面向游戏开发者的更新还包括 NVIDIA ACE、RTX Mega Geometry 2.0 和 RTX Kit,覆盖角色 AI、高密度几何与渲染工作流。
CoolIT 提出以模块化 coldplate 实现近乎 100% 液冷热量捕获,让 AI 服务器在空气负载降至 1% 以下后实现无风扇运行。其方案源自已量产验证六代的无风扇设计,并将液冷从 CPU、GPU 扩展到内存、网络、存储和供电等外设。CoolIT 建模显示,单机架功率超 250 kW 后 70/30 液气混合散热失效,此后该设计将成为旗舰机架级产品的标准配置,延续至 2028 年。
NVIDIA 介绍如何借助 AI 智能体与 Isaac ROS 加速 ROS 2 节点:单有快速 CUDA kernel 并不足以让 ROS 2 graph 变快,消息在节点间传递时仍可能在 CPU 内存中序列化或拷贝,抵消感知与 AI 负载留在 GPU 上的收益。方案依托上游抽象与 NVIDIA 近期推出的 CUDA buffer 后端来消除这一瓶颈。
oMLX 创作者兼维护者 Jun Kim 加入 Hugging Face,oMLX 由此从副业变为有全职投入和资金支持的项目,仍保持 Apache 2.0 并由 Jun 继续主导。
Hugging Face 为 transformers 加入 GGUF 支持,可从 Hub 选择量化 checkpoint 并通过 from_pretrained 加载,在本地机器上生成文本。
推荐理由:原文给出在 transformers 中直接加载 GGUF 的用法与本地推理表现,读者可据此判断量化模型的本地使用方式。
NVIDIA TensorRT 多设备推理从 TensorRT 11.0 起正式支持,让单个 TensorRT 网络借助 NCCL 分布式集合通信跨多块 GPU 执行,同时保留 TensorRT 的推理优化。该能力已集成进 NVIDIA Dynamo-Triton,用于应对生成式 AI 超出单 GPU 的算力与显存需求。
NVIDIA 推出 DSX Ready 认证计划,用于评估合作伙伴产品是否符合 NVIDIA DSX AI 工厂参考设计要求,首批涵盖电池储能系统(BESS)与冷却分配单元(CDU)两类。
NVIDIA 推出 Halos,称其为首个也是唯一面向物理 AI 的全栈安全系统,覆盖设计、验证与部署各层,AV 与机器人共享同一套原则。ABI Research 预计 2035 年 L3-5 自动驾驶汽车保有量达 4900 万辆,Omdia 估算 2026 至 2035 年间约 6000 万台工业机器人将部署。
Meta 开源了 Rebalancer,一个已在其内部用于资源分配问题超过九年的分配问题求解器。该库将问题描述与求解分离,提供对象、bins、约束和目标组成的描述语言,并转换为表达式图,可用局部搜索启发式或商业求解器 FICO Xpress、Gurobi 及开源求解器 HiGHS 构建 MIP 求解。相关论文已发表于 OSDI'24。
NVIDIA 在开罗大埃及博物馆举办活动,展示埃及 AI 生态从赋能走向生产级落地,其 Deep Learning Institute 埃及学员规模一年增长超十倍。
NVIDIA 发布开源安全运行时 OpenShell,在模型智能体之外强制执行策略,并提供沙箱化执行,管控智能体对数据、网络和系统资源的访问。Cisco DefenseClaw 为其增加治理层,JFrog 则集成 OpenShell 扫描和验证智能体技能并限制可访问的技能范围。NVIDIA 同时通过 Open Secure AI Alliance 共享安全研究成果与工具。
NVIDIA 在纽约气候周上介绍了五家用 AI 推进清洁能源的公司。ThinkLabs AI 用数字孪生和智能体,把 Southern California Edison 评估每份电网并网申请的时间从 30-45 天缩短到 2 分钟。
Hugging Face 发布 tokenizers v1,在保持与 v0.23 相同 token ID、API 和词表的前提下重写编码流水线,速度常达 v0.23 的数十倍。重构包括 workspace 拆分、无分配 merge、用 SIMD 位运算替代正则拆分(bitcannon)、merge 循环改为侵入式双向链表、单词缓存和原生多线程并行。
NVIDIA 发布 AIPerf,用于规模化 LLM 推理的基准测试。文章指出用 curl 命令、手写 asyncio 脚本或临时负载生成器测性能都存在同样问题:单进程性能受限、Python GIL 限制并发。
Matt Pocock 在 The Pragmatic Engineer 播客中讲述他如何用 "grill-me" 等技能让 AI 智能体反复追问用户,并以 "tracer bullet" 等引导词改善生成代码质量。
GitHub 用 Copilot 智能体把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行 Rust,AI 智能体编写了大部分代码,跨 128 个 pull request 增量合入 main。
推荐理由:一位工程师复盘用 AI 智能体把 43 万行 TypeScript 运行时迁到 Rust 的全过程,含编排、缓存与评审经验。
NVIDIA 的 TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准测试,速度提升 6.4 倍。该方案面向从云端数据中心迁移到车辆、机器人等边缘设备的 AI 智能体,需快速生成 token 并在不断增长的对话中完成工具选择、结果评估与持续推理。
NVIDIA 介绍了 cuTile Rust(cutile-rs),一个用 Rust 编写 GPU kernel 的 tile 系统,将 Rust 所有权模型扩展到 tile 化的 GPU kernel 上,把可变输出切分为互不相交的片段,并在 kernel 启动间保持主机端所有权约定,同时允许程序员在需要底层控制时局部退出。
NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1,在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍,DeepSeek-R1 上最高 2.5 倍。
现代 AI 加速器单颗功耗可超 1,000 瓦、单个机架发热超过 100 千瓦,已远超风冷可实际散热的范围。单相直接液冷通过在高发热部件上安装冷板,让水或水乙二醇冷却液在闭环中带走热量,从而在更小占地内支撑更高的芯片与机架密度。白皮书还对比了单相直接液冷与两相液冷及浸没式冷却的差异。