GPT-6 家族模型选型指南
OpenAI 发布 GPT-6 家族模型指南,面向初创团队讲解如何选择 GPT-6 模型、调节推理强度、优化提示词与技能、协调工具调用,并为生产环境准备工作流。
OpenAI 发布 GPT-6 家族模型指南,面向初创团队讲解如何选择 GPT-6 模型、调节推理强度、优化提示词与技能、协调工具调用,并为生产环境准备工作流。
ServiceNow CoreAI 构建了 AutoSynthData,用目标模型的失败案例与更强教师模型的成功轨迹定位能力缺口,再生成并验证新的可执行任务用于后训练,课程随模型进步向剩余难点迁移。
AWS Professional Services 打造了四智能体模式,在 Amazon Bedrock AgentCore 上运行、通过 MCP 工具连接源与目标,把单应用 IaC 开发时间从 3 到 4 周压缩到几分钟。该模式与 AWS Transform、AWS DMS 并存,覆盖迁移发现、IaC 生成、治理报告与切换后 SRE 运维,基于 Strands Agents SDK 构建。
NVIDIA 发布 Do Inference Now (DIN) Deploy,一个开源 C++ 示例集合,将 ONNX Runtime 与 NVIDIA TensorRT RTX 执行提供程序结合,帮助开发者把模型 checkpoint 转到本地原生应用。该示例面向需要可移植模型格式、可靠运行时和跨目标系统加速的本地 AI 场景。
NVIDIA NeMo Agent Toolkit(NAT)通过自定义 MemoryEditor 接口接入 Amazon S3 Vectors,把它作为持久记忆后端,支持每个索引最多 20 亿向量、强写一致性和按 bucket/index 的 IAM 访问控制。
Amazon Payments 在 Amazon SageMaker AI 上用多目标上下文多臂老虎机(LinUCB)为产品获客漏斗做个性化,将申请开始、提交、审批三阶段分别建模并线性组合 UCB 分数以兼顾整条漏斗;七周在线 A/B 测试中,某一人群的最终漏斗转化率取得高个位数相对提升,另一人群未见改善。团队认为问题出在内容而非模型,并公开了可在合成数据上试用的代码仓库。
Amazon Bedrock AgentCore 可构建事件驱动的环境智能体(ambient agent),由 Amazon S3 事件通知、EventBridge、Lambda 等信号触发后在 AgentCore Runtime 上运行,需要时通过单个 ask_human 工具暂停并等待人工审批再继续。
AWS 为 Claude Platform on AWS(CPonAWS)给出多环境访问的完整实现方案:在组织内设专用 AI Services 账户持有订阅与 workspace,AWS 工作负载通过跨账户 SigV4 调用推理,开发者用绑定 workspace 的长期 API key,外部环境经 OIDC 联邦获取短期凭证。
uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 做监督微调,并叠加提示词层面的输出优化,使其适配自身零售内容审核策略。
NVIDIA 针对沙特阿拉伯语方言微调 Nemotron 模型,以解决区域方言和本地录音条件在预训练数据中代表性不足、导致多语言模型在真实部署中表现欠佳的问题。基础模型可能识别现代标准阿拉伯语,却在沙特方言场景下失准,该工作同时给出向其他语言扩展的路径。
面向大规模个性化场景的生成式推荐系统(GR)把推荐重构为对用户行为的序列建模,用户的交互、上下文、候选物品和动作都被当作高基数事件流中的 token。NVIDIA 介绍如何用 Dynamo-Triton 部署 HSTU 生成式推荐模型。
Amazon Bedrock Knowledge Bases 可通过 AgenticRetrieveStream API 用自然语言查询理赔文档并返回带引用的答案。
AWS 官方博客给出在 Amazon Bedrock AgentCore Runtime Instances 上部署多智能体音乐制作管线的完整教程,三个智能体分别负责作曲、交付与合规筛查,通过同一个 runtimeSessionId 被调度到同一台 GPU 实例并共享文件系统。
推荐理由:原文给出了在 AgentCore Runtime Instances 上搭建多智能体协作管线的完整代码与部署步骤,可迁移到其他长时任务。
NVIDIA TensorRT Model Connect 是基于 NVIDIA TensorRT 构建的开源 C++ AI 模型参考实现集合,整个项目围绕编码智能体设计。项目采用并行工作、模型家族隔离、可回滚变更和 GPU 验证等做法,目标是让 NVIDIA 推理栈的性能更易于使用。
Amazon Quick 的提示词工程决定了其 AI 功能响应的准确性与可靠性,官方发布两部分系列的第一部分,聚焦适用于所有 Quick 组件的通用原则与可复用框架。
Amazon Quick 各组件对提示词的解析方式不同,官方博客按组件给出提示词写法:Quick Research 需明确目标、受众与关注点,并自行拆解子问题;Quick Flows 要写清时间、数据源与输出格式,复杂逻辑用编号步骤,并可通过对话迭代调整。
针对 RAG 在数百份合同上做汇总统计会算错的问题,AWS 给出了一套合同智能平台架构:AI 提取智能体(Claude Sonnet 系列)从 PDF 中抽取 8 个关键字段并附置信度。
GitHub Copilot app 的 canvas(画布)是一种可自定义界面,用户和智能体共享同一状态,可用看板、清单或仪表盘等形式承载工作流。在 agent 会话中输入 /create-canvas 技能并用自然语言描述工作流、用户可执行的操作和智能体可执行的操作,无需写代码或做设计,界面会在右侧面板生成。
NVIDIA 介绍面向生物基础模型的高效 MoE 训练方法,指出稠密 Transformer 中每个 token 都要过每一层,扩容会同时推高训练与推理算力;MoE 则用多个子网络(专家)替代,每个 token 只激活其中一小部分。
即便每块 GPU、网络链路和 pod 都显示健康,512-GPU 训练任务仍可能性能不达标或直接失败,原因可能是单块 GPU 变慢、链路在负载下降级,或配置悄悄把流量导向更慢的路径。运维者往往要到任务跑了几小时后才会发现问题。
GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超 100 万行改动、400 多条行内评审评论的开源 PR 验证其性能。代码行沿用"绘制前高度已知"的确定性虚拟化几何,评论等动态块则改为可预估、惰性测量并以文件与行号锚定的独立几何,避免滚动跳变。
NVIDIA 发布 SWE-Serve,用于评估推理服务软件改动——AI 编程智能体的补丁能通过测试,却可能在服务器加载真实模型并处理请求时失败。该基准由 SGLang 团队参与开发,包含 53 个任务,检查系统能否通过公开接口返回正确结果。
NVIDIA 机密计算(CC)为 LLM 推理提供在可信环境中运行的路径,通过内存加密的机密虚拟机(CVM)和机密 GPU 处理个人、企业及受监管场景中的敏感信息与专有模型上下文。
NVIDIA 介绍如何借助 AI 智能体与 Isaac ROS 加速 ROS 2 节点:单有快速 CUDA kernel 并不足以让 ROS 2 graph 变快,消息在节点间传递时仍可能在 CPU 内存中序列化或拷贝,抵消感知与 AI 负载留在 GPU 上的收益。方案依托上游抽象与 NVIDIA 近期推出的 CUDA buffer 后端来消除这一瓶颈。
NVIDIA 发布文章阐述 AI 智能体评估方法,指出上线智能体的关键问题是能否在真实环境中连续完成数十次顺序工具调用并在某步失败后恢复,而仅评估模型回答是否"听起来对"无法反映任务是否真正完成。因此智能体评估正从为单次函数调用打分,转向为整个任务打分。
NVIDIA 发布 AIPerf,用于规模化 LLM 推理的基准测试。文章指出用 curl 命令、手写 asyncio 脚本或临时负载生成器测性能都存在同样问题:单进程性能受限、Python GIL 限制并发。
GitHub 用 Copilot 智能体把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行 Rust,AI 智能体编写了大部分代码,跨 128 个 pull request 增量合入 main。
推荐理由:一位工程师复盘用 AI 智能体把 43 万行 TypeScript 运行时迁到 Rust 的全过程,含编排、缓存与评审经验。
AI 智能体工作流可用于为物理 AI 系统准备并验证数字孪生:智能体检查 3D 场景、在 OpenUSD 中编写仿真相关数据、添加物理属性、渲染预检视图,并对照 SimReady 要求验证结果。该流程覆盖从 Blender 场景到交付给 NVIDIA 的仿真就绪 OpenUSD 交接。
NVIDIA 介绍了 cuTile Rust(cutile-rs),一个用 Rust 编写 GPU kernel 的 tile 系统,将 Rust 所有权模型扩展到 tile 化的 GPU kernel 上,把可变输出切分为互不相交的片段,并在 kernel 启动间保持主机端所有权约定,同时允许程序员在需要底层控制时局部退出。
稠密模型与 MoE 架构的核心差异在于参数激活方式:MoE 通过专家路由让 30B 参数模型每个 token 仅激活 3B 参数,却仍能利用大模型容量,Nemotron 3.5 Lightning 即为例证。文章围绕活跃参数、吞吐量两个维度展开对比,并给出两者各自的适用选择场景。
NVIDIA 详解 Groq 3 LPX 的确定性执行机制,说明其如何在 NVIDIA Vera Rubin 平台上实现高交互推理的能效提升。文章指出,AI 工厂的核心约束是功耗,因此每瓦性能而非原始吞吐量才是衡量 AI 平台价值的标准。平台各组件需在有限功耗预算内最大化输出。
IBM 研究团队在 ALTK-Evolve 中新增一致性准则(consistency guidelines),用于解决智能体同一任务多次运行结果不稳定的问题。
推荐理由:原文给出检测智能体决策不稳定点的方法与开源实现,并说明如何将诊断转成可复用准则。
NVIDIA FLARE 支持在 Docker、Kubernetes 和 Slurm 上运行联邦学习,解决项目从单服务器、少量客户端扩展到共享基础设施时的编排问题。随着规模增长,GPU 需按需分配、多项研究需相互隔离,且每个参与机构都要保留对自身数据的控制权。
NVIDIA 用 Transformer Engine 加速 JAX 中的 Dropless MoE 训练。MoE 已成为大规模 AI 模型训练的标志性架构趋势,DeepSeek、Qwen、Mixtral 都是通过条件计算以更低训练算力达到或超过稠密模型性能的 MoE 模型代表。
GitHub 日韩营销团队用 GitHub Issue 表单、Labels 和 Actions 把活动运营流水线化:Issue 表单收集活动字段,标签触发工作流,活动从单个 Issue 自动搭建、每天筛选报名者并在结束后自动收尾。
NVIDIA 通过全栈 NIM 优化,使 Nemotron 3 Ultra 在相同 GPU 基础设施上可服务的并发用户数提升 2.5 倍。该优化针对生产级 LLM 部署中的并发与交互性权衡,对提示词长、跨步骤复用上下文的智能体 AI 负载尤为关键。
TRL v1.14 的 AsyncGRPOTrainer 现已支持只训练并同步 LoRA adapter 到 vLLM,训练与推理可跑在各自独立的 HF Jobs 上。
NVIDIA 详解多模态推理优化技术 Encode-Prefill-Decode(EPD)解耦:将视觉编码阶段与 prefill、decode 阶段分离,在图像密集提示、短到中等长度输出以及量化 MoE 模型上收益最大。结合 NVIDIA Dynamo 使用,最多可实现 5 倍加速。
NVIDIA 团队用 NVIDIA NemoClaw 构建了一个记忆驱动的"幕僚长"智能体,通过名为 self model 的人类可读知识层维护智能体的相关记忆。企业工作涉及随时间变化的邮件、决策、项目与待办事项,缺乏上下文的智能体必须先重建这些信息才能参与工作。
NVIDIA 介绍如何在 Jetson 边缘硬件上部署并优化前沿推理与智能体模型。此前具备多步推理能力的模型体积过大,无法在边缘本地运行,开发者只能把推理绕经数据中心,带来网络依赖、成本上升和本可留在设备上的数据外泄风险。NVIDIA 表示这一限制正在被解除。