跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–40 条 · 共 69 条
7月30日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics ER 2,为机器人带来视频理解、任务编排与多机器人协作

    Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2,作为高层“大脑”负责对话、理解物理世界并规划多步任务,再把电机执行交给底层 VLA 模型。

    推荐理由:Gemini Robotics ER 2 给出了多机器人协作与视频进度追踪的能力细节和开发者接入方式。

7月29日周三
  1. Berkeley AI Research60

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley Sky Lab 与 IBM Research 将 K-Search 这一进化式内核搜索框架扩展到 MLX,用结构化的 CUDA-to-MLX 翻译层,把已有 CUDA 内核当作知识库迁移到 Apple Silicon。

    推荐理由:这篇工作给出把 CUDA 内核经验迁移到 Apple Silicon 的具体做法,读者可据此判断跨平台内核优化的可行路径。

7月15日周三
7月8日周三
  1. Hugging Face Blog77

    vLLM 的 transformers 建模后端提速至原生实现水平

    Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的吞吐量,覆盖 Qwen3-4B(单卡)、Qwen3-32B(张量并行)、Qwen3-235B-A22B-FP8(数据加专家并行,8×H100)三种规模。

    推荐理由:官方给出三个 Qwen3 模型的实测对比,读者可了解无需移植即可获得原生级 vLLM 推理速度的具体路径。

7月7日周二
  1. Hugging Face Blog62

    SkyPilot 与 Hugging Face 打通:用 hf:// 挂载实现零出站存储

    Hugging Face 与 SkyPilot 联合推出 hf:// 挂载能力,可将 Hugging Face Bucket 或模型、数据集仓库挂载进 SkyPilot 任务,在 20 多个云、Kubernetes、Slurm 和本地环境中运行 GPU 作业。

    推荐理由:原文给出了 hf:// 挂载方式和跨云零出站读取的实测吞吐数据,读者可据此判断多云端 GPU 训练的存储成本变化。

6月25日周四
  1. Google DeepMind75

    Google DeepMind 在 Gemini 3.5 Flash 中内置 computer use

    Google DeepMind 宣布 computer use 成为 Gemini 3.5 Flash 的内置工具,开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能在浏览器、移动端和桌面环境中看、推理并采取行动的智能体。

    推荐理由:原文说明了 computer use 从独立模型并入主力 Flash 模型,并给出企业可用入口和两个安全防护机制。

6月11日周四
  1. Google DeepMind67

    Google DeepMind 发布 DiffusionGemma:文本扩散模型推理最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次性生成 256 个 token,在专用 GPU 上文本生成最高提速 4 倍,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 4x 推理加速的实测数字与本地低并发场景边界,读者可据此判断它适合哪些交互式工作流。

6月2日周二
5月27日周三
  1. Hugging Face Blog65

    Hugging Face 在 TRL 中实现 Delta Weight Sync,用 Hub Bucket 同步万亿参数权重

    Hugging Face 在 TRL 中提交 PR,用增量权重同步替代异步强化学习中的全量权重传输:两次 RL 优化步之间约 99% 的 bf16 权重字节完全一致,只把变化的元素编码成稀疏 safetensors 文件上传到 HF Bucket,再让 vLLM 拉取。

    推荐理由:Hugging Face 把异步强化学习的权重同步从全量广播改成稀疏增量,并给出可下载运行的实现,读者可以据此判断跨机房训练的门槛变化。

5月16日周六
  1. Google DeepMind60

    Google DeepMind 的 WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心(NHC)提前五天以 80% 置信度预测飓风 Melissa 将在牙买加以 Category 5 强度登陆,三天的置信度接近 100%,这是首次从 Category 1 风速起步预测风暴达到 Category 5 强度。

    推荐理由:Google DeepMind 披露 WeatherNext 在飓风 Melissa 预警中的实战表现,读者可看到 AI 气象模型对路径与强度的同时预测能力。

5月14日周四
  1. Hugging Face Blog64

    Hugging Face 详解连续批处理中的异步化:用 CUDA 流与事件消除 CPU-GPU 串行等待

    Hugging Face 博客发布第二篇高效 LLM 推理系列文章,讲解如何在连续批处理中实现异步化:将 CPU 的批准备与 GPU 的计算解耦,用 H2D、compute、D2H 三个非默认 CUDA 流配合 CUDA event 跨流同步,并处理双缓冲防数据竞争与 carry-over 传递新 token。

    推荐理由:以 CPU 与 GPU 串行浪费为主线,给出三流分离与 CUDA event 同步的异步批处理实现思路,可迁移到长序列推理部署优化。

4月22日周三
4月13日周一
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics-ER 1.6

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型的一次重大升级,增强了空间推理与多视角理解,并新增仪表读数能力。

    推荐理由:官方给出新版本在空间推理、成功检测与仪表读数上的能力变化,以及 API 与 AI Studio 的开放入口。

4月1日周三
3月21日周六
  1. Hugging Face Blog63

    如何在一天内构建领域专用嵌入模型

    NVIDIA 发布一套在单张 GPU 上不到一天完成领域嵌入模型微调的流程,基于 Llama-Nemotron-Embed-1B-v2,无需人工标注。流程用 nemotron-3-nano-30b-a3b 从领域文档生成合成问答数据、挖掘难负样本并做多跳展开,再用对比学习微调,实测 nDCG@10 与 Recall@10 均提升约 10%。

    推荐理由:NVIDIA 给出了从合成数据、难负样本挖掘到 ONNX/TensorRT 部署的完整嵌入模型微调配方,附真实评测数字。

2月18日周三
  1. Hugging Face Blog62

    Gradio 6 的 gr.HTML 支持自定义模板,可一句话生成完整 Web 应用

    Gradio 6 为 gr.HTML 加入自定义模板、作用域 CSS 和 JavaScript 交互能力,前端、后端与状态管理可以全部写进单个 Python 文件,无需构建步骤,几秒内部署到 HF Space。

    推荐理由:Gradio 6 的 gr.HTML 打通了单文件前后端与状态同步,读者可据此判断 LLM 一句话生成完整 Web 应用的工作流是否可行。

2月13日周五
  1. Hugging Face Blog69

    Hugging Face 发布 CUDA 内核 Agent 技能,让 Codex 与 Claude 自动生成生产级 kernel

    Hugging Face 构建了一个 agent skill,教编码智能体编写生产级 CUDA kernel,并让 Claude 和 Codex 针对 diffusers 的 LTX-Video 与 transformers 的 Qwen3-8B 两个真实目标端到端生成了可运行的 kernel,包含正确的 PyTorch 绑定与基准脚本。

    推荐理由:Hugging Face 把 CUDA kernel 开发知识封装成可安装的 Agent 技能,并给出两组真实基准,读者可据此判断它在自有项目中的复用价值。

2月9日周一
1月6日周二
  1. Hugging Face Blog68

    NVIDIA 发布 Cosmos Reason 2,面向物理 AI 的开源推理视觉语言模型

    NVIDIA 发布面向物理 AI 的开源推理视觉语言模型 Cosmos Reason 2,提供 2B 和 8B 两种参数规模,在 Physical AI Bench 和 Physical Reasoning 榜单上位列开源模型第一。

    推荐理由:Cosmos Reason 2 给出 2B/8B 开源权重的具体升级项与评测数据,可据此判断物理 AI 推理模型的当前水位。

12月1日周一
  1. Hugging Face Blog70

    Hugging Face 发布 Transformers v5:简化模型定义并强化推理与量化

    Hugging Face 发布 Transformers v5 首个候选版本 v5.0.0rc-0,主题为互操作性。官方称该库每日 pip 安装量已超 300 万次,累计安装超 12 亿次,支持的模型架构从 v4 时的 40 个增至 400 余个,Hub 上兼容的模型 checkpoint 超过 75 万个。

    推荐理由:官方长文给出 v5 在模块化定义、推理接口与量化上的改动,读者可据此判断迁移成本与生态兼容性。