跳到正文

#部署/工程

今日 12 条
11月25日周二
11月21日周五
11月20日周四
11月19日周三
11月17日周一
11月14日周五
11月13日周四
10月29日周三
  1. Hugging Face Blog38

    Hugging Face 解析全球算力格局变迁:中国芯片开始承载国产开源模型

    Hugging Face 发文分析全球 AI 算力格局的迁移:中国国产芯片已开始承载 Qwen、DeepSeek、GLM、Kimi 等开源权重模型的推理,部分模型开始用国产芯片训练。文章指出,美国出口管制与华为 Ascend、寒武纪等国产芯片产能的加速高度相关,芯片受限也倒逼出 MLA、GRPO 等算力效率创新。

10月27日周一
10月16日周四
10月15日周三
10月11日周六
10月2日周四
9月29日周一
9月22日周一
  1. Hugging Face Blog36

    Hugging Face 推出 SyGra:为 LLM 和 SLM 构建数据的一站式框架

    Hugging Face 推出低代码/无代码框架 SyGra,用于为 LLM 和 SLM 简化数据集的创建、转换与对齐,覆盖 Q&A 生成、DPO 偏好对、推理增强、RAG 长上下文构建及跨语言转换等场景。SyGra 提供 Python 库,支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端,让用户专注提示词工程而非繁琐的脚本管线。

9月19日周五
9月17日周三
9月11日周四
  1. Hugging Face Blog60

    Hugging Face 分享 gpt-oss 在 transformers 中可用的优化技巧

    Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术,包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。

    推荐理由:Hugging Face 公开 gpt-oss 适配 transformers 的升级细节,读者可据此判断量化、并行与缓存优化如何落地。

9月4日周四
  1. Hugging Face Blog62

    Google 发布 EmbeddingGemma 多语言嵌入模型

    Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。

    推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。

9月2日周二
  1. Hugging Face Blog62

    如何用 PyTorch AoT 编译让 ZeroGPU Spaces 提速

    Hugging Face 介绍在 ZeroGPU Spaces 上用 PyTorch 提前编译(AoT)加速模型推理的方法,Flux、Wan、LTX 等模型可获得 1.3× 至 1.8× 的提速。

    推荐理由:Hugging Face 官方给出在 ZeroGPU Spaces 上启用 AoT 编译的完整步骤与避坑细节,并验证了 1.3–1.8 倍的生成加速,对需要优化 GPU demo 的开发者有直接参考价值。

8月18日周一
8月13日周三
8月12日周二
8月8日周五
7月25日周五
7月23日周三
7月22日周二
7月17日周四
7月15日周二
7月10日周四
  1. Hugging Face Blog66

    Hugging Face 发布 ScreenEnv:在 Docker 中部署全栈桌面 Agent

    Hugging Face 发布 Python 库 ScreenEnv,可在 Docker 容器中创建隔离的 Ubuntu 桌面环境,用于测试和部署能看、能点击、能与真实应用交互的 GUI(Computer Use)智能体。

    推荐理由:Hugging Face 把桌面智能体的沙箱环境做成了可直接 pip 安装的库,读者可据此判断 GUI Agent 的搭建与部署成本变化。

7月9日周三
  1. Hugging Face Blog37

    Hugging Face 与 AMD 为 MI300X 打造自定义内核,加速 Llama 3.1 405B FP8 推理

    Hugging Face 与 AMD 合作,为 MI300X 编写开源优化内核,提升 Llama 3.1 405B 在 FP8 下用 VLLM 的推理性能。三个自定义内核——融合残差连接、RMS norm 与 FP8 转换,融合 SwiGLU 激活与 FP8 转换,以及 Skinny GEMM——带来显著加速,测量基于输入 1、输出 128 的解码场景。

7月8日周二
  1. Hugging Face Blog37

    Hugging Face 详解高效多模态数据管道:从 Padding 浪费到背包问题打包

    Hugging Face 在 nanoVLM 项目中发现,训练中约 60% 的 batch 被无用的 padding token 占据,GPU 大量空转。其博客给出五阶段数据管道方案:从朴素 padding、固定长度裁剪,到用背包问题(knapsack)动态打包序列,并借助 IterableDataset 与生产者-消费者队列实现多模态数据的按需组批,尽量减少填充浪费。

7月1日周二
6月28日周六
6月23日周一