OVHcloud 成为 Hugging Face Hub 支持的 Inference Provider
OVHcloud 正式加入 Hugging Face Hub 的 Inference Provider 生态,用户可直接在模型页和 JS/Python 客户端 SDK 中调用其无服务器推理服务。
OVHcloud 正式加入 Hugging Face Hub 的 Inference Provider 生态,用户可直接在模型页和 JS/Python 客户端 SDK 中调用其无服务器推理服务。
HF Mirror TRL 正式集成 RapidFire AI,可并发启动多组 TRL 配置、甚至在单 GPU 上对比微调与后训练方案,实验吞吐量比顺序对比提升约 16–24 倍。
AnyLanguageModel 是一个 Swift 包,作为 Apple Foundation Models 框架的 drop-in 替代,只需把 import FoundationModels 换成 import AnyLanguageModel 即可保持相同 API。
推荐理由:AnyLanguageModel 用 Apple Foundation Models 的统一 API 接入本地与云端模型,读者可据此评估跨后端切换的成本。
OpenAI 发布网络研讨会,介绍如何在软件开发的完整生命周期中运用 Codex。
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构,旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐,总训练量 76.8B token。
HF Mirror 的 kernels 库支持用 kernel-builder 构建并向 kernels-community 分享 GPU 内核,覆盖 CUDA、ROCm、Metal、XPU 等后端,并与 PyTorch 无缝集成。
AMD 联合 Hugging Face 和 Data Monsters 举办 AMD Open Robotics Hackathon,首站 12 月 5-7 日在东京,第二站 12 月 12-14 日在巴黎。
Hugging Face 宣布与 Google Cloud 建立更深层合作,让企业能在 Google Cloud 上用开放模型构建自己的 AI。
Hugging Face 发文分析全球 AI 算力格局的迁移:中国国产芯片已开始承载 Qwen、DeepSeek、GLM、Kimi 等开源权重模型的推理,部分模型开始用国产芯片训练。文章指出,美国出口管制与华为 Ascend、寒武纪等国产芯片产能的加速高度相关,芯片受限也倒逼出 MLA、GRPO 等算力效率创新。
Hugging Face 发布 huggingface_hub v1.0,这是该库历经五年、35 个以上版本后的首个大版本,包含破坏性变更。
推荐理由:梳理 huggingface_hub v1.0 的破坏性变更与迁移路径,可据此评估现有 ML 依赖链的升级成本。
Intel 与 HuggingFace 合作,在搭载 Intel Xeon 6 处理器(GNR)的 Google Cloud C4 虚拟机上对 OpenAI GPT OSS(120B MoE)做文本生成基准测试,相比上代 C3 实例 TCO 改善 1.7 倍,TPOT 吞吐/vCPU/美元提升 1.4x–1.7x,每小时价格更低。
Hugging Face 发布教程,介绍用 Optimum Intel 和 OpenVINO 在 Intel CPU 上本地运行视觉语言模型(VLM)的三步流程:将 HuggingFaceTB/SmolVLM2-256M-Video-Instruct 转换为 OpenVINO IR、用量化配置做权重量化(INT8)或静态量化,再执行推理。
Arm 将于 10 月 22-23 日现场参加 PyTorch Conference,展示开发者如何用 PyTorch 和 ExecuTorch 构建与部署 AI 应用,并在 P1 展位演示神经图形训练、音频生成、语音识别及智能体工作流。
Hugging Face 发布三部分系列文章,讲解如何用 Core ML 与 MLX 将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,该模型在 OmniDocBench 上超过 Gemini 2.5 Pro。
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上以 Qwen3-0.6B 作草稿模型对 Qwen3-8B 做投机解码,生成速度提升约 1.3 倍。
Hugging Face 推出低代码/无代码框架 SyGra,用于为 LLM 和 SLM 简化数据集的创建、转换与对齐,覆盖 Q&A 生成、DPO 偏好对、推理增强、RAG 长上下文构建及跨语言转换等场景。SyGra 提供 Python 库,支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端,让用户专注提示词工程而非繁琐的脚本管线。
Scaleway 现已加入 HF Mirror Hub 的 Inference Providers,用户可直接在模型页调用 gpt-oss、Qwen3、DeepSeek R1、Gemma 3 等开放权重模型。
Hugging Face 宣布 Public AI 加入 HF Mirror Inference Providers 生态,用户可在模型页和 JS/Python 客户端 SDK 中直接调用其托管的公共与主权模型,如瑞士 AI Initiative 的 Apertus-70B。
Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术,包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。
推荐理由:Hugging Face 公开 gpt-oss 适配 transformers 的升级细节,读者可据此判断量化、并行与缓存优化如何落地。
Together AI 与 Hugging Face 联合推出新能力,可在 Together AI 基础设施上微调 Hugging Face Hub 上任何兼容的 LLM,并通过加入 hf_api_token 支持私有仓库,训练后指定 hf_output_repo_name 即可把模型回传 Hub。
Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。
推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。
Hugging Face 介绍在 ZeroGPU Spaces 上用 PyTorch 提前编译(AoT)加速模型推理的方法,Flux、Wan、LTX 等模型可获得 1.3× 至 1.8× 的提速。
推荐理由:Hugging Face 官方给出在 ZeroGPU Spaces 上启用 AoT 编译的完整步骤与避坑细节,并验证了 1.3–1.8 倍的生成加速,对需要优化 GPU demo 的开发者有直接参考价值。
Hugging Face 发布 kernel-builder 使用指南,演示如何从零编写一个 CUDA kernel(以 RGB 转灰度为例),将其注册为原生 PyTorch 算子并发布到 Hugging Face Hub。
ExecuTorch 0.7 beta 将默认启用 Arm KleidiAI,为基于最新 Arm CPU 架构及大量旧款手机自动带来加速,开发者无需改代码即可通过 ExecuTorch 和 XNNPack 获得优化,实现更快的模型启动、更低延迟和更小内存占用。
Arm 推出 Neural Super Sampling(NSS)供图形与游戏开发者试用,这是一个在移动 GPU 的 Neural Accelerators(NX)上运行的实时时序超采样参数预测模型。
Hugging Face Accelerate 联合 Axolotl 集成 ND-Parallel,可在训练脚本中自由组合数据并行、FSDP、张量并行和上下文并行等策略,通过 ParallelismConfig 类配置各项并行度。
Hugging Face 把 HF Mirror CLI 从 huggingface-cli 正式更名为 hf,命令按资源重新分组为 hf auth、hf cache、hf repo、hf upload、hf download 等,旧命令仍可用但会提示弃用警告。
Hugging Face 博客给出用 Diffusers 和 PEFT 加速 Flux.1-Dev 上 LoRA 推理的优化方案,组合 Flash Attention 3、torch.compile 和 FP8 量化,在 H100 上相对基线提速 2.23 倍。
NVIDIA 推出面向 Hugging Face 的 NIM 推理微服务,可在单个 Docker 容器中部署超过 10 万个 LLM。NIM 会自动识别模型格式与量化类型(如 FP16、FP8、INT4),并在 NVIDIA TensorRT-LLM、vLLM 和 SGLang 之间选择后端,免去手工配置。
Gradio 5.38.0 为 Gradio MCP Server 带来五项改进:新增 "File Upload" MCP server 让智能体直接上传本地文件,实时流式推送进度通知,并可用 gr.load_openapi 一行代码将 OpenAPI schema 转为 MCP server。
Hugging Face 宣布把 Hub 存储后端从 Git LFS 迁移到 Xet,6 个月内已有 50 万个仓库、20 PB 数据迁入,超过 100 万用户在用。
Hugging Face 开发了 hf.co/mcp 的 MCP Server,让 AI 助手通过一个 URL 远程访问 Hub 与 Spaces 上数千个 AI 应用,并支持用户按需自定义工具。生产环境选择 MCP 的 Streamable HTTP 传输,采用无状态、Direct Response 配置;开源代码同时支持 STDIO、SSE 与 Streamable HTTP。
Hugging Face 发布 Python 库 ScreenEnv,可在 Docker 容器中创建隔离的 Ubuntu 桌面环境,用于测试和部署能看、能点击、能与真实应用交互的 GUI(Computer Use)智能体。
推荐理由:Hugging Face 把桌面智能体的沙箱环境做成了可直接 pip 安装的库,读者可据此判断 GUI Agent 的搭建与部署成本变化。
Hugging Face 发布博客介绍机器人异步推理,将动作预测与动作执行解耦,让机器人在 PolicyServer 计算下一段动作时继续执行当前动作队列,从而消除等待推理的空闲时间。
Hugging Face 与 AMD 合作,为 MI300X 编写开源优化内核,提升 Llama 3.1 405B 在 FP8 下用 VLLM 的推理性能。三个自定义内核——融合残差连接、RMS norm 与 FP8 转换,融合 SwiGLU 激活与 FP8 转换,以及 Skinny GEMM——带来显著加速,测量基于输入 1、输出 128 的解码场景。
Hugging Face 在 nanoVLM 项目中发现,训练中约 60% 的 batch 被无用的 padding token 占据,GPU 大量空转。其博客给出五阶段数据管道方案:从朴素 padding、固定长度裁剪,到用背包问题(knapsack)动态打包序列,并借助 IterableDataset 与生产者-消费者队列实现多模态数据的按需组批,尽量减少填充浪费。
HF Mirror 基础设施团队公开支撑其生产环境的三类核心告警:NAT 网关吞吐量过高告警用于监控出网流量,可在流量激增或重构时触发以优化成本;Hub 请求日志归档成功率告警依托 Filebeat、Logstash 与 Elasticsearch 组成的日志管道,保障模型使用数据的采集与归档。
Sentence Transformers 现已支持训练和微调稀疏嵌入模型,微调后的 sparse-encoder/example-inference-free-splade-distilbert-base-uncased-nq 成本低廉,尤其适合混合搜索和检索重排场景。
NVIDIA Llama Nemotron Nano VL 已上架 Hugging Face,这是一款 8B 视觉语言模型,面向智能文档处理与 OCR。
SGLang 现已支持 Hugging Face transformers 作为后端,可直接运行任意 transformers 兼容模型,无需原生支持,通过设置 impl="transformers" 即可启用。