从第一性原理理解 continuous batching：LLM 推理吞吐优化是如何推导出来的
Hugging Face 博客从注意力机制与 KV 缓存出发，用吞吐量优化推导出 continuous batching：通过并行处理多段对话、完成即换出来提升高负载场景下的推理性能。
#Hugging Face
#Hugging Face
今日 1 条Hugging Face BlogAI 评分4343 Hugging Face BlogAI 评分2121 OVHcloud 成为 Hugging Face Hub 支持的 Inference Provider
OVHcloud 正式加入 Hugging Face Hub 的 Inference Provider 生态，用户可直接在模型页和 JS/Python 客户端 SDK 中调用其无服务器推理服务。
Hugging Face BlogAI 评分4444 HF Mirror TRL 集成 RapidFire AI，微调速度提升最高 24 倍
HF Mirror TRL 正式集成 RapidFire AI，可并发启动多组 TRL 配置、甚至在单 GPU 上对比微调与后训练方案，实验吞吐量比顺序对比提升约 16–24 倍。
Hugging Face BlogAI 评分2828 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Hugging Face Blog精选AI 评分6262 AnyLanguageModel 发布：为 Apple 平台本地与远程 LLM 提供统一 API
AnyLanguageModel 是一个 Swift 包，作为 Apple Foundation Models 框架的 drop-in 替代，只需把 import FoundationModels 换成 import AnyLanguageModel 即可保持相同 API。
推荐理由：AnyLanguageModel 用 Apple Foundation Models 的统一 API 接入本地与云端模型，读者可据此评估跨后端切换的成本。
Hugging Face BlogAI 评分5555 ServiceNow 发布 Apriel-H1：把 15B 推理模型蒸馏成 Mamba 混合架构，吞吐提升 2.1 倍
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构，旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐，总训练量 76.8B token。
Hugging Face BlogAI 评分2727 用 HF Mirror 轻松构建和分享 ROCm 内核
HF Mirror 的 kernels 库支持用 kernel-builder 构建并向 kernels-community 分享 GPU 内核，覆盖 CUDA、ROCm、Metal、XPU 等后端，并与 PyTorch 无缝集成。
Hugging Face BlogAI 评分1313 AMD 联合 Hugging Face 举办开放机器人黑客松，东京、巴黎两站报名开启
AMD 联合 Hugging Face 和 Data Monsters 举办 AMD Open Robotics Hackathon，首站 12 月 5-7 日在东京，第二站 12 月 12-14 日在巴黎。
Hugging Face BlogAI 评分2828 Hugging Face 与 Google Cloud 达成新合作，共建开放模型生态
Hugging Face 宣布与 Google Cloud 建立更深层合作，让企业能在 Google Cloud 上用开放模型构建自己的 AI。
Hugging Face BlogAI 评分3838 Hugging Face 解析全球算力格局变迁：中国芯片开始承载国产开源模型
Hugging Face 发文分析全球 AI 算力格局的迁移：中国国产芯片已开始承载 Qwen、DeepSeek、GLM、Kimi 等开源权重模型的推理，部分模型开始用国产芯片训练。文章指出，美国出口管制与华为 Ascend、寒武纪等国产芯片产能的加速高度相关，芯片受限也倒逼出 MLA、GRPO 等算力效率创新。
Hugging Face BlogAI 评分4141 NVIDIA Isaac for Healthcare v0.4：从仿真到部署搭建医疗机器人
NVIDIA 发布 Isaac for Healthcare v0.4，提供基于 SO-ARM 的端到端入门工作流和"自带手术室"教程，覆盖数据采集、训练与部署全流程。
Hugging Face BlogAI 评分5454 IBM 发布 Granite 4.0 Nano 系列端侧小模型
IBM 发布 Granite 4.0 Nano 系列，这是其迄今最小的模型，面向边缘和端侧应用，包含 Granite 4.0 H 1B（约 1.5B 参数）、Granite 4.0 H 350M 两个混合 SSM 架构稠密模型，以及传统 Transformer 版的 Granite 4.0 1B 和 350M。
Hugging Face BlogAI 评分4040 Hugging Face 提出「语音同意门」：让语音克隆必须先获得本人同意
Hugging Face 发布博客提出「voice consent gate」（语音同意门）方案，让语音克隆模型只有在说话人明确说出同意语句并被 ASR 识别后才启动。该方案由三部分组成：生成约 20 词、含同意短语和模型名的随机英文句子，用 ASR 识别同意语句，再由 TTS 语音克隆系统合成语音。团队同时放出示例 Space 和配套代码，并建议同意录音直接来自麦克风而非上传文件。
Hugging Face Blog精选AI 评分6565 huggingface_hub v1.0 发布：五年后迎来首个大版本
Hugging Face 发布 huggingface_hub v1.0，这是该库历经五年、35 个以上版本后的首个大版本，包含破坏性变更。
推荐理由：梳理 huggingface_hub v1.0 的破坏性变更与迁移路径，可据此评估现有 ML 依赖链的升级成本。
Hugging Face BlogAI 评分5757 Hugging Face 将流式数据集加载效率提升 100 倍
Hugging Face 改进 datasets 库的 streaming=True 流式加载，实现数据文件解析快 10 倍、启动请求最多减少 100 倍、流式速度提升最多 2 倍，且在 256 并发 worker 下 0 崩溃。
Hugging Face Blog精选AI 评分6464 LeRobot v0.4.0 发布：数据集 v3.0、插件系统与 PI0.5、GR00T N1.5 集成
Hugging Face 发布 LeRobot v0.4.0，对开源机器人学习框架做重大升级，推出支持流式与分块 episode 的 LeRobotDataset v3.0 数据集格式、可用 pip install 接入第三方硬件的插件系统，并新增 lerobot-edit-dataset 数据集编辑工具。
推荐理由：内容完整列出数据集格式、插件系统与多GPU训练的具体改动，可据此判断开源机器人学习工具链的工程变化。
Hugging Face Blog精选AI 评分6060 Meta 与 Hugging Face 联合发布 OpenEnv Hub 智能体环境共享中心
Meta 与 Hugging Face 宣布合作推出 OpenEnv Hub，一个供开发者构建、分享和探索智能体环境（agentic environments）的开放社区中心，这些环境定义了智能体执行任务所需的工具、API、凭证和执行上下文，可用于训练和部署。
推荐理由：Meta 与 Hugging Face 联合推出的智能体环境共享中心，给出环境规范与训练部署一体的路径。
Hugging Face BlogAI 评分5555 Hugging Face Hub 与 VirusTotal 合作，为 220 万公开仓库持续扫描恶意文件
Hugging Face Hub 宣布与威胁情报平台 VirusTotal 合作，从即日起对 Hub 上 220 万多个公开模型和数据集仓库进行持续扫描。用户访问仓库或文件页面时，Hub 会自动将文件哈希与 VirusTotal 威胁情报库比对，返回干净或恶意状态，原始文件内容不会共享给 VirusTotal。检测结果可提供检出数量、已知恶意关联或威胁活动情报等元数据，供用户在下载或集成前参考。
Hugging Face BlogAI 评分4141 Sentence Transformers 正式加入 Hugging Face
Sentence Transformers 从 TU Darmstadt 的 UKP Lab 转由 Hugging Face 维护，Hugging Face 的 Tom Aarsen 自 2023 年底起已负责该项目并将继续领导。
Hugging Face BlogAI 评分4545 Hugging Face 指南：用开源模型强化 OCR Pipeline
Hugging Face 发布指南，介绍如何用开放权重模型搭建 OCR Pipeline，并新增 Chandra 与 OlmOCR-2 两个模型及其 OlmOCR 评分。指南对比了当前 OCR 模型的能力、评测基准与成本效率，还讲解了何时微调、何时直接使用，以及如何用多模态检索和文档问答把 OCR 扩展到更远。
Hugging Face BlogAI 评分5757 Hugging Face AI Sheets 更新，支持图像提取、生成与编辑
Hugging Face 发布 AI Sheets 重大更新，为这款无需写代码的开源数据集工具加入视觉能力，可直接在表格中查看、分析图片，提取收据与文档等图像中的结构化数据，并生成或编辑图片，底层通过 Inference Providers 调用数千个开源模型。
Hugging Face BlogAI 评分3030 Hugging Face 发起 AI for Food Allergies 项目，用 AI 推进食物过敏研究
Hugging Face 发起 AI for Food Allergies 项目，计划建设首个社区驱动的研究实验室，探索 AI 如何推进食物过敏研究。
Hugging Face BlogAI 评分3030 Google Cloud C4 搭配 Intel 与 HF Mirror，将 GPT OSS 的 TCO 改善 70%
Intel 与 HuggingFace 合作，在搭载 Intel Xeon 6 处理器（GNR）的 Google Cloud C4 虚拟机上对 OpenAI GPT OSS（120B MoE）做文本生成基准测试，相比上代 C3 实例 TCO 改善 1.7 倍，TPOT 吞吐/vCPU/美元提升 1.4x–1.7x，每小时价格更低。
Hugging Face BlogAI 评分2626 如何在 Intel CPU 上三步跑起 VLM：SmolVLM + Optimum Intel + OpenVINO 教程
Hugging Face 发布教程，介绍用 Optimum Intel 和 OpenVINO 在 Intel CPU 上本地运行视觉语言模型（VLM）的三步流程：将 HuggingFaceTB/SmolVLM2-256M-Video-Instruct 转换为 OpenVINO IR、用量化配置做权重量化（INT8）或静态量化，再执行推理。
Hugging Face BlogAI 评分4141 Hugging Face 推出 BigCodeArena：通过执行代码来评测代码生成模型
Hugging Face 发布 BigCodeArena，首个通过实际执行代码来评估代码生成模型的人类参与平台，任何人都可让两个模型同题生成代码、在沙箱中运行后投票，结果汇总进排行榜。
Hugging Face BlogAI 评分3131 用 Core ML 和 dots.ocr 实现 SOTA OCR：将 3B 模型转换到端侧运行
Hugging Face 发布三部分系列文章，讲解如何用 Core ML 与 MLX 将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行，该模型在 OmniDocBench 上超过 Gemini 2.5 Pro。
Hugging Face BlogAI 评分4242 Hugging Face 推出 RTEB：面向真实场景的检索嵌入评测基准
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评测嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域，每个数据集至少 1k 文档和 50 queries，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测。
Hugging Face BlogAI 评分5151 NVIDIA 发布 Nemotron-Personas-Japan 合成日本人画像数据集
NVIDIA 发布 Nemotron-Personas-Japan，一个面向日本主权 AI 的开放合成画像数据集，共 600 万条自然日语画像，采用 CC BY 4.0 授权，可商用与非商用。
Hugging Face BlogAI 评分3838 Swift Transformers 发布 1.0，未来聚焦 MLX 与智能体用例
Hugging Face 的 Swift 库 swift-transformers 发布 1.0，将 Tokenizers 和 Hub 升级为独立顶级模块，并采用支持有状态模型与 MLTensor 的现代 Core ML API。
Hugging Face Blog精选AI 评分6060 Smol2Operator：面向计算机使用 GUI Agent 的后训练方案
Hugging Face 发布 Smol2Operator，用两阶段后训练把无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成可理解并操作图形界面的智能体。
推荐理由：完整开源了两阶段后训练配方与数据工具，读者可据此把无 GUI 定位能力的小型 VLM 训练成可操作的界面智能体。
Hugging Face BlogAI 评分3636 Hugging Face 推出 SyGra：为 LLM 和 SLM 构建数据的一站式框架
Hugging Face 推出低代码/无代码框架 SyGra，用于为 LLM 和 SLM 简化数据集的创建、转换与对齐，覆盖 Q&A 生成、DPO 偏好对、推理增强、RAG 长上下文构建及跨语言转换等场景。SyGra 提供 Python 库，支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端，让用户专注提示词工程而非繁琐的脚本管线。
Hugging Face Blog精选AI 评分7272 Meta 发布 Gaia2 基准与 ARE 智能体评测环境
Meta 发布 GAIA 的后续基准 Gaia2 以及开源框架 Meta Agents Research Environments（ARE），用于运行、调试和评测智能体。
推荐理由：Meta 发布 Gaia2 基准与 ARE 环境源码，给出多模型在模糊、噪声与时间推理任务上的实测结果，便于对照自身智能体能力。
Hugging Face BlogAI 评分2222 Scaleway 成为 HF Mirror Inference Providers 新成员
Scaleway 现已加入 HF Mirror Hub 的 Inference Providers，用户可直接在模型页调用 gpt-oss、Qwen3、DeepSeek R1、Gemma 3 等开放权重模型。
Hugging Face BlogAI 评分4242 Hugging Face 推出 RiskRubric.ai：为模型生态提供标准化风险评估
Cloud Security Alliance 与 Noma Security 牵头，Haize Labs 和 Harmonic Security 参与，推出 RiskRubric.ai，对模型按透明度、可靠性、安全、隐私、安全和声誉六大维度打分并给出 A-F 等级。
Hugging Face BlogAI 评分2222 Public AI 成为 HF Mirror Inference Providers 支持的服务商
Hugging Face 宣布 Public AI 加入 HF Mirror Inference Providers 生态，用户可在模型页和 JS/Python 客户端 SDK 中直接调用其托管的公共与主权模型，如瑞士 AI Initiative 的 Apertus-70B。
Hugging Face BlogAI 评分3737 LeRobotDataset v3.0 发布：把大规模数据集带进 lerobot
Hugging Face 发布 LeRobotDataset v3.0，将多个 episode 打包进单个文件，并用关系型元数据在 episode 级别检索，解决 v2 每文件一个 episode 在百万级数据集上的文件系统瓶颈。
Hugging Face BlogAI 评分2828 Hugging Face 用 Gradio 一条命令为 AI 生成图像、视频和文本添加可见水印
Hugging Face 让 Gradio 应用添加可见水印只需一条命令：图像和视频传入 watermark 参数，文本则在 gr.Chatbot 中设置 watermark，用户复制 AI 回复时自动附加署名。水印支持文件名，图像还支持开放图片和 numpy 数组，并可用 QR 水印承载更多信息、匹配画面风格。官方提供了图像/视频与聊天机器人两个示例 Space 供试用。
Hugging Face BlogAI 评分2828 Writer 发布 Palmyra-mini 系列开源小模型，含两款推理版本
Writer 发布 Palmyra-mini 系列三款开源模型，参数规模 1.5B 至 1.7B，包括非思考基础模型 palmyra-mini 与两款经 Chain of Thought 训练的推理变体 palmyra-mini-thinking-a、palmyra-mini-thinking-b。
Hugging Face Blog精选AI 评分6060 Hugging Face 分享 gpt-oss 在 transformers 中可用的优化技巧
Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术，包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。
推荐理由：Hugging Face 公开 gpt-oss 适配 transformers 的升级细节，读者可据此判断量化、并行与缓存优化如何落地。
Hugging Face BlogAI 评分5858 Together AI 支持直接微调 Hugging Face Hub 上的任意 LLM
Together AI 与 Hugging Face 联合推出新能力，可在 Together AI 基础设施上微调 Hugging Face Hub 上任何兼容的 LLM，并通过加入 hf_api_token 支持私有仓库，训练后指定 hf_output_repo_name 即可把模型回传 Hub。