SGLang 新增 Transformers 后端集成
SGLang 现已支持 Hugging Face transformers 作为后端，可直接运行任意 transformers 兼容模型，无需原生支持，通过设置 impl="transformers" 即可启用。
#Hugging Face
#Hugging Face
今日 1 条Hugging Face BlogAI 评分2929
Hugging Face Blog精选AI 评分6565 在消费级硬件上微调 FLUX.1-dev：QLoRA 与 FP8 实践
Hugging Face 发布教程，演示用 diffusers 库以 QLoRA 在单卡上微调 FLUX.1-dev，峰值显存约 9GB，可学习 Alphonse Mucha 艺术风格。
推荐理由：以 FLUX.1-dev 为例给出 QLoRA、8-bit 优化器、梯度检查点等组合，把微调峰值显存压到约 9GB。
Hugging Face BlogAI 评分2323 Groq 成为 HF Mirror Inference Providers 支持的服务商
Groq 正式加入 HF Mirror Hub 的 Inference Providers，为模型页面提供无服务器推理。Groq 支持 Meta Llama 4、Qwen QWQ-32B 等开源模型，其核心 LPU 专为 LLM 推理设计，延迟更低、吞吐更高。用户可在账户设置中配置 Groq API key 直连，或通过 HF 路由调用，PRO 用户每月获 $2 推理额度。
Hugging Face BlogAI 评分4040 长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 块 H100 上自托管大量 LLM，服务超 50 个应用、每天消耗逾 1 亿 token 并生成超 1000 万 token。由于 vLLM 默认的 chunked-prefill 会为单个请求顺序调度 prefill，一个长提示词即可阻塞后续请求的 prefill 队列，抬高首 token 延迟。
Hugging Face BlogAI 评分4949 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 推出 Kernel Hub，让 Python 库和应用直接从 Hub 加载预编译优化计算内核，用 `get_kernel("kernels-community/flash-attn")` 一行即可启用 FlashAttention，无需自行编译。
Hugging Face BlogAI 评分5151 NVIDIA 教程：如何为 LeRobot SO-101 机械臂微调 Isaac GR00T N1.5
NVIDIA 发布 Isaac GR00T N1.5 后给出教程，演示如何用单台 LeRobot SO-101 机械臂的遥操作数据对模型做 post-training 微调。
Hugging Face BlogAI 评分4848 Hugging Face 与 NVIDIA 联手推出 Training Cluster as a Service
Hugging Face 与 NVIDIA 合作推出 Training Cluster as a Service，让全球研究机构按需申请 GPU 集群并按训练时长付费，Hugging Face 上 25 万家组织可提交需求。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 ScreenSuite：面向 GUI Agent 的综合评测套件
Hugging Face 发布 ScreenSuite，称其为面向 GUI Agent 最全面的评测套件，整合 13 个基准，覆盖感知、Grounding、单步动作与多步智能体四类能力。
推荐理由：原文给出 13 个基准的构成与纯视觉评测设定，可据此了解 GUI Agent 评测如何统一与本地复现。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成提速 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Caching，使生成速度提升 38%。nanoVLM 是一个用纯 PyTorch 训练自定义视觉语言模型的精简代码库，KV Cache 在 Attention 块、语言模型层和生成循环三处启用，把逐步生成从全序列重算改为增量更新。文中的经验适用于所有自回归语言模型生成。
Hugging Face BlogAI 评分2727 Arm CPU 上用 Stable Audio Open 实现实时 AI 音效生成
Arm 工程师 Michael Gamble 用 Stability AI 的 Stable Audio Open 模型，在 Arm CPU 上构建了完全本地运行的个人音效生成工具，无需 GPU 和云端推理，几秒内即可根据文字提示生成 .wav 文件并直接送入 Ableton Live。
Hugging Face Blog精选AI 评分6262 H Company 发布 GUI 自动化 VLM 系列 Holo1 与 WebClick 基准
H Company 发布 Holo1 系列 Action VLM，包括 Holo1-3B 和 Holo1-7B，基于 Qwen2.5-VL 架构并兼容 transformers，同时在 Hugging Face 开源包含 1,639 个类人 UI 任务的 WebClick 多模态定位基准。
推荐理由：Holo1 开源了 3B 和 7B 两档 GUI 定位模型，并给出真实网页任务的成本与准确率数据，便于判断小模型的落地边界。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 SmolVLA：450M 开源视觉语言动作模型，基于 LeRobot 社区数据训练
Hugging Face 发布 SmolVLA，一个 450M 参数、可在消费级硬件运行的开源视觉语言动作（VLA）模型，仅用 lerobot 标签下社区共享的开源数据集预训练，包含 487 个数据集约 1000 万帧。
推荐理由：450M 参数的开源 VLA 只用社区数据就超过更大模型，并给出可复现的训练与部署路径。
Hugging Face BlogAI 评分5252 TRL 支持 vLLM 与 GRPO 训练同卡部署
Hugging Face TRL 通过 PR #3394 支持 vLLM 的 external launcher，可在同一分布式进程组中让训练与推理共享同一批 GPU，需在 GRPOConfig 中设置 vllm_mode="colocate"。
Hugging Face BlogAI 评分5151 Hugging Face 研究：用结构化输出提升 CodeAgent 执行可靠性
Hugging Face 分享研究，提出让 CodeAgent 以结构化 JSON 同时输出 thoughts 和可执行 code，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
Hugging Face BlogAI 评分1212 Liger GRPO 结合 TRL 在 DeepSpeed ZeRO3 下出现 shape mismatch
有用户在 bf16 精度下用 Qwen2.5-0.5B-Instruct 测试 Liger GRPO loss 搭配 DeepSpeed ZeRO3，训练时在 liger_kernel 的 grpo_loss 前向计算中触发 shape mismatch 报错。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布 Python Tiny Agents：约 70 行代码实现 MCP 智能体
Hugging Face 发布 Python 版 Tiny Agents，通过扩展 huggingface_hub 的 MCPClient 让智能体从 MCP 服务器拉取工具并传给 LLM，核心代码约 70 行。
推荐理由：官方教程给出 70 行搭 MCP 智能体的完整配置与代码路径，可直接照此复现。
Hugging Face BlogAI 评分3838 Dell Enterprise Hub 更新：一站式本地部署 AI 模型与应用
Dell Enterprise Hub 发布新版本，提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的即用容器，针对 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 的 Dell 服务器完成测试与优化，Llama 4 在 Meta 公开发布后 1 小时内即上线。
Hugging Face Blog精选AI 评分6161 Falcon-H1 发布六款开源混合注意力 SSM 模型
Falcon-H1 系列发布 6 个开源模型，覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B，均含 base 与 instruct 版本，采用 Apache 2.0 宽松许可。
推荐理由：Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer，可据此判断端侧与长上下文场景的取舍。
Hugging Face BlogAI 评分4141 Falcon-Arabic 发布：7B 阿拉伯语语言模型刷新阿拉伯语 NLP 基准
阿联酋 TII 基于 Falcon 3 架构推出 7B 参数模型 Falcon-Arabic，支持阿拉伯语、英语等多语言。该模型支持 32,000 tokens 上下文，在 OALL v2 基准上超越同规模阿拉伯语 LLM，甚至优于体积大至 4 倍的模型，并覆盖 RAG 等长文档任务。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 nanoVLM：纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个纯 PyTorch 的轻量工具包，可在免费 Colab 上训练视觉语言模型，灵感来自 nanoGPT。其视觉骨干采用 Google SigLIP 编码器，语言骨干沿用 Llama 3 架构，通过模态投影模块对齐图文嵌入；训练脚本 train.py 集成数据加载、模型初始化与优化，并对模态投影和主干设置两组不同学习率。
推荐理由：官方博客给出 nanoVLM 的架构与训练流程细节，可用于理解 VLM 图文对齐与轻量训练实践。
Hugging Face BlogAI 评分4949 Hugging Face Diffusers 中的量化后端探索：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face 博客详解 Diffusers 直接集成的多种量化后端，包括 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8，并以 Flux-dev 演示。
Hugging Face BlogAI 评分5454 Microsoft 与 Hugging Face 扩大合作，Azure AI Foundry 上线 1 万余个开源模型
Microsoft Build 大会上，Satya Nadella 宣布扩大与 Hugging Face 的合作，Azure AI Foundry 现已提供 1 万余个 Hugging Face 模型，可几次点击部署用于文本、音频和图像应用。
Hugging Face BlogAI 评分5252 Falcon-Edge 发布 1B 与 3B 三值语言模型，支持微调
Falcon-LLM 团队发布 Falcon-Edge 系列 1.58bit 语言模型，基于 BitNet 架构，提供 1B 和 3B 两种规模，各有 base 与指令微调版本，用约 1.5 Tera Tokens 内部数据预训练。
Hugging Face BlogAI 评分4848 Hugging Face Transformers 库推动模型定义标准化，打通全生态框架
Hugging Face 的 Transformers 库正推动成为跨框架的模型定义中枢：模型一旦被 Transformers 支持，即可在 vLLM、SGLang、TGI 等推理引擎中作为后端使用，并与 llama.cpp、MLX 实现互操作。
Hugging Face BlogAI 评分2626 Kaggle 上线 Hugging Face 模型集成，可直接在 Notebook 中调用
Kaggle 推出与 Hugging Face 的集成，用户在 Hugging Face 模型页点击“Use this model”并选择 Kaggle，即可打开预填代码片段的 Kaggle Notebook 加载模型，反之也可从 Kaggle 点击“Code”跳转。
Hugging Face BlogAI 评分4141 HF Mirror 推出基于 vLLM 的极速 Whisper 转录端点，性能提升达 8 倍
HF Mirror 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署方案，基于 vLLM 实现，推理性能较此前版本最高提升 8 倍。
Hugging Face BlogAI 评分2424 Hugging Face 盘点 Vision Language Models 一年进展：更小、更强、更快
Hugging Face 发布博客回顾过去一年视觉语言模型（VLM）的关键变化：Qwen 2.5 Omni 采用 Thinker-Talker 架构，MiniCPM-o 2.6 以 8B 参数覆盖视觉、语音和语言；Moonshot AI 的 Kimi-VL-A3B-Thinking 用 16B 总参数、2.8B 激活参数的 MoE 解码器实现长链式推理。
Hugging Face BlogAI 评分3333 LeRobot 社区数据集：机器人领域的“ImageNet”何时到来、如何实现？
Hugging Face 的 LeRobot 正推动机器人数据采集平民化，通过简化录制流程、打通上传至 HF Hub、降低硬件成本，让社区贡献数据集快速增长，目前以 So100 和 Koch 机械臂数据为主。团队将泛化视为数据问题，主张用开放多样的“机器人 ImageNet”替代学术实验室里结构单一的数据。
Hugging Face BlogAI 评分3434 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 Chat Template 比 Qwen-2.5 和 QwQ 更复杂：通过 enable_thinking 标志可将推理设为可选，设为 false 时模板插入空思考块，让模型跳过逐步推理，而 QwQ 等早期模型强制每轮生成思维链。
Hugging Face BlogAI 评分5151 如何用 Gradio 构建 MCP Server
Gradio 发布教程，演示如何用几行 Python 把任意 Gradio 应用启动为 MCP server，让 LLM 以工具形式调用。只需在 demo.launch() 中设置 mcp_server=True，即可同时启动 Web 界面与 MCP server，并生成可粘贴到 Claude Desktop、Cursor、Cline 等 MCP Client 的配置。
Hugging Face BlogAI 评分2727 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布开源量化工具 AutoRound，这是一种权重-only 的训练后量化（PTQ）方法，通过符号梯度下降联合优化权重的取整与截断范围，支持 INT2-INT8 低比特量化。
Hugging Face BlogAI 评分5757 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2 安全模型
Meta 发布 Llama Guard 4 和两个 Llama Prompt Guard 2 安全模型。
Hugging Face BlogAI 评分5858 ServiceNow 开源 PipelineRL：用 inflight 权重更新提升 LLM 强化学习吞吐
ServiceNow 开源实验性 RL 实现 PipelineRL，核心是在 RL 训练中做 inflight 权重更新：每次优化器更新后不停止推理就把新权重广播到推理服务器，从而在保持高推理吞吐的同时让数据接近 on-policy。
Hugging Face Blog精选AI 评分6464 Hugging Face 用 50 行代码实现 MCP 驱动的智能体
Hugging Face 发布 Tiny Agents 教程，演示如何用约 50 行 TypeScript 代码在推理客户端之上实现一个 MCP 驱动的智能体。
推荐理由：文章给出一个约 50 行的 MCP 智能体实现，读者可据此理解工具调用与 MCP 客户端如何拼装成完整智能体。
Hugging Face BlogAI 评分3131 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出忠实版 OCR 引擎，解决了原模型为生成训练数据而刻意忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，发票等文档的页眉页脚关键信息现可完整提取，同时保留简单表格与多栏布局解析能力。
Hugging Face BlogAI 评分2727 Hugging Face 解析并发请求下的 LLM Prefill 与 Decode 优化
LLM 的 token 生成分为可并行处理提示词的 prefill 阶段和只能逐个生成的 decode 阶段，两者分别对应首 token 延迟和单 token 延迟。在 24 张 H100 组成的集群上自托管大模型时，decode 阶段受 GPU 显存带宽限制，可通过批处理多请求提升利用率。低并发下吞吐随并发数近线性增长，GPU 利用率饱和后吞吐不再提升，总吞吐与单请求延迟之间存在权衡。
Hugging Face BlogAI 评分3131 Gradio 不只是 UI 库的 17 个理由
Gradio 官方撰文列出 17 个理由，说明它不只是 Python UI 库，而是同时提供 UI 与 API 的机器学习应用框架。
Hugging Face BlogAI 评分3232 Cohere 成为 HF Hub 推理服务商，首批模型创作者直接托管模型
Cohere 现已作为 Inference Provider 接入 HF Hub，成为首个直接在 Hub 上分享并提供模型推理的模型厂商。
Hugging Face BlogAI 评分3333 Hugging Face 与 Protect AI 合作半年：扫描 447 万个模型版本，发现 35.2 万个安全问题
Hugging Face 与 Protect AI 合作半年，Guardian 已扫描 HF Hub 上 141 万个仓库中的 447 万个唯一模型版本，在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
Hugging Face BlogAI 评分5454 Hugging Face 收购 Pollen Robotics，开始售卖开源人形机器人 Reachy 2
Hugging Face 宣布收购已成立 9 年的开源机器人公司 Pollen Robotics，这是其继 Gradio、XetHub 之后的第五次收购。公司同时开始售卖首款机器人 Reachy 2，这款开源且兼容 VR 的人形机器人面向研究、教育与具身 AI 实验，售价 7 万美元，可通过邮件订购，已在康奈尔、卡内基梅隆等实验室使用。