Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，解决内容分散、导航困难、结构过时的问题。新文档将更面向开发者，采用代码优先和解决方案导向的呈现方式，并放弃此前严格套用 Diátaxis 四分类的僵硬结构，让文档能自然生长。
#部署/工程
#部署/工程
今日 11 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分2323 Hugging Face 为 Intel Gaudi 优化辅助生成，加速文本生成
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可获得约 2x 加速，同时保持与自回归采样相同的采样质量。
Hugging Face BlogAI 评分4141 Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理
Hugging Face 发布 TGI Benchmarking 工具，用于在吞吐量之外对 Text Generation Inference 部署做性能剖析，展示不同批大小下的延迟与吞吐权衡。该工具随 TGI 安装，需在服务器端运行，作者提供了可直接复制的 HF Space，内含 TGI docker 镜像与 jupyter lab，并通过 CLI 执行评测。
Hugging Face BlogAI 评分4040 HF Mirror 支持从 Hub 直接部署模型到 AWS Inferentia2
HF Mirror 将 AWS Inferentia2 部署能力开放给 Hub 用户，覆盖超过 100,000 个公开模型，新增 albert、bert、roberta、vit、xlm-roberta 等 14 种模型架构和 text-classification、text-generation、question-answering 等 6 类任务。
Hugging Face BlogAI 评分3636 HF Mirror 与微软深化合作：Azure 上开放模型 1 键部署与 Spaces Dev Mode
HF Mirror 与微软在 Microsoft Build 上宣布深化合作，Azure Model Catalog 的 HF Mirror Collection 新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等开放模型，支持 1 键部署。
Hugging Face BlogAI 评分4747 HF Mirror 在 AMD Instinct MI300 GPU 上实现一等公民集成
Hugging Face 与 AMD 合作，使 AMD Instinct MI300 GPU 在 HF Mirror 平台获得一等公民集成，用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 上部署模型。
Hugging Face BlogAI 评分2525 Hugging Face Spaces 推出 Dev Mode，支持一键连接 VS Code 和 SSH
Hugging Face 为 Spaces 推出 Dev Mode，可一键通过 VS Code 或 SSH 直连 Space，直接在 Space 内编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅面向 PRO 订阅用户开放，在 Space 设置中启用后会自动重启，改完代码点 Refresh 即可测试，满意后再 commit 和 merge 保存。
Hugging Face BlogAI 评分3535 Hugging Face 与 Dell 推出 Dell Enterprise Hub，本地训练部署开源模型
Hugging Face 发布 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，把数周的工程工作缩短到几分钟。该 Hub 汇集 Llama 3、Mixtral、Gemma 等模型，用户凭 HF 账号即可访问并按许可证或模型规模筛选，选定 Dell 平台和 GPU 数量后粘贴脚本即可部署为 API endpoint，微调同样在本地完成。
Hugging Face BlogAI 评分4343 Hugging Face 为 Transformers 推出 KV Cache 量化，支持更长文本生成
Hugging Face 为 Transformers 推出 KV Cache Quantization，通过降低 KV cache 精度减少长上下文生成的内存占用，质量损失很小，并可在内存效率与生成速度间自定义权衡。
Hugging Face BlogAI 评分2626 HF Mirror 与 LangChain 推出合作包 langchain_huggingface
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，可通过 pip install langchain-huggingface 安装。
Hugging Face BlogAI 评分2626 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA（Open Platform for Enterprise AI）的企业级 RAG 方案，使用 LangChain 的 rag-redis 模板、BAAI/bge-base-en-v1.5 嵌入模型与 Redis 向量数据库，嵌入模型跑在 Intel Granite Rapids CPU 上、LLM 跑在 Gaudi 2 加速器上。
Hugging Face BlogAI 评分1818 如何用 AWS 账号订阅 HF Mirror Enterprise Hub
HF Mirror 组织现在可以通过 AWS 账号在 AWS Marketplace 升级到 Enterprise Hub。该订阅提供单点登录、资源组、欧洲存储区域、审计日志、更高配额的 GPU、私有数据集查看器，并可在 NVIDIA DGX Cloud 上用 H100 GPU 免代码训练 LLM。
Hugging Face BlogAI 评分3030 Artificial Analysis LLM 性能排行榜上线 HF Mirror
Artificial Analysis 的 LLM Performance Leaderboard 现已上线 HF Mirror，覆盖 100 多个 serverless LLM API endpoint，可按质量、上下文窗口、价格、吞吐和延迟（TTFT）横向对比开源与闭源模型。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face BlogAI 评分3939 Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性
Hugging Face 排行榜与评测团队发现，MMLU 等任务的评测结果对 prompt 格式极为敏感，同一模型在不同格式下准确率可相差约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作，用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构，希望从输出端而非输入端减少 prompt 格式带来的方差。
Hugging Face BlogAI 评分3737 Gradio 的 reload 模式如何快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码改动。
Hugging Face BlogAI 评分2626 Zama 在 HF Mirror Endpoints 上运行隐私保护推理
开源密码学公司 Zama 基于 Concrete ML 与全同态加密（FHE），在 HF Mirror Endpoints 上部署可一键上线的隐私保护推理服务，支持在加密数据上直接计算而无需私钥。
Hugging Face BlogAI 评分1212 Ryght 借力 HF Mirror Expert Support 推出医疗与生命科学生成式 AI 平台 Ryght Preview
Ryght 正式公开发布面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview，免费向生命科学知识工作者开放，支持无缝上手。
Hugging Face BlogAI 评分4141 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 可直接部署到 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API 端点，底层推理由 Text Generation Inference 驱动。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 Optimum Intel 将 SetFit 推理加速 7.8 倍
Hugging Face 与 Intel Labs 联合开发的 SetFit 框架，通过 Optimum Intel 对模型主体做静态训练后量化（PTQ），在 Intel Xeon CPU 上实现最高 7.8 倍的推理加速。
Hugging Face BlogAI 评分3636 HF Mirror 联手 Cloudflare Workers AI 推出无服务器 GPU 推理
HF Mirror Hub 上线 Deploy on Cloudflare Workers AI 集成，开发者可直接把 Llama、Gemma、Mistral 等热门开源模型当无服务器 API 调用，无需自管 GPU，按请求付费。
The GradientAI 评分4040 Mamba 解析：挑战 Transformer 的状态空间模型
Mamba 是一种基于状态空间模型（SSM）的架构，首次在长序列（如 100 万 token）上达到与 Transformer 相近的性能和缩放规律，推理速度最高可快 5 倍。它通过移除注意力机制的二次瓶颈，实现序列长度的线性缩放，Mamba-3B 在语言建模上超越同规模 Transformer，并匹敌两倍规模的 Transformer。
Hugging Face BlogAI 评分3232 Pollen Robotics 开源 pollen-vision：面向机器人的零样本视觉模型统一接口
Pollen Robotics 开源 pollen-vision 库，将 OWL-ViT、Mobile Sam、RAM 等零样本视觉模型整合为可组合模块，搭建 3D 物体检测流程，无需训练即可输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分2525 Hugging Face Transformers 零基础入门指南：在 Space 上运行 Phi-2
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释开源 Python 库 Transformers、模型与数据集托管平台 Hub 和部署 ML 应用的 Spaces，并演示在 Space 上运行微软 Phi-2 LLM。
Hugging Face BlogAI 评分4646 在 Intel Meteor Lake 笔记本上跑 Phi-2：用 OpenVINO 做 4-bit 量化
Hugging Face 联合 Intel 展示在搭载 Core Ultra 7 155H（Meteor Lake）的中端笔记本上本地运行微软 Phi-2：通过 Optimum Intel 集成 Intel OpenVINO 对 2.7B 参数模型权重做 4-bit 量化，再借助 CPU、iGPU 与 NPU 推理，实现更低延迟、离线可用和更佳隐私。
Hugging Face BlogAI 评分4848 Hugging Face 在 NVIDIA DGX Cloud 上推出 Train on DGX Cloud 服务
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，用户可在 Hub 内通过 AutoTrain 用 NVIDIA H100 GPU 一键微调 Llama、Mistral、Stable Diffusion 等模型。该服务按 GPU 分钟计费，H100 每小时 8.25 美元、L40S 每小时 2.75 美元，并提供免代码训练作业创建体验。
Hugging Face BlogAI 评分4141 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重及 int8、float8 激活，可在 CUDA 与 MPS 等任意设备上运行。
Hugging Face BlogAI 评分3333 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布博客，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型，并将其集成进现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2（7b、13b、70b）文本生成，并支持 DeepSpeed 分布式推理与 LangChain 集成。
Hugging Face Blog精选AI 评分7070 Hugging Face 发文欢迎 Google 开源 LLM 家族 Gemma
Google 发布开源 LLM 家族 Gemma，包含 2B 和 7B 两个尺寸，各有基础版与指令微调版共 4 个模型，基于 Gemini 打造，上下文长度 8K tokens，可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由：Google 开源 Gemma 2B 与 7B 双尺寸模型，本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face BlogAI 评分4848 Hugging Face PEFT 新增 LoRA 适配器合并方法
Hugging Face 在 PEFT 中新增了针对 LoRA 适配器的合并方法，包括 cat、linear、svd 以及基于其上的 ties 和 ties_svd，可在有限内存下按需即时合并多个适配器。
Hugging Face BlogAI 评分1515 AMD 与 Hugging Face 联合启动 Pervasive AI 开发者大赛，总奖金 16 万美元
AMD 联合 Hugging Face 启动 Pervasive AI 开发者大赛，设 Generative AI、Robotics AI、PC AI 三个赛道，总奖金 16 万美元，单项最高 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face Blog精选AI 评分6060 HF Mirror 为 TGI 与 Inference Endpoints 推出 Messages API，兼容 OpenAI Chat Completion
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API。
推荐理由：TGI 1.4.0 起提供 OpenAI 兼容的 Messages API，读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Hugging Face BlogAI 评分4444 Hugging Face TGI 正式支持 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 的 Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，通过 Tensor Parallelism 与连续批处理服务 Llama、Mistral 等开源 LLM。
Hugging Face BlogAI 评分3232 在 Intel Xeon 上用 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit、4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍推理加速。
Hugging Face BlogAI 评分5252 Hugging Face 与 Google Cloud 达成战略合作
Hugging Face 与 Google Cloud 宣布战略合作，在开放科学、开源、云与硬件层面协作，让企业用开源模型构建自己的 AI。
Hugging Face BlogAI 评分3434 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 博客介绍用 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理，在全部测试的（批量大小、步数）组合中吞吐量均超过 PyTorch，SDXL Turbo 提升最高达 229%，SD Turbo 达 120%。
Hugging Face Blog精选AI 评分6262 如何在 HF Mirror Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 博客发布教程，介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本，改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤，包含模型映射与预加载等工程细节，可复用性强。
Hugging Face Blog精选AI 评分6565 Hugging Face 用推测解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用推测解码（assisted generation）为 Whisper 推理提速约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出可复用的推测解码配置与实测数据，读者能据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face BlogAI 评分4747 Hugging Face 详解混合专家模型（MoE）：从 Mixtral 8x7B 说起
Hugging Face 发布混合专家（MoE）模型科普长文，结合 Mixtral 8x7B 的发布梳理 MoE 的构成、训练与推理权衡。MoE 用稀疏 MoE 层替换 Transformer 的 FFN 层，由路由器决定 token 分配到哪些专家，预训练更快、推理快于同等参数量的稠密模型，但需高显存，如 Mixtral 8x7B 需容纳 47B 参数。