Hugging Face Spaces 推出 Dev Mode，支持一键连接 VS Code 和 SSH
Hugging Face 为 Spaces 推出 Dev Mode，可一键通过 VS Code 或 SSH 直连 Space，直接在 Space 内编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅面向 PRO 订阅用户开放，在 Space 设置中启用后会自动重启，改完代码点 Refresh 即可测试，满意后再 commit 和 merge 保存。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分2525 Hugging Face BlogAI 评分3535 Hugging Face 与 Dell 推出 Dell Enterprise Hub，本地训练部署开源模型
Hugging Face 发布 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，把数周的工程工作缩短到几分钟。该 Hub 汇集 Llama 3、Mixtral、Gemma 等模型，用户凭 HF 账号即可访问并按许可证或模型规模筛选，选定 Dell 平台和 GPU 数量后粘贴脚本即可部署为 API endpoint，微调同样在本地完成。
Hugging Face BlogAI 评分4343 Hugging Face 为 Transformers 推出 KV Cache 量化，支持更长文本生成
Hugging Face 为 Transformers 推出 KV Cache Quantization，通过降低 KV cache 精度减少长上下文生成的内存占用，质量损失很小，并可在内存效率与生成速度间自定义权衡。
Hugging Face BlogAI 评分2626 HF Mirror 与 LangChain 推出合作包 langchain_huggingface
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，可通过 pip install langchain-huggingface 安装。
Hugging Face BlogAI 评分2626 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA（Open Platform for Enterprise AI）的企业级 RAG 方案，使用 LangChain 的 rag-redis 模板、BAAI/bge-base-en-v1.5 嵌入模型与 Redis 向量数据库，嵌入模型跑在 Intel Granite Rapids CPU 上、LLM 跑在 Gaudi 2 加速器上。
Hugging Face BlogAI 评分1818 如何用 AWS 账号订阅 HF Mirror Enterprise Hub
HF Mirror 组织现在可以通过 AWS 账号在 AWS Marketplace 升级到 Enterprise Hub。该订阅提供单点登录、资源组、欧洲存储区域、审计日志、更高配额的 GPU、私有数据集查看器，并可在 NVIDIA DGX Cloud 上用 H100 GPU 免代码训练 LLM。
Hugging Face BlogAI 评分3030 Artificial Analysis LLM 性能排行榜上线 HF Mirror
Artificial Analysis 的 LLM Performance Leaderboard 现已上线 HF Mirror，覆盖 100 多个 serverless LLM API endpoint，可按质量、上下文窗口、价格、吞吐和延迟（TTFT）横向对比开源与闭源模型。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 自定义处理器实现 Whisper ASR、说话人分离与投机解码
Hugging Face 发布自定义推理处理器方案，可在 Inference Endpoints 上组合 Whisper ASR、Pyannote 说话人分离（diarization）与投机解码，并通过单一 API 端点对外提供服务。
Hugging Face BlogAI 评分3939 Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性
Hugging Face 排行榜与评测团队发现，MMLU 等任务的评测结果对 prompt 格式极为敏感，同一模型在不同格式下准确率可相差约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作，用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构，希望从输出端而非输入端减少 prompt 格式带来的方差。
Hugging Face BlogAI 评分3737 Gradio 的 reload 模式如何快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码改动。
Hugging Face BlogAI 评分2626 Zama 在 HF Mirror Endpoints 上运行隐私保护推理
开源密码学公司 Zama 基于 Concrete ML 与全同态加密（FHE），在 HF Mirror Endpoints 上部署可一键上线的隐私保护推理服务，支持在加密数据上直接计算而无需私钥。
Hugging Face BlogAI 评分1212 Ryght 借力 HF Mirror Expert Support 推出医疗与生命科学生成式 AI 平台 Ryght Preview
Ryght 正式公开发布面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview，免费向生命科学知识工作者开放，支持无缝上手。
Hugging Face BlogAI 评分4141 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 可直接部署到 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API 端点，底层推理由 Text Generation Inference 驱动。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 Optimum Intel 将 SetFit 推理加速 7.8 倍
Hugging Face 与 Intel Labs 联合开发的 SetFit 框架，通过 Optimum Intel 对模型主体做静态训练后量化（PTQ），在 Intel Xeon CPU 上实现最高 7.8 倍的推理加速。
Hugging Face BlogAI 评分3636 HF Mirror 联手 Cloudflare Workers AI 推出无服务器 GPU 推理
HF Mirror Hub 上线 Deploy on Cloudflare Workers AI 集成，开发者可直接把 Llama、Gemma、Mistral 等热门开源模型当无服务器 API 调用，无需自管 GPU，按请求付费。
Hugging Face BlogAI 评分3232 Pollen Robotics 开源 pollen-vision：面向机器人的零样本视觉模型统一接口
Pollen Robotics 开源 pollen-vision 库，将 OWL-ViT、Mobile Sam、RAM 等零样本视觉模型整合为可组合模块，搭建 3D 物体检测流程，无需训练即可输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分2525 Hugging Face Transformers 零基础入门指南：在 Space 上运行 Phi-2
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释开源 Python 库 Transformers、模型与数据集托管平台 Hub 和部署 ML 应用的 Spaces，并演示在 Space 上运行微软 Phi-2 LLM。
Hugging Face BlogAI 评分4646 在 Intel Meteor Lake 笔记本上跑 Phi-2：用 OpenVINO 做 4-bit 量化
Hugging Face 联合 Intel 展示在搭载 Core Ultra 7 155H（Meteor Lake）的中端笔记本上本地运行微软 Phi-2：通过 Optimum Intel 集成 Intel OpenVINO 对 2.7B 参数模型权重做 4-bit 量化，再借助 CPU、iGPU 与 NPU 推理，实现更低延迟、离线可用和更佳隐私。
Hugging Face BlogAI 评分4848 Hugging Face 在 NVIDIA DGX Cloud 上推出 Train on DGX Cloud 服务
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，用户可在 Hub 内通过 AutoTrain 用 NVIDIA H100 GPU 一键微调 Llama、Mistral、Stable Diffusion 等模型。该服务按 GPU 分钟计费，H100 每小时 8.25 美元、L40S 每小时 2.75 美元，并提供免代码训练作业创建体验。
Hugging Face BlogAI 评分4141 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重及 int8、float8 激活，可在 CUDA 与 MPS 等任意设备上运行。
Hugging Face BlogAI 评分3333 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布博客，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型，并将其集成进现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2（7b、13b、70b）文本生成，并支持 DeepSpeed 分布式推理与 LangChain 集成。
Hugging Face Blog精选AI 评分7070 Hugging Face 发文欢迎 Google 开源 LLM 家族 Gemma
Google 发布开源 LLM 家族 Gemma，包含 2B 和 7B 两个尺寸，各有基础版与指令微调版共 4 个模型，基于 Gemini 打造，上下文长度 8K tokens，可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由：Google 开源 Gemma 2B 与 7B 双尺寸模型，本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face BlogAI 评分4848 Hugging Face PEFT 新增 LoRA 适配器合并方法
Hugging Face 在 PEFT 中新增了针对 LoRA 适配器的合并方法，包括 cat、linear、svd 以及基于其上的 ties 和 ties_svd，可在有限内存下按需即时合并多个适配器。
Hugging Face BlogAI 评分1515 AMD 与 Hugging Face 联合启动 Pervasive AI 开发者大赛，总奖金 16 万美元
AMD 联合 Hugging Face 启动 Pervasive AI 开发者大赛，设 Generative AI、Robotics AI、PC AI 三个赛道，总奖金 16 万美元，单项最高 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face Blog精选AI 评分6060 HF Mirror 为 TGI 与 Inference Endpoints 推出 Messages API，兼容 OpenAI Chat Completion
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API。
推荐理由：TGI 1.4.0 起提供 OpenAI 兼容的 Messages API，读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Hugging Face BlogAI 评分4444 Hugging Face TGI 正式支持 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 的 Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，通过 Tensor Parallelism 与连续批处理服务 Llama、Mistral 等开源 LLM。
Hugging Face BlogAI 评分3232 在 Intel Xeon 上用 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit、4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍推理加速。
Hugging Face BlogAI 评分5252 Hugging Face 与 Google Cloud 达成战略合作
Hugging Face 与 Google Cloud 宣布战略合作，在开放科学、开源、云与硬件层面协作，让企业用开源模型构建自己的 AI。
Hugging Face BlogAI 评分3434 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 博客介绍用 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理，在全部测试的（批量大小、步数）组合中吞吐量均超过 PyTorch，SDXL Turbo 提升最高达 229%，SD Turbo 达 120%。
Hugging Face Blog精选AI 评分6262 如何在 HF Mirror Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 博客发布教程，介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本，改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤，包含模型映射与预加载等工程细节，可复用性强。
Hugging Face Blog精选AI 评分6565 Hugging Face 用推测解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用推测解码（assisted generation）为 Whisper 推理提速约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出可复用的推测解码配置与实测数据，读者能据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face BlogAI 评分4747 Hugging Face 详解混合专家模型（MoE）：从 Mixtral 8x7B 说起
Hugging Face 发布混合专家（MoE）模型科普长文，结合 Mixtral 8x7B 的发布梳理 MoE 的构成、训练与推理权衡。MoE 用稀疏 MoE 层替换 Transformer 的 FFN 层，由路由器决定 token 分配到哪些专家，预训练更快、推理快于同等参数量的稠密模型，但需高显存，如 Mixtral 8x7B 需容纳 47B 参数。
Hugging Face BlogAI 评分5353 Hugging Face 如何让 LoRA 推理提速 300%
Hugging Face 在 Inference API 中实现 LoRA 动态加载，按用户请求切换 Stable Diffusion LoRA 适配器并保持基础模型常驻，把 LoRA 预热时间从 25s 降至 3s，用户响应时间从 35s 降至 13s。
Hugging Face BlogAI 评分5353 Hugging Face 与 AMD 合作：Transformers 与 TGI 实现 AMD GPU 开箱即用加速
Hugging Face 与 AMD 推进合作，现已支持在 AMD Instinct GPU 上无需修改代码运行全部 Transformers 模型和任务，并初步支持 Text Generation Inference（TGI）在 MI210、MI250 上部署。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Optimum-NVIDIA，一行代码将 LLM 推理提速至多 28 倍
Hugging Face 发布 Optimum-NVIDIA 推理库，在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由：原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据，读者可据此判断自身部署的提速空间。
Hugging Face BlogAI 评分3737 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 做文本生成，可通过 Neuron DLAMI 使用或手动安装。官方在 hub 上传了 Llama 2 7B 和 13B 的预编译版本，按预算、延迟、吞吐三种配置编译，最大序列长度 2048，支持贪心搜索与 top-k、top-p 采样。
Hugging Face BlogAI 评分1717 Hugging Face Hub 推出存储区域（Storage Regions）功能
Hugging Face 在 Enterprise Hub 套餐中上线 Storage Regions，企业可自选模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。非默认区域的 repo 会显示 Region 标签，便于成员查看。Hugging Face 称，欧洲团队把仓库放在 EU 区域，上传和下载速度约为存放在 US 时的 4-5 倍。
Hugging Face Blog精选AI 评分6262 Personal Copilot：如何训练自己的代码助手
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face BlogAI 评分2828 用 HF Mirror Inference Endpoints 部署嵌入模型
Hugging Face 发文介绍如何用 Text Embeddings Inference（TEI）将开源嵌入模型部署到 HF Mirror Inference Endpoints，并支持大规模批量请求。