HF Mirror 为 TGI 与 Inference Endpoints 推出 Messages API，兼容 OpenAI Chat Completion
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API。
推荐理由：TGI 1.4.0 起提供 OpenAI 兼容的 Messages API，读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
#产品更新
#产品更新
今日 3 条Hugging Face Blog精选AI 评分6060
Hugging Face Blog精选AI 评分6060 Segmind 发布 SegMoE 扩散专家混合框架
Segmind 发布 SegMoE 框架，可从零构建混合专家（MoE）扩散模型，并已集成 diffusers，同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码（Apache 2.0）。
推荐理由：原文给出了从配置到生产的完整流程和显存占用数据，读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face BlogAI 评分4444 Hugging Face TGI 正式支持 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 的 Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，通过 Tensor Parallelism 与连续批处理服务 Llama、Mistral 等开源 LLM。
Hugging Face BlogAI 评分5353 Hugging Face 与 AMD 合作：Transformers 与 TGI 实现 AMD GPU 开箱即用加速
Hugging Face 与 AMD 推进合作，现已支持在 AMD Instinct GPU 上无需修改代码运行全部 Transformers 模型和任务，并初步支持 Text Generation Inference（TGI）在 MI210、MI250 上部署。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Optimum-NVIDIA，一行代码将 LLM 推理提速至多 28 倍
Hugging Face 发布 Optimum-NVIDIA 推理库，在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由：原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据，读者可据此判断自身部署的提速空间。
Hugging Face BlogAI 评分3333 Explosion 推出 Prodigy-HF：直接集成 Hugging Face 生态
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接集成 Hugging Face 生态，可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
Hugging Face BlogAI 评分1717 Hugging Face Hub 推出存储区域（Storage Regions）功能
Hugging Face 在 Enterprise Hub 套餐中上线 Storage Regions，企业可自选模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。非默认区域的 repo 会显示 Region 标签，便于成员查看。Hugging Face 称，欧洲团队把仓库放在 EU 区域，上传和下载速度约为存放在 US 时的 4-5 倍。
Hugging Face BlogAI 评分3838 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 可直接对接 Hugging Face datasets 库，用一行代码对 7 万余个公开数据集生成交互式可视化，无需复制或预处理数据。它支持结合模型预测与嵌入向量，通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式，并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face BlogAI 评分2828 用 HF Mirror Inference Endpoints 部署嵌入模型
Hugging Face 发文介绍如何用 Text Embeddings Inference（TEI）将开源嵌入模型部署到 HF Mirror Inference Endpoints，并支持大规模批量请求。
Hugging Face BlogAI 评分5757 Gradio-Lite 发布：让 Gradio 应用完全在浏览器中无服务器运行
Gradio 发布 @gradio/lite，一个借助 Pyodide 把 Gradio 应用直接跑在浏览器里的 JavaScript 库，无需服务端基础设施。
Hugging Face BlogAI 评分3232 HF Mirror 上超 13 万个模型接入 ONNX Runtime 加速
HF Mirror 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多个模型架构，包括上传量最高的 11 种架构如 BERT、GPT2、DistilBERT、RoBERTa、T5 等。以 whisper-tiny 为例，使用 ONNX Runtime 加速后平均单次推理延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理，借助 XLA 与 JIT 编译实现高性能、低成本部署。官方 demo 跑在多个 TPU v5e-4 实例上，约 4 秒并行输出四张 1024×1024 图像，实际生成时间约 2.3s；TPU v5e 成本不到 TPU v4 的一半。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizer 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，并把对话历史转换为正确格式的字符串，以避免因格式不匹配导致的静默性能下降。
推荐理由：原文说明格式错配会静默拖垮模型表现，并给出把格式信息随 tokenizer 保存和加载的具体做法。
Hugging Face BlogAI 评分5050 Hugging Face 为 PRO 用户推出 Inference for PROs 专属 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama、Stable Diffusion XL、Bark 等精选模型的专属 API 端点，并享受更高速率限制。
Hugging Face BlogAI 评分1919 Rocket Money 借助 HF Mirror Inference API 在生产环境扩展易变 ML 模型
Rocket Money 将其交易分类系统从正则表达式迁移到 BERT 系列模型，用于处理每月超 1 亿笔、负载突发的交易。团队用 Retool 搭建标注队列与漂移检测工具，并设计了覆盖 4000+ 类别的离线评测体系。经过三个月评估，Rocket Money 选择 HF Mirror Inference API 托管模型，以在缺少 MLOps 团队的情况下实现高可用、动态扩缩容与低延迟推理。
Hugging Face BlogAI 评分2828 Hugging Face 对比 SafeCoder 与闭源代码助手
Hugging Face 发文对比企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务。SafeCoder 基于 155 亿参数的 StarCoder 模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle，使用 Docker 容器，可本地或云端部署并完全离线运行。
Hugging Face Blog精选AI 评分6363 Diffusers 为 SDXL 加入 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL（SDXL）加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers，并给出从零训练的配置与参数对比，便于读者评估可控生成的开销与接入方式。
Hugging Face Blog精选AI 评分6565 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 2 至 8 bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是 StarCoder 系列代码大模型。它并非模型本身，而是让客户在自己的基础设施上微调并部署专有 Code LLM，训练与推理阶段代码都不离开客户 VPC。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 AWS Marketplace：可用 AWS 账户直接付费
Hugging Face Hub 已登陆 AWS Marketplace，用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后，Inference Endpoints、Spaces 硬件升级和 AutoTrain 等组织内服务费用将直接计入 AWS 账单，企业需以 admin 角色将组织账户与 AWS 账户连接。
Hugging Face BlogAI 评分5858 Hugging Face 发布 swift-transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个在 Swift 中实现类 transformers API 的包，同时开源 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face Blog精选AI 评分6262 Stable Diffusion XL 登陆 Mac：Core ML 混合位量化实现 71% 体积压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图，目前仅支持原始注意力实现，refiner 阶段尚未移植。
推荐理由：原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方，可据此判断本地出图的速度与体积取舍。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Agents.js：用 JavaScript 为 LLM 提供工具能力
Hugging Face 发布 Agents.js，一个在浏览器或 Node 中为 LLM 提供工具调用的 JavaScript 库，可通过 npm install @huggingface/agents 安装。
推荐理由：Hugging Face 官方发布 JS 智能体库，可了解其工具调用方式与自定义扩展路径。
Hugging Face BlogAI 评分2929 Hugging Face Diffusers 一周年：从文生图到视频、3D 与更快推理
Hugging Face 的 Diffusers 库迎来一周年，已从文生图工具箱扩展出视频、3D 与图像编辑能力。
Hugging Face BlogAI 评分3333 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一款基于 Whisper 的聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。用户只能发送语音消息，由 Whisper 模型自动转成文本，该应用展示了与 Hugging Face Models 的集成、多人机器学习应用以及并发模型服务。
Hugging Face BlogAI 评分3636 Hugging Face Hub 支持用 DuckDB 对 5 万+ 数据集运行 SQL 查询
Hugging Face Hub 新增功能，可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件（大数据集按 500MB 分片），用户通过 /parquet 端点获取 URL 后，加载 httpfs 扩展即可查询远程文件。
Hugging Face BlogAI 评分2626 fastText 正式上线 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub，官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用，并支持文本分类与特征提取 widget。
Hugging Face BlogAI 评分4141 Hugging Face 推出面向 Amazon SageMaker 的 LLM 推理容器
Hugging Face 发布 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源大模型，底层由 Text Generation Inference（TGI）驱动，支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face BlogAI 评分1515 Hugging Face Hub 推出 BERTopic 集成
Hugging Face Hub 上线 BERTopic 集成，用户可直接在 Hub 上使用这一主题建模工具。BERTopic 结合嵌入向量与聚类技术，用于从文本中提取话题结构，相关话题建模资源在 HF 平台上被归类为第 19 类主题，与 LDA 等传统方法并列。
Hugging Face BlogAI 评分3434 Hugging Face 与微软合作在 Azure 上线 Hugging Face 模型目录
Hugging Face 与微软合作，把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning，推出原生的 Hugging Face Hub 模型目录，包含 Hub 上数千个热门 Transformers 模型。
Hugging Face Blog精选AI 评分8080 Hugging Face 用 bitsandbytes 与 4-bit 量化让 LLM 更易获取
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。
Hugging Face Blog精选AI 评分6060 Safetensors 通过安全审计并成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计，未发现可导致任意代码执行的关键安全漏洞，同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由：安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式，并给出后续迁移节奏。
Hugging Face BlogAI 评分3232 Q8-Chat：在 Xeon 上高效运行生成式 AI，模型更小反而更好
Intel 用 SmoothQuant 将 OPT、LLaMA、Alpaca、Vicuna、BloomZ、MPT-7B-chat 等大语言模型量化为 8-bit（INT8），模型体积缩小约 2 倍，多数评测指标不降反升，仅单项任务出现超过 3% 的相对退化。
Hugging Face Blog精选AI 评分6060 用 StarCoder 打造编程助手：Hugging Face 发布 StarChat
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder，用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat，并公开代码、数据集与模型。
推荐理由：文章公开了 StarChat 的微调流程、数据格式与评测结果，可判断代码模型转对话助手的具体做法。
Hugging Face BlogAI 评分3131 Databricks 与 Hugging Face 合作：Spark 数据集加载提速超 40%
Databricks 向 Hugging Face 代码库提交首个官方贡献，新增 Datasets 的 `from_spark` 函数，让用户直接把 Apache Spark dataframe 映射为 Hugging Face Dataset，省去先写 Parquet 再重新加载的步骤。
Hugging Face BlogAI 评分1919 Hugging Face Hub 改进 Jupyter Notebook 托管与渲染支持
Hugging Face Hub 现已支持 Jupyter Notebook 的渲染，notebook 将以人类可读的格式展示，此前直接查看的是 ipynb 的 JSON 源文件。Hub 上已托管超过 7,000 个 notebook，以及 150,000 个模型、25,000 个数据集和 30,000 个 ML 应用。notebook 还支持在 Google Colab 中一键直接打开。
Hugging Face Blog精选AI 评分7171 trl 与 peft 集成，可在 24GB 消费级 GPU 上用 RLHF 微调 20B 大模型
Hugging Face 官方发布 trl 与 peft 的集成，让使用 RLHF 的大语言模型微调更易上手。
推荐理由：原文给出 trl 与 peft 集成后在 24GB 消费级 GPU 上微调 20B 参数模型的完整路径，便于读者评估自身显存条件下的可行性。
Hugging Face BlogAI 评分1919 HF Mirror 如何加速 Witty Works 写作助手的开发
HF Mirror 专家加速计划帮助 Witty Works 将包容性写作助手的非包容性词汇分类器从 BERT 词嵌入切换到 Sentence Transformers 句嵌入，并采用 SetFit 少样本微调，每个词仅需 15-20 条标注句子即可达到可用效果，省去大规模标注成本。
Hugging Face BlogAI 评分4747 Hugging Face 发布 Swift 🧨Diffusers 1.1：Mac 原生 Stable Diffusion 应用提速至多两倍
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1，将社区贡献的 SoTA 文生图模型转换为 Core ML，可同时调用 CPU、GPU 和 Neural Engine，部分 Mac 上生成速度最高提升至两倍。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 PEFT 库，支持低显存微调大语言模型
Hugging Face 发布 PEFT 库，通过只微调少量额外参数并冻结预训练模型大部分参数来降低计算与存储开销，并已集成 Transformers 和 Accelerate。
推荐理由：官方给出 PEFT 库支持的方法与消费级硬件训练示例，可用于判断低显存微调方案的可行性。