Hugging Face 发布静态嵌入模型，训练与推理速度最高提升 400 倍
Hugging Face 发布两个静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1（英文检索）和 static-similarity-mrl-multilingual-v1（多语言相似度）。
#部署/工程
#部署/工程
今日 12 条Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分3434 Hugging Face：Open LLM Leaderboard 加入 CO₂ 排放评估，社区微调模型更省碳
Hugging Face 为 Open LLM Leaderboard 加入模型推理的 CO₂ 排放估算，覆盖 3,000 多个模型的评测。数据显示模型越大排放越高但分数收益递减，MoE 模型的分数-排放比普遍偏低，而社区微调或合并模型往往比其官方基座更省碳。
Hugging Face Blog精选AI 评分6060 如何在 PyTorch 中可视化和理解 GPU 显存占用
Hugging Face 博客给出用 PyTorch 的 torch.cuda.memory 记录并可视化 GPU 显存占用的完整方法，把 profile.pkl 拖入 pytorch.org/memory_viz 即可看到显存随时间变化的图形。
推荐理由：用 PyTorch 自带的内存快照工具逐步拆解训练显存构成，并给出可套用的估算公式。
Hugging Face BlogAI 评分4444 NVIDIA LogitsProcessorZoo 如何用 logits 处理器控制语言模型生成
NVIDIA 的 LogitsProcessorZoo 是一套模块化 logits 处理器，可控制语言模型生成时的序列长度、强制关键短语或引导多选题答案，并与 Hugging Face Transformers 的 generate 方法完全兼容。
Hugging Face BlogAI 评分2727 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Intel Xeon，Emerald Rapids，带 AMX）和 N2（第 3 代 Xeon，Ice Lake，仅 AVX-512）上对比测试文本嵌入与文本生成。
Hugging Face BlogAI 评分2525 Hugging Face 模型上架 Amazon Bedrock Marketplace，83 个开源模型可部署
Hugging Face 上的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供，AWS 客户可直接部署用于生成式 AI 应用，底层由 Amazon SageMaker JumpStart 托管端点。
Hugging Face BlogAI 评分3636 CFM 案例：用 LLM 辅助标注微调小模型，NER 准确率提升 6.4%、成本降低 80 倍
Capital Fund Management（CFM）用 Llama 3.1 辅助标注金融新闻命名实体识别数据，再微调 GLiNER 与 SpanMarker 小模型，F1 分别从 87.0% 和 47.0% 提升至 93.4% 和 90.1%。
Hugging Face BlogAI 评分3535 Hugging Face 重新设计 Hub 上传下载架构，引入内容寻址存储
Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构，计划引入内容寻址存储（CAS）并自建传输协议，按字节级分析文件以加速模型与数据集仓库的大文件传输，该协议还能将 Safetensors 张量文件的上传速度提升 10-25%。
Hugging Face BlogAI 评分3838 Hugging Face 用内容定义分块（CDC）提升 Hub 存储效率
Hugging Face 的 Xet 团队改用内容定义分块（CDC）存储文件，只传输和保存被修改的 chunk。对 CORD-19 数据集的测试显示，平均下载时间从 51 分钟降至 19 分钟，上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。
Hugging Face BlogAI 评分3232 Hugging Face 详解 LayerSkip 自推测解码：用早期层草稿加速文本生成
Hugging Face 博客介绍了源自 LayerSkip 论文的自推测解码（self-speculative decoding）：用同一 LLM 的浅层生成草稿 token、深层负责验证，无需额外草稿模型即可同时提升速度并节省显存。
Hugging Face BlogAI 评分3434 PyCharm 集成 Hugging Face：在 IDE 内直接插入和调用模型
PyCharm 现已集成 Hugging Face，开发者可在 IDE 内右键 "Insert HF Model" 选择模型（如 microsoft/Phi-3.5-vision-instruct）并自动粘贴示例代码。
Hugging Face BlogAI 评分5858 Hugging Face 与 Intel Labs 提出 Universal Assisted Generation：任意辅助模型加速解码
Hugging Face 与 Intel Labs 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型可以搭配任意模型家族的更小辅助模型，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
Hugging Face BlogAI 评分5757 Hugging Face 发布 HUGS 生成式 AI 推理微服务
Hugging Face 发布 HUGS（Hugging Face Generative AI Services），一套零配置、经过优化的推理微服务，用于在自有基础设施中部署开源模型。
Hugging Face BlogAI 评分3939 如何在 HF Mirror Inference Endpoints 上部署 Speech-to-Speech
HF Mirror 的 Speech-to-Speech（S2S）项目通过 VAD、语音转文本、语言模型和文本转语音组成的级联管道实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语。由于运行 S2S 需要大量算力，即使高端笔记本也可能出现延迟，官方给出用自定义 Docker 镜像将其部署到 HF Mirror Inference Endpoints 的分步教程。
Hugging Face BlogAI 评分4444 dottxt 与 Hugging Face 发布 outlines-core 0.1.0：Rust 重写的结构化生成核心库
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，Python 绑定已开源并集成进 outlines。该版本带来约 2 倍的索引编译速度提升，并消除了 Numba JIT 首次运行的延迟，同时凭借 Rust 的内存安全与轻量化设计支持 Python 之外的更多语言绑定。
Hugging Face BlogAI 评分4242 Llama 3.2 已在 Keras 中可用
Llama 3.2 的 Keras 支持从发布第一天起就已可用，可直接从 HF 标准 safetensors checkpoint 加载，包括 3.2 checkpoint，需要转换时会即时完成。
Hugging Face BlogAI 评分4848 AMD 发布第五代 EPYC CPU（Turin），Hugging Face 实测 LLM 推理吞吐提升约 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face BlogAI 评分5959 Hugging Face 发布 Gradio 5 稳定版，主打生产级机器学习 Web 应用
Hugging Face 宣布 Gradio 5 稳定版发布，开发者可用几行 Python 构建面向生产环境的机器学习 Web 应用。新版本通过服务端渲染（SSR）提升加载速度，对按钮、标签页、滑块和聊天机器人界面做了设计更新，并加入低延迟流式能力，覆盖摄像头目标检测、视频流、实时语音转写与生成等场景。
Hugging Face BlogAI 评分3535 Hugging Face 用 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 展示如何用 Dask 将 FineWeb 数据集处理从 pandas 的 100 行扩展到云端多 GPU 上的 2.11 亿行，借助 FineWeb-Edu 分类器筛选高教育价值网页。
Hugging Face BlogAI 评分2727 HF Mirror 如何改进 Parquet 文件去重
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 文件测试去重效果：追加 10,000 行可去重 99.1%，仅需额外 20MB 存储；而修改第 10000 行仅去重 89%，需额外 230MB。团队提出用相对偏移替代绝对偏移、按行组做内容定义分块两项改进思路，并与 Apache Arrow 探讨落地可能。
Hugging Face BlogAI 评分2626 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中低依赖部署。
Hugging Face BlogAI 评分5858 如何将 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 博客给出将现有模型微调到 1.58bit（三值权重 -1、0、1）的方法，用 Llama3 8B 从 10B token 微调后发布在 HF1BitLLM 组织下。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Accelerate 1.0.0 首个候选版
Hugging Face 发布 Accelerate 1.0.0 的首个 release candidate，包已稳定近一年。1.0 加入 MS-AMP 和 TransformerEngine 的 FP8 支持、DeepSpeed 多模型编排（实验性）、大模型推理 API 的 torch.compile 支持等。
OpenAI NewsAI 评分66 OpenAI 分享数百次成功部署的经验：如何让 AI 真正投入工作
OpenAI 基于数百次成功部署经验，总结出让 AI 真正投入实际工作的方法。内容源自其发布的《Put AI to Work: Lessons from Hundreds of Successful Deployments》。
Hugging Face BlogAI 评分4141 HF Mirror Hub 上 5 个被低估的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 与 Nomic Atlas
HF Mirror Hub 上有 5 个常被忽视的工具：ZeroGPU、Multi-process Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分3838 HF Mirror 用 Flash Attention 2 实现无填充打包，训练吞吐提升最高 2 倍
HF Mirror 在 Transformers 中新增 DataCollatorWithFlattening，让无填充的打包训练与 Flash Attention 2 兼容，通过保留样本边界避免跨样本注意力。
Hugging Face BlogAI 评分1818 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 发布教程，演示如何用 Text Generation Inference（TGI）和 Deep Learning Containers，在 Google Cloud A3 节点（8 块 H100 GPU）上通过 Vertex AI 部署 FP8 量化的 Meta Llama 3.1 405B Instruct。
Hugging Face BlogAI 评分3636 一次失败的实验：Infini-Attention，以及我们为何仍应继续尝试？
Hugging Face 复现 Google 的 Infini-Attention 时发现，随着记忆压缩次数增加，模型性能持续下降，团队约 90% 的时间都花在调试一个收敛问题上。作者认为，ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face BlogAI 评分5353 Hugging Face 收购 XetHub，计划改用自研存储后端替代 Git LFS
Hugging Face 宣布收购西雅图公司 XetHub，其 12 人团队将加入，目标是让 Hub 仓库改用自研的存储后端替代 Git LFS。XetHub 的技术可让 Git 扩展到 TB 级仓库，通过分块存储和去重，更新 10GB Parquet 文件中的一行只需重传包含新行的少量分块，而更新 GGUF 头部的单个元数据值也只需重传几 KB。
Hugging Face BlogAI 评分4444 用 Quanto 和 Diffusers 打造显存高效的 Diffusion Transformer
Hugging Face 展示了如何借助 Diffusers 中的 Quanto 量化工具降低 Transformer 扩散管线显存占用：SD3 以 FP16 推理需 18.765 GB 显存，将文本编码器与扩散骨干量化到 FP8 后，批次 1 下显存从 12.086 GB 降至 5.363 GB。Quanto 是构建在 PyTorch 上的量化工具包，属于 HF Mirror Optimum。
Hugging Face BlogAI 评分3434 基于 NVIDIA NIM 的 HF Mirror 无服务器推理 API 发布，支持 Llama 与 Mistral
HF Mirror 面向 Enterprise Hub 组织推出 NVIDIA NIM API（无服务器），可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face Blog精选AI 评分8585 Llama 3.1 发布 405B、70B 与 8B 版本，支持多语言与长上下文
Hugging Face 上线 Meta Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口，便于据此评估部署成本。
Hugging Face Blog精选AI 评分6565 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 博客给出在 Mac 上用 Core ML 运行 Mistral 7B 的完整步骤，最终以不到 4GB 内存跑起这个 70 亿参数模型。
推荐理由：完整复现了把 Mistral 7B 转成 Core ML 并在 4GB 内存内运行的流程，并拆解了 WWDC 24 的状态化缓冲与分块量化等新特性。
Hugging Face Blog精选AI 评分7070 TGI 推出 Multi-LoRA 服务：一次部署，服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能，在一个基础模型部署上通过 Request 中的 adapter_id 动态加载多个 LoRA 适配器，实现一次部署服务 30 个模型。
推荐理由：原文给出了 TGI 多 LoRA 部署的具体配置、成本对比和可复现操作步骤，适合评估多模型推理的工程团队参考。
Hugging Face BlogAI 评分2929 Hugging Face Hub 与 KerasHub 打通：可直接加载 Transformers 模型
Hugging Face Hub 与 KerasHub 完成集成，两者共用模型保存格式，Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma，KerasHub 此前仅能使用 33 个 Keras 模型。加载后的模型可在 TensorFlow、JAX、PyTorch 后端间一行代码切换。
Hugging Face BlogAI 评分2121 Banque des Territoires × Polyconseil × HF Mirror：用主权数据方案支持法国校园绿色改造项目
Banque des Territoires（CDC 集团）、Polyconseil 与 HF Mirror 合作，为 EduRénov 校园生态改造计划搭建基于 RAG 的主权数据方案，项目第一阶段已完成。
Hugging Face BlogAI 评分4444 HF Mirror Inference Endpoints 和 Spaces 正式支持 Google Cloud TPU
HF Mirror 在 Inference Endpoints 和 Spaces 中上线 Google TPU v5e，提供 v5litepod-1（1 核 16 GB，$1.375/小时）、v5litepod-4（4 核 64 GB，$5.50/小时）和 v5litepod-8（8 核 128 GB，$11.00/小时）三种配置。
Hugging Face BlogAI 评分1414 ProtST 蛋白质语言模型在 Intel Gaudi 2 上加速推理与微调
基于文本提示的蛋白质设计多模态语言模型 ProtST 已在 Intel Gaudi 2 加速器上实现推理与微调：在 ProtST-SubcellularLocalization 测试集上。
Hugging Face BlogAI 评分1616 XLSCOUT 推出专利与 IP 专用嵌入模型 ParaEmbed 2.0，获 HF Mirror 专家支持
XLSCOUT 发布面向专利与 IP 领域的专有嵌入模型 ParaEmbed 2.0，基于人工专家整理的多领域专利数据微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。