Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维嵌入
Matryoshka 嵌入模型能在同一个模型下产出多种维度的可用嵌入，对 768 维向量截断到 512、256、128 或 64 维后仍可保持下游任务性能。其思路源自 Kusupati 等人 2022 年的 Matryoshka Representation Learning，把各维度的损失相加训练，让重要信息集中在前面的维度。
#教程/实践
#教程/实践
今日 2 条Hugging Face BlogAI 评分4040 Hugging Face BlogAI 评分3131 如何在 HF Mirror 上微调 Gemma 模型
Google DeepMind 的开源模型 Gemma 已在 HF Mirror 上线，提供 2B 和 7B 两种参数规模及预训练、指令微调版本，并支持 TGI、Vertex Model Garden 与 GKE 部署。
Hugging Face Blog精选AI 评分6767 Hugging Face：用开源合成数据低成本训练定制模型
Hugging Face 博客以金融新闻投资者情绪识别为例，展示用开源 Mixtral-8x7B-Instruct-v0.1 生成合成数据、再用 AutoTrain 蒸馏出约 0.13B 参数的 RoBERTa 分类模型的流程。
推荐理由：以金融情绪识别为例，给出用开源 LLM 生成合成数据再蒸馏小模型的可复用流程与成本对比。
Hugging Face BlogAI 评分2626 PatchTST 时间序列 Transformer 在 HF Mirror 上的上手实践
Hugging Face 博客给出 PatchTST 在 HF Mirror 上的使用示例，先在 Electricity 数据集上训练并评估预测效果，再用预训练模型对 ETTh1 数据集做零样本预测。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布开源大模型 Constitutional AI 端到端配方
Hugging Face 公开了一套用开源模型做 Constitutional AI 的端到端配方，覆盖自我批判、修订、SFT 与 DPO 全流程，并发布了 Anthropic constitution 与 Grok 风格两个版本的 CAI 数据集，以及基于 Mistral-7B 的 DPO/SFT 模型。
推荐理由：Hugging Face 公开了一套在开源模型上做 Constitutional AI 的完整配方，包括数据集、模型与集群推理工具，便于复现细粒度对齐。
Hugging Face BlogAI 评分3232 在 Intel Xeon 上用 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit、4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍推理加速。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 做低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 基于 facebook/w2v-bert-2.0 检查点在低资源 ASR 任务上微调 Wav2Vec2-BERT。
Hugging Face BlogAI 评分3232 Hugging Face 评测 DPO、IPO、KTO：三种无需强化学习的 LLM 偏好对齐方法
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 偏好对齐方法，并用 MT-Bench 打分。
Hugging Face BlogAI 评分3434 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 博客介绍用 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理，在全部测试的（批量大小、步数）组合中吞吐量均超过 PyTorch，SDXL Turbo 提升最高达 229%，SD Turbo 达 120%。
Hugging Face Blog精选AI 评分6262 如何在 HF Mirror Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 博客发布教程，介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本，改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤，包含模型映射与预加载等工程细节，可复用性强。
Hugging Face BlogAI 评分3030 如何用 HF leaderboard 模板搭建自己的评测榜：以 Vectara 幻觉评测榜为例
Vectara 基于 HF 的 leaderboard 模板开源了 HHEM 幻觉评测榜，用于衡量 LLM 生成文档摘要时的幻觉频率，覆盖 GPT-4、Gemini、Llama 2、Mistral 7B 等模型。
Hugging Face Blog精选AI 评分6666 用 Unsloth 和 🤗 TRL 让 LLM 微调提速 2 倍
Hugging Face 博客介绍社区工具 Unsloth，声称 LLM 微调速度提升 2 倍、显存占用降低 40% 且相对标准 QLoRA 精度 0% 下降。
推荐理由：原文给出了 Unsloth 与 TRL 的接入代码和 59 次基准数据，读者可据此判断自己微调任务的加速与显存收益。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 diffusers 版 SDXL LoRA 高级训练脚本
Hugging Face 发布 SDXL LoRA 高级训练脚本，把 Pivotal Tuning 与 Prodigy 优化器等社区 SOTA 做法整合进 diffusers，并提供 Colab 与带 UI 的训练 Space。
推荐理由：整理 SDXL Dreambooth LoRA 微调的社区最佳实践，包括 Pivotal Tuning、Prodigy 优化器与数据集构建等可复用方法。
Hugging Face Blog精选AI 评分6565 Hugging Face 用推测解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用推测解码（assisted generation）为 Whisper 推理提速约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出可复用的推测解码配置与实测数据，读者能据此在现有 Whisper 流程中获得约 2 倍加速。
The GradientAI 评分2424 Salmon in the Loop：水电大坝的鱼类计数与人类参与式数据集生产
作者以顾问身份参与大型水电大坝的鱼类计数项目，这类计数是满足 FERC 监管要求、证明大坝未危害濒危鲑鱼种群的核心数据集。计数依赖受过训练的人员目视识别鱼种、健康状况及野生或孵化场来源，但存在转录错误、分类争议，且各运营方在采集频率（小时/日/月）和季节（特定洄游期）上标准不一。
Hugging Face BlogAI 评分4747 Hugging Face 详解混合专家模型（MoE）：从 Mixtral 8x7B 说起
Hugging Face 发布混合专家（MoE）模型科普长文，结合 Mixtral 8x7B 的发布梳理 MoE 的构成、训练与推理权衡。MoE 用稀疏 MoE 层替换 Transformer 的 FFN 层，由路由器决定 token 分配到哪些专家，预训练更快、推理快于同等参数量的稠密模型，但需高显存，如 Mixtral 8x7B 需容纳 47B 参数。
Hugging Face BlogAI 评分5353 Hugging Face 如何让 LoRA 推理提速 300%
Hugging Face 在 Inference API 中实现 LoRA 动态加载，按用户请求切换 Stable Diffusion LoRA 适配器并保持基础模型常驻，把 LoRA 预热时间从 25s 降至 3s，用户响应时间从 35s 降至 13s。
Hugging Face Blog精选AI 评分8080 用 Latent Consistency LoRA 让 SDXL 4 步出图
Hugging Face 发布 LCM LoRA，把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步，方法是不蒸馏整个模型，只训练少量 LoRA 适配器，再配合 LCMScheduler 使用。
推荐理由：原文给出了 LCM LoRA 的原理、代码和跨硬件基准，读者可据此评估在现有 SDXL 流程中提速的可行性。
Hugging Face BlogAI 评分2626 RoBERTa、Llama 2 与 Mistral 7B 灾害推文分类性能对比：基于 LoRA 微调
一篇博客用 LoRA 微调 RoBERTa-large、Llama-2-7b 和 Mistral-7B-v0.1 三个预训练模型，在 twitter_disaster 数据集上对比灾害推文序列分类性能，实验在单张 48GB A6000 上完成。
Hugging Face BlogAI 评分3737 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 做文本生成，可通过 Neuron DLAMI 使用或手动安装。官方在 hub 上传了 Llama 2 7B 和 13B 的预编译版本，按预算、延迟、吞吐三种配置编译，最大序列长度 2048，支持贪心搜索与 top-k、top-p 采样。
Hugging Face Blog精选AI 评分6262 Personal Copilot：如何训练自己的代码助手
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 可直接对接 Hugging Face datasets 库，用一行代码对 7 万余个公开数据集生成交互式可视化，无需复制或预处理数据。它支持结合模型预测与嵌入向量，通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式，并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face BlogAI 评分4747 Hugging Face 探索 SDXL 的简单推理优化方法
Hugging Face 在 A100（40GB）上测试了 Stable Diffusion XL 的推理优化：原始全精度管线占用 28GB 显存、耗时 72.2 秒。改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒，再用 torch.compile 包装 UNet 可缩短至 10.2 秒。
Hugging Face BlogAI 评分3838 Hugging Face 复现 OpenAI RLHF 与 PPO 的实现细节
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感、描述性等风格任务上匹配了其学习曲线。
Hugging Face BlogAI 评分2424 如何用 Inference API 部署 AI Comic Factory
用 HF Mirror 的 Inference API 可把 AI Comic Factory 部署到自己的私有 Space，避免排队等太久。
Hugging Face BlogAI 评分3434 Hugging Face TRL 集成 DDPOTrainer，用强化学习微调 Stable Diffusion
Hugging Face 在 TRL 库中新增 DDPOTrainer，让开发者能用 DDPO 算法配合强化学习微调 Stable Diffusion 等扩散模型，使其输出更符合人类审美偏好。
Hugging Face BlogAI 评分3838 非工程师指南：零代码训练 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码构建开源 ChatGPT：用 LLaMA 2 基础模型，经 AutoTrain 在 Alpaca 指令数据集上微调，再通过 ChatUI 部署成可分享的聊天应用。全程仅需三步，在 Spaces 上以 Docker 模板部署 AutoTrain 和 ChatUI，7b 模型训练选用 A10G Large 即可。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分5656 3D Gaussian Splatting 入门：原理与图形学前景
Hugging Face 博客发布《Introduction to 3D Gaussian Splatting》，介绍这一出自论文 3D Gaussian Splatting for Real-Time Radiance Field Rendering 的栅格化技术，可从少量图像样本学习并实时渲染出照片级场景。
Hugging Face BlogAI 评分3030 Hugging Face 发布目标检测排行榜：IoU、AP、AR 指标全解读
Hugging Face 推出目标检测排行榜（Object Detection Leaderboard），对 Hub 上可用的目标检测模型按指标进行排名。文章详解 IoU、Average Precision（AP）与 Average Recall（AR）及其变体的计算方式，并说明这些指标为何会导致同一模型在不同报告中出现结果差异。该排行榜旨在帮助开发者与研究者挑选适合自身应用的开源检测模型。
Hugging Face BlogAI 评分5050 Hugging Face 详解如何优化 LLM 生产环境部署
Hugging Face 发布博客，梳理在生产环境高效部署 LLM 的三类关键技术：8-bit 和 4-bit 低精度、Flash Attention，以及 Alibi、Rotary embeddings、Multi-Query Attention（MQA）和 Grouped-Query-Attention（GQA）等架构改进。
Hugging Face BlogAI 评分4848 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 发布博客，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，硬件为 2 节点共 16 张 A100 80GB。
Hugging Face BlogAI 评分4141 Hugging Face Transformers 原生支持的量化方案概览：bitsandbytes 与 auto-gptq 对比
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者免校准、开箱即用且支持 8-bit 与 4-bit，后者文本生成更快、最高可量化至 2 bit（推荐 4 bit）并支持 AMD GPU。bitsandbytes 4-bit 模型暂不支持序列化，而 auto-gptq 需要校准数据集，目前仅支持语言模型。
Hugging Face BlogAI 评分3030 Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。
Hugging Face BlogAI 评分2929 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型：将各 Stage 模型下载至 BentoML Model Store，用 service.py 定义 Service 与 Runners，打包成 Bento 后部署。
Hugging Face BlogAI 评分3636 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的文本转语音模型 Bark。基准测试中，未优化的 suno/bark-small 在 5 次生成迭代下平均耗时 9.38 秒，峰值显存占用 1.91 GB。教程涵盖 Bark 的 4 个核心模型架构解析、多种优化技术对比及 benchmark 结果展示。
Hugging Face Blog精选AI 评分6161 用 TRL 的 DPO 方法微调 Llama 2
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization（DPO），可直接用偏好数据优化语言模型，省去奖励模型和 RL 优化两步。
推荐理由：TRL 官方给出 DPO 原理与可复用代码，读者可照着在自有偏好数据上完成对齐训练。
Hugging Face BlogAI 评分2828 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 custom handler 在 Inference Endpoints 上部署 facebook/musicgen-large，实现文本提示词生成音乐。
Hugging Face BlogAI 评分2727 Hugging Face 用机器学习为 Hub 数据集补全语言元数据
Hugging Face 正用机器学习检测 Hub 上缺少语言元数据的数据集语言，并通过 librarian-bots 提交 PR 补全。
Hugging Face BlogAI 评分2929 Zama 用全同态加密（FHE）在加密数据上运行 GPT2 推理
Zama 展示了如何基于 HF Mirror transformers 库，用全同态加密（FHE）与 Concrete-Python 改造 GPT2 的推理流程，让多注意力头的一部分计算在加密数据上由服务器完成，从而同时保护用户数据隐私与模型 IP。