Open LLM Leaderboard 深度排查：DROP 基准为何集体低分
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准做深度排查，发现绝大多数模型 f1-score 低于 10。原因是归一化在数字后跟非空格空白符时失效，且用 "." 作为停止词会截断浮点答案、拖累长回答模型；改用 \n 切分后分数与整体表现的相关性明显提升。
#Hugging Face
#Hugging Face
今日 1 条Hugging Face BlogAI 评分2727
Hugging Face Blog精选AI 评分8080 用 Latent Consistency LoRA 让 SDXL 4 步出图
Hugging Face 发布 LCM LoRA，把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步，方法是不蒸馏整个模型，只训练少量 LoRA 适配器，再配合 LCMScheduler 使用。
推荐理由：原文给出了 LCM LoRA 的原理、代码和跨硬件基准，读者可据此评估在现有 SDXL 流程中提速的可行性。
Hugging Face BlogAI 评分3737 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 做文本生成，可通过 Neuron DLAMI 使用或手动安装。官方在 hub 上传了 Llama 2 7B 和 13B 的预编译版本，按预算、延迟、吞吐三种配置编译，最大序列长度 2048，支持贪心搜索与 top-k、top-p 采样。
Hugging Face BlogAI 评分3333 Explosion 推出 Prodigy-HF：直接集成 Hugging Face 生态
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接集成 Hugging Face 生态，可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
Hugging Face BlogAI 评分1717 Hugging Face Hub 推出存储区域（Storage Regions）功能
Hugging Face 在 Enterprise Hub 套餐中上线 Storage Regions，企业可自选模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。非默认区域的 repo 会显示 Region 标签，便于成员查看。Hugging Face 称，欧洲团队把仓库放在 EU 区域，上传和下载速度约为存放在 US 时的 4-5 倍。
Hugging Face Blog精选AI 评分6262 Personal Copilot：如何训练自己的代码助手
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 可直接对接 Hugging Face datasets 库，用一行代码对 7 万余个公开数据集生成交互式可视化，无需复制或预处理数据。它支持结合模型预测与嵌入向量，通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式，并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face BlogAI 评分2828 用 HF Mirror Inference Endpoints 部署嵌入模型
Hugging Face 发文介绍如何用 Text Embeddings Inference（TEI）将开源嵌入模型部署到 HF Mirror Inference Endpoints，并支持大规模批量请求。
Hugging Face BlogAI 评分4747 Hugging Face 探索 SDXL 的简单推理优化方法
Hugging Face 在 A100（40GB）上测试了 Stable Diffusion XL 的推理优化：原始全精度管线占用 28GB 显存、耗时 72.2 秒。改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒，再用 torch.compile 包装 UNet 可缩短至 10.2 秒。
Hugging Face BlogAI 评分3838 Hugging Face 复现 OpenAI RLHF 与 PPO 的实现细节
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感、描述性等风格任务上匹配了其学习曲线。
Hugging Face BlogAI 评分5757 Gradio-Lite 发布：让 Gradio 应用完全在浏览器中无服务器运行
Gradio 发布 @gradio/lite，一个借助 Pyodide 把 Gradio 应用直接跑在浏览器里的 JavaScript 库，无需服务端基础设施。
Hugging Face BlogAI 评分3232 HF Mirror 上超 13 万个模型接入 ONNX Runtime 加速
HF Mirror 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多个模型架构，包括上传量最高的 11 种架构如 BERT、GPT2、DistilBERT、RoBERTa、T5 等。以 whisper-tiny 为例，使用 ONNX Runtime 加速后平均单次推理延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理，借助 XLA 与 JIT 编译实现高性能、低成本部署。官方 demo 跑在多个 TPU v5e-4 实例上，约 4 秒并行输出四张 1024×1024 图像，实际生成时间约 2.3s；TPU v5e 成本不到 TPU v4 的一半。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizer 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，并把对话历史转换为正确格式的字符串，以避免因格式不匹配导致的静默性能下降。
推荐理由：原文说明格式错配会静默拖垮模型表现，并给出把格式信息随 tokenizer 保存和加载的具体做法。
Hugging Face BlogAI 评分2424 如何用 Inference API 部署 AI Comic Factory
用 HF Mirror 的 Inference API 可把 AI Comic Factory 部署到自己的私有 Space，避免排队等太久。
Hugging Face BlogAI 评分1616 Hugging Face 伦理与社会通讯 #5：Hugging Face 走进华盛顿与 2023 夏季随想
Hugging Face 发布伦理与社会通讯 #5，回顾 2023 夏季在 E.U.、U.K.、U.S. 的 AI 监管参与，包括 CEO Clem 向美国国会作证、在美国参议院 AI Insight Forum 发言，以及对 E.U. AI Act 和 NTIA AI 问责制的建议。团队还发布 IDEFICS 多模态模型并对其开展偏见与危害测试，同时公开多项负责任生成式 AI 教程、论文与资源。
Hugging Face BlogAI 评分3434 Hugging Face TRL 集成 DDPOTrainer，用强化学习微调 Stable Diffusion
Hugging Face 在 TRL 库中新增 DDPOTrainer，让开发者能用 DDPO 算法配合强化学习微调 Stable Diffusion 等扩散模型，使其输出更符合人类审美偏好。
Hugging Face BlogAI 评分3838 非工程师指南：零代码训练 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码构建开源 ChatGPT：用 LLaMA 2 基础模型，经 AutoTrain 在 Alpaca 指令数据集上微调，再通过 ChatUI 部署成可分享的聊天应用。全程仅需三步，在 Spaces 上以 Docker 模板部署 AutoTrain 和 ChatUI，7b 模型训练选用 A10G Large 即可。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分5050 Hugging Face 为 PRO 用户推出 Inference for PROs 专属 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama、Stable Diffusion XL、Bark 等精选模型的专属 API 端点，并享受更高速率限制。
Hugging Face BlogAI 评分1919 Rocket Money 借助 HF Mirror Inference API 在生产环境扩展易变 ML 模型
Rocket Money 将其交易分类系统从正则表达式迁移到 BERT 系列模型，用于处理每月超 1 亿笔、负载突发的交易。团队用 Retool 搭建标注队列与漂移检测工具，并设计了覆盖 4000+ 类别的离线评测体系。经过三个月评估，Rocket Money 选择 HF Mirror Inference API 托管模型，以在缺少 MLOps 团队的情况下实现高可用、动态扩缩容与低延迟推理。
Hugging Face BlogAI 评分5656 3D Gaussian Splatting 入门：原理与图形学前景
Hugging Face 博客发布《Introduction to 3D Gaussian Splatting》，介绍这一出自论文 3D Gaussian Splatting for Real-Time Radiance Field Rendering 的栅格化技术，可从少量图像样本学习并实时渲染出照片级场景。
Hugging Face BlogAI 评分3030 Hugging Face 发布目标检测排行榜：IoU、AP、AR 指标全解读
Hugging Face 推出目标检测排行榜（Object Detection Leaderboard），对 Hub 上可用的目标检测模型按指标进行排名。文章详解 IoU、Average Precision（AP）与 Average Recall（AR）及其变体的计算方式，并说明这些指标为何会导致同一模型在不同报告中出现结果差异。该排行榜旨在帮助开发者与研究者挑选适合自身应用的开源检测模型。
Hugging Face BlogAI 评分5050 Hugging Face 详解如何优化 LLM 生产环境部署
Hugging Face 发布博客，梳理在生产环境高效部署 LLM 的三类关键技术：8-bit 和 4-bit 低精度、Flash Attention，以及 Alibi、Rotary embeddings、Multi-Query Attention（MQA）和 Grouped-Query-Attention（GQA）等架构改进。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Würstchen：快速图像生成扩散模型
Würstchen 是 Hugging Face 推出的文本条件扩散模型，在高度压缩的潜空间中工作，实现 42x 空间压缩，远高于常见的 4x-8x。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断低成本图像生成模型的效率边界。
Hugging Face BlogAI 评分4848 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 发布博客，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，硬件为 2 节点共 16 张 A100 80GB。
Hugging Face BlogAI 评分4141 Hugging Face Transformers 原生支持的量化方案概览：bitsandbytes 与 auto-gptq 对比
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者免校准、开箱即用且支持 8-bit 与 4-bit，后者文本生成更快、最高可量化至 2 bit（推荐 4 bit）并支持 AMD GPU。bitsandbytes 4-bit 模型暂不支持序列化，而 auto-gptq 需要校准数据集，目前仅支持语言模型。
Hugging Face BlogAI 评分2828 Hugging Face 对比 SafeCoder 与闭源代码助手
Hugging Face 发文对比企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务。SafeCoder 基于 155 亿参数的 StarCoder 模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle，使用 Docker 容器，可本地或云端部署并完全离线运行。
Hugging Face Blog精选AI 评分6363 Diffusers 为 SDXL 加入 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL（SDXL）加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers，并给出从零训练的配置与参数对比，便于读者评估可控生成的开销与接入方式。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face，1800 亿参数开源模型发布
TII 发布 1800 亿参数的 Falcon 180B，并在 Hugging Face 上线 base 与 chat 版本，训练使用 3.5 万亿 token，共约 7,000,000 GPU 小时。
推荐理由：TII 的 Falcon 180B 登陆 Hugging Face，原文给出与 Llama 2、PaLM-2 的评测对比和显存、量化配置门槛。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 HF Mirror 将 ML 处理延迟降低 50%
Fetch 在 Amazon SageMaker 上结合 HF Mirror 的 AWS Deep Learning Container 与 SageMaker HF Mirror Inference Toolkit 优化收据扫描 ML 流水线，每周处理超 8000 万张收据，最慢扫描延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分3030 Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。
Hugging Face Blog精选AI 评分8585 Meta 发布 Code Llama：Llama 2 的代码专用版本并接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列，提供 7B、13B、34B 三个参数版本，另有 Python 专用版（额外 1000 亿 token）和指令微调版，采用与 Llama 2 相同的许可协议并允许商用。
推荐理由：梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式，方便对照选型。
Hugging Face Blog精选AI 评分6565 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 2 至 8 bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是 StarCoder 系列代码大模型。它并非模型本身，而是让客户在自己的基础设施上微调并部署专有 Code LLM，训练与推理阶段代码都不离开客户 VPC。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 IDEFICS：Flamingo 的开源复现多模态模型
Hugging Face 发布 IDEFICS，一个基于公开数据和模型构建的开源视觉语言模型，可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本，提供 base 和 instructed 两种变体，各有 9B 和 80B 参数规模。
推荐理由：Hugging Face 公开了 Flamingo 的开源复现细节，读者可了解其数据构成与双版本参数规模。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 AWS Marketplace：可用 AWS 账户直接付费
Hugging Face Hub 已登陆 AWS Marketplace，用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后，Inference Endpoints、Spaces 硬件升级和 AutoTrain 等组织内服务费用将直接计入 AWS 账单，企业需以 admin 角色将组织账户与 AWS 账户连接。
Hugging Face BlogAI 评分2929 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型：将各 Stage 模型下载至 BentoML Model Store，用 service.py 定义 Service 与 Runners，打包成 Bento 后部署。
Hugging Face BlogAI 评分3636 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的文本转语音模型 Bark。基准测试中，未优化的 suno/bark-small 在 5 次生成迭代下平均耗时 9.38 秒，峰值显存占用 1.91 GB。教程涵盖 Bark 的 4 个核心模型架构解析、多种优化技术对比及 benchmark 结果展示。
Hugging Face Blog精选AI 评分6161 用 TRL 的 DPO 方法微调 Llama 2
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization（DPO），可直接用偏好数据优化语言模型，省去奖励模型和 RL 优化两步。
推荐理由：TRL 官方给出 DPO 原理与可复用代码，读者可照着在自有偏好数据上完成对齐训练。