Hugging Face：用开源合成数据低成本训练定制模型
Hugging Face 博客以金融新闻投资者情绪识别为例，展示用开源 Mixtral-8x7B-Instruct-v0.1 生成合成数据、再用 AutoTrain 蒸馏出约 0.13B 参数的 RoBERTa 分类模型的流程。
推荐理由：以金融情绪识别为例，给出用开源 LLM 生成合成数据再蒸馏小模型的可复用流程与成本对比。
#开源生态
#开源生态
今日 2 条Hugging Face Blog精选AI 评分6767
Hugging Face BlogAI 评分1515 AMD 与 Hugging Face 联合启动 Pervasive AI 开发者大赛，总奖金 16 万美元
AMD 联合 Hugging Face 启动 Pervasive AI 开发者大赛，设 Generative AI、Robotics AI、PC AI 三个赛道，总奖金 16 万美元，单项最高 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face Blog精选AI 评分6060 HF Mirror 为 TGI 与 Inference Endpoints 推出 Messages API，兼容 OpenAI Chat Completion
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API。
推荐理由：TGI 1.4.0 起提供 OpenAI 兼容的 Messages API，读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Hugging Face Blog精选AI 评分6060 Segmind 发布 SegMoE 扩散专家混合框架
Segmind 发布 SegMoE 框架，可从零构建混合专家（MoE）扩散模型，并已集成 diffusers，同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码（Apache 2.0）。
推荐理由：原文给出了从配置到生产的完整流程和显存占用数据，读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face BlogAI 评分4444 Hugging Face TGI 正式支持 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 的 Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，通过 Tensor Parallelism 与连续批处理服务 Llama、Mistral 等开源 LLM。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布开源大模型 Constitutional AI 端到端配方
Hugging Face 公开了一套用开源模型做 Constitutional AI 的端到端配方，覆盖自我批判、修订、SFT 与 DPO 全流程，并发布了 Anthropic constitution 与 Grok 风格两个版本的 CAI 数据集，以及基于 Mistral-7B 的 DPO/SFT 模型。
推荐理由：Hugging Face 公开了一套在开源模型上做 Constitutional AI 的完整配方，包括数据集、模型与集群推理工具，便于复现细粒度对齐。
Hugging Face BlogAI 评分3232 在 Intel Xeon 上用 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit、4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍推理加速。
Hugging Face BlogAI 评分5252 Hugging Face 与 Google Cloud 达成战略合作
Hugging Face 与 Google Cloud 宣布战略合作，在开放科学、开源、云与硬件层面协作，让企业用开源模型构建自己的 AI。
Hugging Face Blog精选AI 评分6363 开源 LLM 作为 LangChain 智能体评测
Hugging Face 在 LangChain 中集成 ChatHuggingFace 封装，让开源模型可构建 ReAct 智能体，并对比了多个开源模型与 GPT-3.5、GPT-4 的表现。
推荐理由：对比多个开源模型在 ReAct 智能体上的评测结果，并给出 LangChain 接入代码示例。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 做低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 基于 facebook/w2v-bert-2.0 检查点在低资源 ASR 任务上微调 Wav2Vec2-BERT。
Hugging Face Blog精选AI 评分6262 如何在 HF Mirror Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 博客发布教程，介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本，改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由：教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤，包含模型映射与预加载等工程细节，可复用性强。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 diffusers 版 SDXL LoRA 高级训练脚本
Hugging Face 发布 SDXL LoRA 高级训练脚本，把 Pivotal Tuning 与 Prodigy 优化器等社区 SOTA 做法整合进 diffusers，并提供 Colab 与带 UI 的训练 Space。
推荐理由：整理 SDXL Dreambooth LoRA 微调的社区最佳实践，包括 Pivotal Tuning、Prodigy 优化器与数据集构建等可复用方法。
Hugging Face BlogAI 评分4242 Hugging Face 回顾 2023：开源大语言模型的爆发之年
Hugging Face 发布 2023 年开源 LLM 回顾，指出公众对开源与闭源之争的关注度大幅上升，开源模型有利于研究可复现、社区参与和 checkpoint 复用。文章梳理了预训练大语言模型的构成要素（架构、训练数据集、tokenizer、超参数），并回顾 2022 年的代表性开源模型，包括 176B 参数、覆盖 46 种人类语言的 BLOOM 和 Meta 的 175B 参数 OPT。
Hugging Face BlogAI 评分4747 Hugging Face 详解混合专家模型（MoE）：从 Mixtral 8x7B 说起
Hugging Face 发布混合专家（MoE）模型科普长文，结合 Mixtral 8x7B 的发布梳理 MoE 的构成、训练与推理权衡。MoE 用稀疏 MoE 层替换 Transformer 的 FFN 层，由路由器决定 token 分配到哪些专家，预训练更快、推理快于同等参数量的稠密模型，但需高显存，如 Mixtral 8x7B 需容纳 47B 参数。
Hugging Face BlogAI 评分5353 Hugging Face 与 AMD 合作：Transformers 与 TGI 实现 AMD GPU 开箱即用加速
Hugging Face 与 AMD 推进合作，现已支持在 AMD Instinct GPU 上无需修改代码运行全部 Transformers 模型和任务，并初步支持 Text Generation Inference（TGI）在 MI210、MI250 上部署。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Optimum-NVIDIA，一行代码将 LLM 推理提速至多 28 倍
Hugging Face 发布 Optimum-NVIDIA 推理库，在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由：原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据，读者可据此判断自身部署的提速空间。
Hugging Face BlogAI 评分2727 Open LLM Leaderboard 深度排查：DROP 基准为何集体低分
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准做深度排查，发现绝大多数模型 f1-score 低于 10。原因是归一化在数字后跟非空格空白符时失效，且用 "." 作为停止词会截断浮点答案、拖累长回答模型；改用 \n 切分后分数与整体表现的相关性明显提升。
Hugging Face Blog精选AI 评分8080 用 Latent Consistency LoRA 让 SDXL 4 步出图
Hugging Face 发布 LCM LoRA，把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步，方法是不蒸馏整个模型，只训练少量 LoRA 适配器，再配合 LCMScheduler 使用。
推荐理由：原文给出了 LCM LoRA 的原理、代码和跨硬件基准，读者可据此评估在现有 SDXL 流程中提速的可行性。
Hugging Face BlogAI 评分2626 RoBERTa、Llama 2 与 Mistral 7B 灾害推文分类性能对比：基于 LoRA 微调
一篇博客用 LoRA 微调 RoBERTa-large、Llama-2-7b 和 Mistral-7B-v0.1 三个预训练模型，在 twitter_disaster 数据集上对比灾害推文序列分类性能，实验在单张 48GB A6000 上完成。
Hugging Face BlogAI 评分3737 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 做文本生成，可通过 Neuron DLAMI 使用或手动安装。官方在 hub 上传了 Llama 2 7B 和 13B 的预编译版本，按预算、延迟、吞吐三种配置编译，最大序列长度 2048，支持贪心搜索与 top-k、top-p 采样。
Hugging Face BlogAI 评分1717 Hugging Face Hub 推出存储区域（Storage Regions）功能
Hugging Face 在 Enterprise Hub 套餐中上线 Storage Regions，企业可自选模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。非默认区域的 repo 会显示 Region 标签，便于成员查看。Hugging Face 称，欧洲团队把仓库放在 EU 区域，上传和下载速度约为存放在 US 时的 4-5 倍。
Hugging Face BlogAI 评分4747 Hugging Face 探索 SDXL 的简单推理优化方法
Hugging Face 在 A100（40GB）上测试了 Stable Diffusion XL 的推理优化：原始全精度管线占用 28GB 显存、耗时 72.2 秒。改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒，再用 torch.compile 包装 UNet 可缩短至 10.2 秒。
Hugging Face BlogAI 评分3232 HF Mirror 上超 13 万个模型接入 ONNX Runtime 加速
HF Mirror 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多个模型架构，包括上传量最高的 11 种架构如 BERT、GPT2、DistilBERT、RoBERTa、T5 等。以 whisper-tiny 为例，使用 ONNX Runtime 加速后平均单次推理延迟相比 PyTorch 最高提升 74.30%。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizer 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，并把对话历史转换为正确格式的字符串，以避免因格式不匹配导致的静默性能下降。
推荐理由：原文说明格式错配会静默拖垮模型表现，并给出把格式信息随 tokenizer 保存和加载的具体做法。
Hugging Face BlogAI 评分1616 Hugging Face 伦理与社会通讯 #5：Hugging Face 走进华盛顿与 2023 夏季随想
Hugging Face 发布伦理与社会通讯 #5，回顾 2023 夏季在 E.U.、U.K.、U.S. 的 AI 监管参与，包括 CEO Clem 向美国国会作证、在美国参议院 AI Insight Forum 发言，以及对 E.U. AI Act 和 NTIA AI 问责制的建议。团队还发布 IDEFICS 多模态模型并对其开展偏见与危害测试，同时公开多项负责任生成式 AI 教程、论文与资源。
Hugging Face BlogAI 评分3434 Hugging Face TRL 集成 DDPOTrainer，用强化学习微调 Stable Diffusion
Hugging Face 在 TRL 库中新增 DDPOTrainer，让开发者能用 DDPO 算法配合强化学习微调 Stable Diffusion 等扩散模型，使其输出更符合人类审美偏好。
Hugging Face BlogAI 评分3838 非工程师指南：零代码训练 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码构建开源 ChatGPT：用 LLaMA 2 基础模型，经 AutoTrain 在 Alpaca 指令数据集上微调，再通过 ChatUI 部署成可分享的聊天应用。全程仅需三步，在 Spaces 上以 Docker 模板部署 AutoTrain 和 ChatUI，7b 模型训练选用 A10G Large 即可。
Hugging Face BlogAI 评分5050 Hugging Face 为 PRO 用户推出 Inference for PROs 专属 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama、Stable Diffusion XL、Bark 等精选模型的专属 API 端点，并享受更高速率限制。
Hugging Face BlogAI 评分3030 Hugging Face 发布目标检测排行榜：IoU、AP、AR 指标全解读
Hugging Face 推出目标检测排行榜（Object Detection Leaderboard），对 Hub 上可用的目标检测模型按指标进行排名。文章详解 IoU、Average Precision（AP）与 Average Recall（AR）及其变体的计算方式，并说明这些指标为何会导致同一模型在不同报告中出现结果差异。该排行榜旨在帮助开发者与研究者挑选适合自身应用的开源检测模型。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Würstchen：快速图像生成扩散模型
Würstchen 是 Hugging Face 推出的文本条件扩散模型，在高度压缩的潜空间中工作，实现 42x 空间压缩，远高于常见的 4x-8x。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断低成本图像生成模型的效率边界。
Hugging Face BlogAI 评分4848 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 发布博客，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，硬件为 2 节点共 16 张 A100 80GB。
Hugging Face BlogAI 评分4141 Hugging Face Transformers 原生支持的量化方案概览：bitsandbytes 与 auto-gptq 对比
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者免校准、开箱即用且支持 8-bit 与 4-bit，后者文本生成更快、最高可量化至 2 bit（推荐 4 bit）并支持 AMD GPU。bitsandbytes 4-bit 模型暂不支持序列化，而 auto-gptq 需要校准数据集，目前仅支持语言模型。
Hugging Face BlogAI 评分2828 Hugging Face 对比 SafeCoder 与闭源代码助手
Hugging Face 发文对比企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务。SafeCoder 基于 155 亿参数的 StarCoder 模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle，使用 Docker 容器，可本地或云端部署并完全离线运行。
Hugging Face Blog精选AI 评分6363 Diffusers 为 SDXL 加入 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL（SDXL）加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers，并给出从零训练的配置与参数对比，便于读者评估可控生成的开销与接入方式。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face，1800 亿参数开源模型发布
TII 发布 1800 亿参数的 Falcon 180B，并在 Hugging Face 上线 base 与 chat 版本，训练使用 3.5 万亿 token，共约 7,000,000 GPU 小时。
推荐理由：TII 的 Falcon 180B 登陆 Hugging Face，原文给出与 Llama 2、PaLM-2 的评测对比和显存、量化配置门槛。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 HF Mirror 将 ML 处理延迟降低 50%
Fetch 在 Amazon SageMaker 上结合 HF Mirror 的 AWS Deep Learning Container 与 SageMaker HF Mirror Inference Toolkit 优化收据扫描 ML 流水线，每周处理超 8000 万张收据，最慢扫描延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face Blog精选AI 评分8585 Meta 发布 Code Llama：Llama 2 的代码专用版本并接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列，提供 7B、13B、34B 三个参数版本，另有 Python 专用版（额外 1000 亿 token）和指令微调版，采用与 Llama 2 相同的许可协议并允许商用。
推荐理由：梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式，方便对照选型。
Hugging Face Blog精选AI 评分6565 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 2 至 8 bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是 StarCoder 系列代码大模型。它并非模型本身，而是让客户在自己的基础设施上微调并部署专有 Code LLM，训练与推理阶段代码都不离开客户 VPC。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 IDEFICS：Flamingo 的开源复现多模态模型
Hugging Face 发布 IDEFICS，一个基于公开数据和模型构建的开源视觉语言模型，可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本，提供 base 和 instructed 两种变体，各有 9B 和 80B 参数规模。
推荐理由：Hugging Face 公开了 Flamingo 的开源复现细节，读者可了解其数据构成与双版本参数规模。