Explosion 推出 Prodigy-HF：直接集成 Hugging Face 生态
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接集成 Hugging Face 生态，可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
#数据/训练
#数据/训练
今日 1 条Hugging Face BlogAI 评分3333
Hugging Face Blog精选AI 评分6262 Personal Copilot：如何训练自己的代码助手
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码交互式探索你的 Hugging Face 数据集
Renumics Spotlight 可直接对接 Hugging Face datasets 库，用一行代码对 7 万余个公开数据集生成交互式可视化，无需复制或预处理数据。它支持结合模型预测与嵌入向量，通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式，并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face BlogAI 评分3434 Hugging Face TRL 集成 DDPOTrainer，用强化学习微调 Stable Diffusion
Hugging Face 在 TRL 库中新增 DDPOTrainer，让开发者能用 DDPO 算法配合强化学习微调 Stable Diffusion 等扩散模型，使其输出更符合人类审美偏好。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face，1800 亿参数开源模型发布
TII 发布 1800 亿参数的 Falcon 180B，并在 Hugging Face 上线 base 与 chat 版本，训练使用 3.5 万亿 token，共约 7,000,000 GPU 小时。
推荐理由：TII 的 Falcon 180B 登陆 Hugging Face，原文给出与 Llama 2、PaLM-2 的评测对比和显存、量化配置门槛。
Hugging Face Blog精选AI 评分6161 用 TRL 的 DPO 方法微调 Llama 2
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization（DPO），可直接用偏好数据优化语言模型，省去奖励模型和 RL 优化两步。
推荐理由：TRL 官方给出 DPO 原理与可复用代码，读者可照着在自有偏好数据上完成对齐训练。
Hugging Face BlogAI 评分2727 Hugging Face 用机器学习为 Hub 数据集补全语言元数据
Hugging Face 正用机器学习检测 Hub 上缺少语言元数据的数据集语言，并通过 librarian-bots 提交 PR 补全。
Hugging Face BlogAI 评分2929 Zama 用全同态加密（FHE）在加密数据上运行 GPT2 推理
Zama 展示了如何基于 HF Mirror transformers 库，用全同态加密（FHE）与 Concrete-Python 改造 GPT2 的推理流程，让多注意力头的一部分计算在加密数据上由服务器完成，从而同时保护用户数据隐私与模型 IP。
Hugging Face BlogAI 评分4343 Hugging Face 开源文本生成与 LLM 生态全景
Hugging Face 发布博客梳理其开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分1313 Writer 如何借助 HF Mirror 应对复杂生成式 AI 用例
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh，回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解，以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
Hugging Face BlogAI 评分3434 Habana Gaudi2 如何加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 提速 2.5 倍，相比 H100 提速 1.4 倍。
Hugging Face BlogAI 评分4444 Open LLM Leaderboard 的 MMLU 分数为何与 LLaMA 论文对不上
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文报告值。原因是同一 MMLU 基准存在 EleutherAI LM Evaluation Harness、Stanford HELM 和 UC Berkeley 原始实现三套代码，对同一批模型给出的分数差异很大，甚至改变模型排名顺序。
Hugging Face BlogAI 评分2020 Hugging Face 面向 GLAM 机构的 Hub 使用指南
Hugging Face 发布面向美术馆、图书馆、档案馆与博物馆（GLAM）机构的 Hub 使用指南，帮助该领域从业者查找模型并上传数据集。Hub 目前托管超 190,000 个模型、33,000 个数据集和逾 100,000 个 ML 应用与演示，可按任务和语言筛选，支持 API 部署，也能直接上传 CSV 数据集。
Hugging Face BlogAI 评分4848 Hugging Face 研究：大语言模型能像人类一样标注数据吗？
Hugging Face 用 327 条提示词（含 25 条编程类）对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测，由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 居首，Dolly-12B 以 802 垫底。
Hugging Face BlogAI 评分3636 Hugging Face Hub 支持用 DuckDB 对 5 万+ 数据集运行 SQL 查询
Hugging Face Hub 新增功能，可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件（大数据集按 500MB 分片），用户通过 /parquet 端点获取 URL 后，加载 httpfs 扩展即可查询远程文件。
Hugging Face BlogAI 评分2626 fastText 正式上线 Hugging Face Hub
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub，官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用，并支持文本分类与特征提取 widget。
Hugging Face Blog精选AI 评分7272 Falcon 模型已接入 Hugging Face 生态
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型，包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本，并给出在 HF 生态中运行与微调的具体做法。
推荐理由：HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求，便于在自己硬件上复现。
Hugging Face Blog精选AI 评分8080 Hugging Face 用 bitsandbytes 与 4-bit 量化让 LLM 更易获取
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。
Hugging Face Blog精选AI 评分6060 Safetensors 通过安全审计并成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计，未发现可导致任意代码执行的关键安全漏洞，同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由：安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式，并给出后续迁移节奏。
Hugging Face BlogAI 评分3131 BigCode 背后的大规模近重复数据删除实践
Hugging Face 博客详解 BigCode 大规模近重复数据删除：先对文档做 Shingling 分词与 MinHashing 指纹化，再用 LSH 分组以减少比较次数，并以 MinHash 参数 (P,T,K,B,R) 控制 Jaccard 相似度阈值。
Hugging Face Blog精选AI 评分6060 用 StarCoder 打造编程助手：Hugging Face 发布 StarChat
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder，用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat，并公开代码、数据集与模型。
推荐理由：文章公开了 StarChat 的微调流程、数据格式与评测结果，可判断代码模型转对话助手的具体做法。
Hugging Face BlogAI 评分3838 用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型
Hugging Face 发布端到端教程，演示用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 掩码语言模型，涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage，以及最终模型训练与上传。
Hugging Face BlogAI 评分3131 Databricks 与 Hugging Face 合作：Spark 数据集加载提速超 40%
Databricks 向 Hugging Face 代码库提交首个官方贡献，新增 Datasets 的 `from_spark` 函数，让用户直接把 Apache Spark dataframe 映射为 Hugging Face Dataset，省去先写 Parquet 再重新加载的步骤。
Hugging Face BlogAI 评分2727 如何用 Transformers 库做图分类：以微软 Graphormer 为例
Hugging Face 博客介绍如何用 Transformers 库（需 >= 4.27.2）进行图分类，目前库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face BlogAI 评分1818 Hugging Face 与 Substra 合作推出联邦学习演示空间，打造隐私保护 AI
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间，让用户体验真实世界中高质量数据匮乏的困境，并对比联邦学习与单一数据源训练的模型表现。Substra 专为生产环境设计，已在乳腺癌研究等复杂医疗场景中实现突破。
Hugging Face Blog精选AI 评分6161 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整训练流程，用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题，并开源了基于 TRL 库的全部训练管线。
推荐理由：原文完整披露了 RLHF 三步训练流程和踩坑细节，读者可据此复现或在单卡上跑起自己的对齐实验。
Hugging Face BlogAI 评分3333 用 HF Mirror 和 Flower 实现联邦学习：微调 distilBERT 做 IMDB 情感分类
Hugging Face 发布教程，演示如何用 HF Mirror 的 Transformers、Datasets 库结合 Flower 框架，在多个客户端上联邦微调预训练 Transformer 模型 distilBERT，用于 IMDB 影评正负情感分类。
Hugging Face BlogAI 评分2020 用 diffusers 训练你自己的 ControlNet
Hugging Face 发布教程，介绍如何用 diffusers 训练 ControlNet。整个流程分三步：确定条件类型、构建含 ground truth image。
Hugging Face BlogAI 评分1919 Hugging Face Hub 改进 Jupyter Notebook 托管与渲染支持
Hugging Face Hub 现已支持 Jupyter Notebook 的渲染，notebook 将以人类可读的格式展示，此前直接查看的是 ipynb 的 JSON 源文件。Hub 上已托管超过 7,000 个 notebook，以及 150,000 个模型、25,000 个数据集和 30,000 个 ML 应用。notebook 还支持在 Google Colab 中一键直接打开。
Hugging Face BlogAI 评分3939 Hugging Face 在 Transformers 中上线 Informer，支持多变量概率时间序列预测
Hugging Face 将 AAAl21 最佳论文提出的 Informer 模型集成进 🤗 Transformers，用于多变量概率时间序列预测，即预测未来时间序列目标值向量的分布。
Hugging Face Blog精选AI 评分7171 trl 与 peft 集成，可在 24GB 消费级 GPU 上用 RLHF 微调 20B 大模型
Hugging Face 官方发布 trl 与 peft 的集成，让使用 RLHF 的大语言模型微调更易上手。
推荐理由：原文给出 trl 与 peft 集成后在 24GB 消费级 GPU 上微调 20B 参数模型的完整路径，便于读者评估自身显存条件下的可行性。
Hugging Face BlogAI 评分4848 用机器学习救助土耳其地震幸存者：Hugging Face 上的 afetharita 实战
2023 年土耳其地震后，志愿者团队开发了灾害地图应用 afetharita，从社交媒体推文中提取幸存者的地址与求助需求。团队用 easyocr 做 OCR、基于 transformers 微调 NER 模型（以 bert-base-turkish-cased 为基座）抽取地址，并通过 Hugging Face Inference API 部署。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 PEFT 库，支持低显存微调大语言模型
Hugging Face 发布 PEFT 库，通过只微调少量额外参数并冻结预训练模型大部分参数来降低计算与存储开销，并已集成 Transformers 和 Accelerate。
推荐理由：官方给出 PEFT 库支持的方法与消费级硬件训练示例，可用于判断低显存微调方案的可行性。
Hugging Face BlogAI 评分3636 Hugging Face 博客：深入解析视觉语言模型及其训练策略
Hugging Face 博客梳理了视觉语言模型（VLM）的训练方法，涵盖对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 以及免训练五类策略。文章以 OpenAI 的 CLIP 为例说明对比学习如何将图文映射到同一特征空间，并介绍了 CLOOB、ALIGN、DeCLIP、LiT 等模型，同时说明如何用 Transformers 库上手这些模型。
Hugging Face BlogAI 评分3434 对话式 AI 智能体如何变得有用？解析 RLHF、IFT、CoT 等关键技术
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术，包括 RLHF、IFT、SFT、CoT 与红队测试，并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face BlogAI 评分1919 Hugging Face 图解图机器学习入门：从图表示到 Graph Neural Networks 与 Graph Transformer
Hugging Face 发布图机器学习入门博客，介绍图的基本概念、表示方法以及从神经网络之前的方法到 Graph Neural Networks 的学习路径，并简要展望面向图的 Transformer。文章还梳理了图级别、节点级别、边级别和子图级别的任务，例如图生成、Alphafold 用节点属性预测预测原子 3D 坐标，以及推荐系统中的缺失边预测。
Hugging Face BlogAI 评分2828 用 Intel Sapphire Rapids 加速 PyTorch Transformer 训练（上）
Hugging Face 与 Intel 演示如何在 AWS 的第四代 Xeon（Sapphire Rapids）裸金属实例集群上分布式训练 PyTorch Transformer。借助已集成进 transformers 的 Intel oneCCL 和 IPEX，无需改一行代码即可启用 AMX 指令加速矩阵乘法，支持 BF16 和 INT8，Linux 内核需 v5.16 以上。
Hugging Face Blog精选AI 评分6666 图解大语言模型的 RLHF 训练流程
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型，把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤，并说明奖励模型以排序而非直接打分来生成标量奖励，最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由：文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段，并梳理可直接上手的开源工具与数据集。
Hugging Face BlogAI 评分2424 Hugging Face 解读蛋白质深度学习：从语言模型到 ESMFold 折叠
Hugging Face 发布蛋白质深度学习长文，面向生物学家与机器学习研究者，介绍蛋白质模型如何借鉴 BERT、GPT 等大语言模型。文章回顾 2018 年 ULMFiT 和 BERT 带来的迁移学习突破，指出其性能常相当于训练数据增加 100 倍以上，并给出微调蛋白质语言模型和用 ESMFold 做蛋白质折叠的示例 notebook。
Hugging Face BlogAI 评分4444 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的调参经验
Hugging Face 的 Diffusers 提供了 Dreambooth 训练脚本，用于给 Stable Diffusion 注入新概念。实验发现人脸训练需要更多步数，batch size 为 2、LR 为 1e-6 时 800-1200 步效果较好，且 prior preservation 能有效避免人脸过拟合。