用 Mask2Former 和 OneFormer 实现通用图像分割
Mask2Former 和 OneFormer 两个 SOTA 图像分割神经网络现已加入开源库 🤗 transformers。OneFormer 只需在 panoptic 版本数据集上训练一次，即可在实例、语义和全景分割三项任务上取得 SOTA，并已支持 Swin Transformer 或 DiNAT 作为 backbone，但额外的文本编码器带来更高延迟。
全部AI 动态
全部动态
今日 11 条Hugging Face BlogAI 评分3636
Hugging Face BlogAI 评分3636 HF Mirror Hub 迎来 PaddlePaddle：75+ 模型与推理 API 上线
HF Mirror 与 PaddlePaddle 达成开源合作，PaddlePaddle 旗下模型库将逐步接入 HF Mirror Hub，目前 Hub 上已有超 75 个 PaddlePaddle 模型。
Hugging Face BlogAI 评分3030 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
基于 🤗 Transformers 和 Datasets 可搭建图像相似度检索系统，用 ViT 模型（nateraw/vit-base-beans）提取图像嵌入向量，再以余弦相似度找出与查询图最接近的候选图。
Hugging Face BlogAI 评分2424 AI 游戏开发实战：5 天做出一款农场游戏（第 2 部分：游戏设计）
Hugging Face 的系列教程第二部分展示如何用 ChatGPT 辅助农场游戏的游戏设计，作者让 ChatGPT 以专业游戏设计师身份给出作物多样性、进阶系统、动态环境、社交与剧情等核心玩法建议，并只对前两项做了灰盒实现。文中还介绍了语言模型与 Transformer 原理、RLHF 的作用，以及 ChatGPT 常用于头脑风暴与加速开发、而非取代开发流程的定位。
Hugging Face BlogAI 评分1919 Hugging Face 图解图机器学习入门：从图表示到 Graph Neural Networks 与 Graph Transformer
Hugging Face 发布图机器学习入门博客，介绍图的基本概念、表示方法以及从神经网络之前的方法到 Graph Neural Networks 的学习路径，并简要展望面向图的 Transformer。文章还梳理了图级别、节点级别、边级别和子图级别的任务，例如图生成、Alphafold 用节点属性预测预测原子 3D 坐标，以及推荐系统中的缺失边预测。
Hugging Face BlogAI 评分2424 AI 游戏开发：5 天用 Stable Diffusion 和 Unity 做出一款农场游戏（Part 1）
Hugging Face 博客推出「AI for Game Development」系列，演示 5 天内用 AI 工具做出完整农场游戏，第一部分讲美术风格。
Hugging Face BlogAI 评分2828 用 Intel Sapphire Rapids 加速 PyTorch Transformer 训练（上）
Hugging Face 与 Intel 演示如何在 AWS 的第四代 Xeon（Sapphire Rapids）裸金属实例集群上分布式训练 PyTorch Transformer。借助已集成进 transformers 的 Intel oneCCL 和 IPEX，无需改一行代码即可启用 AMX 指令加速矩阵乘法，支持 BF16 和 INT8，Linux 内核需 v5.16 以上。
Hugging Face BlogAI 评分4343 用 CLIPSeg 实现零样本图像分割
Hugging Face 发布指南，介绍如何通过 transformers 使用 CLIPSeg 零样本图像分割模型。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器，能生成粗略分割掩码，可用于机器人感知与图像修复；其输入为 352 x 352 像素，输出分辨率较低，需要更精细结果时可在 Segments.ai 上微调优化。
Hugging Face BlogAI 评分3131 Hugging Face 发布模型卡创建工具与指南
Hugging Face 推出模型卡创建工具（GUI，无需编程或 Markdown）与模型卡指南，并更新 huggingface_hub 库中的模型卡模板、发布注释版模板、用户研究和文献综述。新模板统一了 HF 模型卡的结构与默认提示文本，重点覆盖偏见、风险与局限部分。
Hugging Face BlogAI 评分3434 Hugging Face 谈机器学习中的偏见：伦理与社会通讯第 2 期
Hugging Face 伦理与社会团队发布通讯第 2 期，讨论机器学习偏见的成因与应对。文章指出偏见是复杂的社会技术问题，单靠技术干预难以解决，需要在整个 ML 开发流程中保持警惕。团队还整理了数据集与模型等工具，供社区在开发各阶段分析并缓解偏见。
Hugging Face BlogAI 评分3434 Hugging Face 音频数据集完全指南：用 🤗 Datasets 一行代码加载与处理
Hugging Face 发布音频数据集使用指南，介绍如何用 🤗 Datasets 的 load_dataset 一行代码下载并准备音频数据。加载 GigaSpeech 时只需指定 speechcolab/gigaspeech 与 xs 配置，即可得到已划分好的 train（9389 行）、validation（6750 行）和 test（25619 行）三个 split。
Hugging Face BlogAI 评分1515 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度实测
Hugging Face 用 Optimum Habana 在 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调上对比了 Habana Gaudi2 与 Nvidia A100 80GB，Gaudi2 训练和推理均约为 A100 的两倍。
Hugging Face BlogAI 评分2626 Bumblebee 发布：GPT2 到 Stable Diffusion 模型进入 Elixir 生态
Elixir 社区推出 Bumblebee 库，用纯 Elixir 实现 Hugging Face Transformers，让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face Blog精选AI 评分6666 图解大语言模型的 RLHF 训练流程
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型，把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤，并说明奖励模型以排序而非直接打分来生成标量奖励，最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由：文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段，并梳理可直接上手的开源工具与数据集。
Hugging Face BlogAI 评分2424 Hugging Face 解读蛋白质深度学习：从语言模型到 ESMFold 折叠
Hugging Face 发布蛋白质深度学习长文，面向生物学家与机器学习研究者，介绍蛋白质模型如何借鉴 BERT、GPT 等大语言模型。文章回顾 2018 年 ULMFiT 和 BERT 带来的迁移学习突破，指出其性能常相当于训练数据增加 100 倍以上，并给出微调蛋白质语言模型和用 ESMFold 做蛋白质折叠的示例 notebook。
Hugging Face BlogAI 评分5555 用 🤗 Transformers 做概率时间序列预测
Hugging Face 发布教程，介绍如何使用 🤗 Transformers 中的 Time Series Transformer 对月度旅游数据集做概率时间序列预测，包含数据加载、特征变换、模型配置、训练与 generate 推理的完整代码。
Hugging Face Blog精选AI 评分6969 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助苹果工程师提供的转换脚本和基于 Diffusers 的推理代码，Stable Diffusion 现在可以在 Apple Silicon 上用 Core ML 运行，Hugging Face 已代为转换权重并上传到 Hub，提供 v1.4、v1.5、v2 base、v2.1 base 四个 checkpoint。
推荐理由：借助苹果工程师的转换脚本，读者可以了解在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的权重下载与推理命令。
Hugging Face BlogAI 评分3232 VQ-Diffusion：面向离散隐空间的扩散模型与 Diffusers 使用指南
VQ-Diffusion 是中国科学技术大学与微软提出的条件隐空间扩散模型，其加噪与去噪过程在由离散向量构成的量化隐空间上进行，有别于主流连续扩散模型。模型采用冻结的 VQ-VAE（VQGAN 变体）将图像编码为离散 token，并用编码器-解码器 Transformer 一次性预测去噪后隐变量的分布。
Hugging Face BlogAI 评分55 Hugging Face 启动 2023 年实习生招聘，开放 8 个 AI 方向岗位
Hugging Face 宣布启动 2023 年实习生项目，与 HF 导师共同研究 AI 与机器学习前沿问题。开放岗位包括 Accelerate、文本转语音、具身智能、大语言模型分布式训练框架、LLM 数据集、社会影响评估和 AI 艺术工具等，分布在开源团队与 Science 团队。申请需通过官方招聘门户并注册 HF 账号，工作地点视具体岗位而定。
Hugging Face BlogAI 评分3535 Hugging Face 扩散模型课程 11 月 28 日上线，11 月 30 日举办直播社区活动
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日免费发布，讲解扩散模型的理论与应用。
Hugging Face BlogAI 评分1010 Hugging Face 机器学习总监洞察第四期：电商与工程领域的 ML 实践
Hugging Face 发布《Director of Machine Learning Insights》第四期，邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位机器学习总监谈 ML 对各自行业的影响。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Document AI 加速指南：开源模型与最佳实践
Hugging Face 发文梳理文档 AI 的六大用例及对应开源模型，涵盖 OCR、文档图像分类、版面分析和文档解析，并给出许可、数据准备与建模的实践指引。
Hugging Face BlogAI 评分2626 Hugging Face 推理方案概览：Inference Widget、Inference API、Inference Endpoints 与 Spaces
Hugging Face 梳理了平台上的推理方案：模型页内置 Inference Widget 可一键测试模型，免费 Inference API 用单条 HTTP 请求即可加载任意模型预测，因限流不适合生产。
Hugging Face BlogAI 评分3636 Hugging Face Spaces 与 arXiv 集成，论文页面新增 Demo 标签页
Hugging Face Spaces 与 arXiv 达成合作，通过 arXivLabs 在论文页面加入 Demo 标签页，用户可直接跳转社区或作者创建的开源演示。该标签页会列出论文相关的最热门 demo，例如 BERT 论文页面可找到 200 多个社区构建的演示。Spaces 自 2021 年 10 月上线以来已累计托管超过 12,000 个开源机器学习 demo。
Hugging Face BlogAI 评分2525 Hugging Face 教程：用同态加密在加密数据上做情感分析
Hugging Face 发布教程，演示如何借助 Concrete-ML 库在全同态加密（FHE）设置下对加密数据做情感分析。方案用基于 Stanford Sentiment Treebank 微调的 BERT 提取文本隐藏表示（768 维），再交给 XGBoost 分类，并给出基于客户端/服务器协议的云端部署及 HF Mirror Spaces demo。
Hugging Face Blog精选AI 评分6060 Transformer 引入对比搜索解码：生成人类水平文本
Hugging Face 博客介绍 Contrastive Search 解码方法已集成进 transformers，PyTorch 和 TensorFlow 均可使用，安装 transformers==4.24.0 即可复现文中示例。
推荐理由：该方法给出可直接复用的参数与代码路径，读者能借此判断它相对已有解码策略的实际取舍。
Hugging Face BlogAI 评分2929 Hugging Face 公布新定价：Inference API 付费层下线，推出 Inference Endpoints
Hugging Face 调整定价，下线 Inference API 的 Paid 付费层，该 API 仍对所有人免费开放，同时推荐需要快速企业级推理的用户使用新的 Inference Endpoints。Spaces 也获得硬件升级，可自选硬件运行 ML demo，这些服务无需订阅，只需在计费设置中绑定信用卡。所有付费服务按月月初扣费，并提供汇总发票。
Hugging Face BlogAI 评分4444 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的调参经验
Hugging Face 的 Diffusers 提供了 Dreambooth 训练脚本，用于给 Stable Diffusion 注入新概念。实验发现人脸训练需要更多步数，batch size 为 2、LR 为 1e-6 时 800-1200 步效果较好，且 prior preservation 能有效避免人脸过拟合。
Hugging Face BlogAI 评分4444 用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 微调 OpenAI 的 Whisper 做多语言 ASR。
Hugging Face BlogAI 评分4141 Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel，加速 Transformer 模型推理
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel，用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型做推理，并借助 NNCF 在数分钟内完成量化、降低模型体积与预测延迟。
Hugging Face BlogAI 评分4242 Hugging Face 在 Evaluate 库中加入语言模型偏见指标
Hugging Face 为 Evaluate 库新增偏见指标与测量方法，可评估 GPT-2、BLOOM 等因果语言模型的偏见。流程分两步：用 🤗 Datasets 上的预定义提示词提示模型，再用 Evaluate 的指标评估生成文本，示例覆盖毒性、语言极性和伤害性三类任务，其中毒性指标调用 R4 Target 模型作仇恨言论分类器。
Hugging Face BlogAI 评分3232 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
Hugging Face 发布教程，梳理如何用三级递增抽象在多个 GPU 上做分布式数据并行（DDP）训练：原生 PyTorch DDP、Accelerate 轻量封装，以及 Transformer 的高层 Trainer API。Accelerate 的封装无需改代码即可在单 GPU 和 TPU 上运行，只需对原代码做最小改动；Trainer 则抽象掉全部样板代码并支持多种设备和分布式场景。
Hugging Face BlogAI 评分4343 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB（Massive Text Embedding Benchmark），覆盖 8 类任务、56 个数据集、最多 112 种语言，目前排行榜已汇总超 2000 条结果。
Hugging Face BlogAI 评分3737 HF Mirror Inference Endpoints 入门指南
Hugging Face 推出 HF Mirror Inference Endpoints，可从 Hub 直接部署模型到托管基础设施，支持单 GPU 实例、自动扩缩容与自定义容器。端点提供 Public、Protected、Private 三档访问控制，Private 通过 AWS PrivateLink 的 VPC Endpoint 仅在自有 AWS 账户内可访问。
Hugging Face BlogAI 评分5050 Stable Diffusion 现已支持 JAX / Flax，可在 TPU 上快速推理
Hugging Face Diffusers 从 0.5.1 版本起支持 Flax，Stable Diffusion 由此可在 Google TPU 上进行推理，每个 TPU 服务器有 8 个加速器并行工作，可同时生成 8 张图像。
Hugging Face BlogAI 评分4444 BLOOM 推理优化实录：延迟降低 5 倍、吞吐提升 50 倍
Hugging Face 分享了 BLOOM（176B 参数，bf16 下 352GB）推理服务的优化过程，数周内把延迟降低 5 倍、吞吐提升 50 倍。团队用 Megatron-Deepspeed 训练的模型花约一个月、200 次提交移植到 transformers，并借助 accelerate 的 device_map="auto" 做流水线并行分片，同时保留了张量并行带来的数值差异开关。
Hugging Face BlogAI 评分3131 Hugging Face 为模型和数据集引入 DOI
Hugging Face 宣布用户可直接在 Hub 的仓库设置中为模型或数据集生成 DOI，其他人在模型/数据集页面点击"Cite this model/dataset"即可引用。该功能通过与 DataCite 合作实现，DOI 绑定了对象的 URL、版本、创建日期等元数据，并可通过更新 DOI 来区分模型或数据集的不同版本。
Hugging Face BlogAI 评分4848 rinna 推出 Japanese Stable Diffusion，基于 Stable Diffusion 微调的日语文生图模型
rinna 发布 Japanese Stable Diffusion，通过在约 1 亿张日语标注图像上微调 Stable Diffusion，实现了对日语提示词的直接支持，可生成日式风格图像并理解「salary man」等日语特有词汇和拟声词。
Hugging Face BlogAI 评分5252 Hugging Face 在 Hub 上线零样本评测功能
Hugging Face 在 Evaluation on the Hub 上线零样本分类评测，任何 Hub 上的因果语言模型都能在无需编写代码的情况下进行零样本评测，目前支持最高 66B 参数的模型。
Hugging Face BlogAI 评分3030 Hugging Face AutoTrain 新增图像分类任务，支持零代码训练
Hugging Face 的 AutoTrain 新增图像分类任务，用户无需编写代码，只需上传数据并选择候选模型数量即可开始训练。示例中 AutoTrain 启动 5 个模型进行对比，表现不佳的模型被自动停止以节省资源，最佳模型达到 84% 准确率，使用 5 个候选模型且图片少于 500 张时可免费训练。训练完成的模型可发布到 Hub 并通过内置推理组件试用。