Hugging Face 推出中文博客,携手中国 AI 社区推动协作
Hugging Face 上线面向中文用户的中文博客 hf.co/blog/zh,由志愿者翻译其博客文章及 transformers、diffusion、强化学习等课程内容。
Hugging Face 上线面向中文用户的中文博客 hf.co/blog/zh,由志愿者翻译其博客文章及 transformers、diffusion、强化学习等课程内容。
Hugging Face 博客介绍如何用 Transformers 库(需 >= 4.27.2)进行图分类,目前库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间,让用户体验真实世界中高质量数据匮乏的困境,并对比联邦学习与单一数据源训练的模型表现。Substra 专为生产环境设计,已在乳腺癌研究等复杂医疗场景中实现突破。
Snorkel AI 宣布与 Hugging Face 合作,将 Hugging Face 的 Inference Endpoint 服务集成进 Snorkel Flow 平台,让企业用户可直接调用 Hugging Face 上超过 150,000 个开源模型。该服务支持几次点击创建模型 API,并具备暂停与恢复能力,客户不用时可休眠以控制成本。
Hugging Face 发布 Ethics and Society Newsletter #3,阐述其在开放 ML 中兼顾伦理的立场,并推出 6 类伦理标签(Rigorous、Consentful、Socially Conscious、Sustainable、Inclusive、Inquisitive)和社区举报功能,用于标记违规的模型、数据集或 Space。
Habana Gaudi2 在 176B 参数 BLOOMZ 上推理延迟为 3.103 秒,比 Nvidia A100 80GB 的 4.402 秒快 1.42 倍,7B 版本则快 2.89 倍。
Hugging Face 发布教程,演示如何用 HF Mirror 的 Transformers、Datasets 库结合 Flower 框架,在多个客户端上联邦微调预训练 Transformer 模型 distilBERT,用于 IMDB 影评正负情感分类。
Hugging Face Hub 现已支持 Jupyter Notebook 的渲染,notebook 将以人类可读的格式展示,此前直接查看的是 ipynb 的 JSON 源文件。Hub 上已托管超过 7,000 个 notebook,以及 150,000 个模型、25,000 个数据集和 30,000 个 ML 应用。notebook 还支持在 Google Colab 中一键直接打开。
Hugging Face 官方发布 trl 与 peft 的集成,让使用 RLHF 的大语言模型微调更易上手。
推荐理由:原文给出 trl 与 peft 集成后在 24GB 消费级 GPU 上微调 20B 参数模型的完整路径,便于读者评估自身显存条件下的可行性。
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline,并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由:官方教程给出 ControlNet 在 Diffusers 中的完整用法,并配可运行代码与显存推理耗时对比,便于复现其各类条件控制。
Hugging Face 为 Diffusers 库发布了一套伦理框架,用于指导维护者处理社区贡献时的技术决策。该准则明确了透明、一致性、简洁、无障碍、可复现与责任等价值观,并列举了社区讨论区、"Not For All Eyes"标签、Stable Diffusion 偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
Hugging Face 发文解读大语言模型的红队测试(Red-Teaming):通过构造自然语言提示词诱导 LLM 暴露有害输出,并对模型进行修正,与人类难以理解的对抗攻击不同。文章指出人类或 LM 均可充当红队,对经 RLHF 或 SFT 对齐的模型需用角色扮演等方式越狱;Tay、Sydney 是缺乏红队评估的真实教训,Meta、Anthropic、AI2 已开源相关数据集。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将把 AWS 作为首选云服务商,社区开发者可用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。
Hugging Face 发布 PEFT 库,通过只微调少量额外参数并冻结预训练模型大部分参数来降低计算与存储开销,并已集成 Transformers 和 Accelerate。
推荐理由:官方给出 PEFT 库支持的方法与消费级硬件训练示例,可用于判断低显存微调方案的可行性。
Hugging Face 宣布 SpeechT5 正式集成进 Transformers,官方权重已发布在 HF Mirror Hub,并提供语音合成、音色转换和语音识别三个在线 demo。
Hugging Face 的 AI for Game Development 系列第 5 篇展示了用 ChatGPT 为农场游戏生成剧情的流程:让它写故事梗概、游戏内文本和商店物品描述,再通过多轮对话反复修改。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion,微调权重文件仅约 3 MB,比 UNet 原模型小约一千倍。
推荐理由:以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例,展示 LoRA 把微调权重压到 3 MB 的可行路径。
Hugging Face 的 Optimum 库通过与 ONNX Runtime 集成进行训练,可将众多热门 Hugging Face 模型的训练时间提升 35% 以上。
在“AI for Game Development”系列第 3 天,作者指出 text-to-3D 目前还无法真正用于游戏开发:DreamFusion、Point-E、CLIP-NeRF 等方案多基于视角合成,产出的 mesh 不能直接用于游戏,需要大量人工后处理。作者因此在本作中直接用不同颜色的方块代表农作物,并认为未来突破点在于 NeRF-to-mesh 与 mesh 生成的改进。
Mask2Former 和 OneFormer 两个 SOTA 图像分割神经网络现已加入开源库 🤗 transformers。OneFormer 只需在 panoptic 版本数据集上训练一次,即可在实例、语义和全景分割三项任务上取得 SOTA,并已支持 Swin Transformer 或 DiNAT 作为 backbone,但额外的文本编码器带来更高延迟。
HF Mirror 与 PaddlePaddle 达成开源合作,PaddlePaddle 旗下模型库将逐步接入 HF Mirror Hub,目前 Hub 上已有超 75 个 PaddlePaddle 模型。
基于 🤗 Transformers 和 Datasets 可搭建图像相似度检索系统,用 ViT 模型(nateraw/vit-base-beans)提取图像嵌入向量,再以余弦相似度找出与查询图最接近的候选图。
Hugging Face 博客推出「AI for Game Development」系列,演示 5 天内用 AI 工具做出完整农场游戏,第一部分讲美术风格。
Hugging Face 与 Intel 演示如何在 AWS 的第四代 Xeon(Sapphire Rapids)裸金属实例集群上分布式训练 PyTorch Transformer。借助已集成进 transformers 的 Intel oneCCL 和 IPEX,无需改一行代码即可启用 AMX 指令加速矩阵乘法,支持 BF16 和 INT8,Linux 内核需 v5.16 以上。
Hugging Face 发布指南,介绍如何通过 transformers 使用 CLIPSeg 零样本图像分割模型。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,能生成粗略分割掩码,可用于机器人感知与图像修复;其输入为 352 x 352 像素,输出分辨率较低,需要更精细结果时可在 Segments.ai 上微调优化。
Hugging Face 推出模型卡创建工具(GUI,无需编程或 Markdown)与模型卡指南,并更新 huggingface_hub 库中的模型卡模板、发布注释版模板、用户研究和文献综述。新模板统一了 HF 模型卡的结构与默认提示文本,重点覆盖偏见、风险与局限部分。
Hugging Face 伦理与社会团队发布通讯第 2 期,讨论机器学习偏见的成因与应对。文章指出偏见是复杂的社会技术问题,单靠技术干预难以解决,需要在整个 ML 开发流程中保持警惕。团队还整理了数据集与模型等工具,供社区在开发各阶段分析并缓解偏见。
Hugging Face 发布音频数据集使用指南,介绍如何用 🤗 Datasets 的 load_dataset 一行代码下载并准备音频数据。加载 GigaSpeech 时只需指定 speechcolab/gigaspeech 与 xs 配置,即可得到已划分好的 train(9389 行)、validation(6750 行)和 test(25619 行)三个 split。
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。
Hugging Face 发布教程,介绍如何使用 🤗 Transformers 中的 Time Series Transformer 对月度旅游数据集做概率时间序列预测,包含数据加载、特征变换、模型配置、训练与 generate 推理的完整代码。
Hugging Face 宣布启动 2023 年实习生项目,与 HF 导师共同研究 AI 与机器学习前沿问题。开放岗位包括 Accelerate、文本转语音、具身智能、大语言模型分布式训练框架、LLM 数据集、社会影响评估和 AI 艺术工具等,分布在开源团队与 Science 团队。申请需通过官方招聘门户并注册 HF 账号,工作地点视具体岗位而定。
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日免费发布,讲解扩散模型的理论与应用。
Hugging Face 梳理了平台上的推理方案:模型页内置 Inference Widget 可一键测试模型,免费 Inference API 用单条 HTTP 请求即可加载任意模型预测,因限流不适合生产。
Hugging Face 博客介绍 Contrastive Search 解码方法已集成进 transformers,PyTorch 和 TensorFlow 均可使用,安装 transformers==4.24.0 即可复现文中示例。
推荐理由:该方法给出可直接复用的参数与代码路径,读者能借此判断它相对已有解码策略的实际取舍。
Hugging Face 的 Diffusers 提供了 Dreambooth 训练脚本,用于给 Stable Diffusion 注入新概念。实验发现人脸训练需要更多步数,batch size 为 2、LR 为 1e-6 时 800-1200 步效果较好,且 prior preservation 能有效避免人脸过拟合。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 微调 OpenAI 的 Whisper 做多语言 ASR。
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel,用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型做推理,并借助 NNCF 在数分钟内完成量化、降低模型体积与预测延迟。
Hugging Face 推出 MTEB(Massive Text Embedding Benchmark),覆盖 8 类任务、56 个数据集、最多 112 种语言,目前排行榜已汇总超 2000 条结果。
Hugging Face 宣布用户可直接在 Hub 的仓库设置中为模型或数据集生成 DOI,其他人在模型/数据集页面点击"Cite this model/dataset"即可引用。该功能通过与 DataCite 合作实现,DOI 绑定了对象的 URL、版本、创建日期等元数据,并可通过更新 DOI 来区分模型或数据集的不同版本。