Hugging Face 解读大语言模型的红队测试(Red-Teaming)
Hugging Face 发文解读大语言模型的红队测试(Red-Teaming):通过构造自然语言提示词诱导 LLM 暴露有害输出,并对模型进行修正,与人类难以理解的对抗攻击不同。文章指出人类或 LM 均可充当红队,对经 RLHF 或 SFT 对齐的模型需用角色扮演等方式越狱;Tay、Sydney 是缺乏红队评估的真实教训,Meta、Anthropic、AI2 已开源相关数据集。
Hugging Face 发文解读大语言模型的红队测试(Red-Teaming):通过构造自然语言提示词诱导 LLM 暴露有害输出,并对模型进行修正,与人类难以理解的对抗攻击不同。文章指出人类或 LM 均可充当红队,对经 RLHF 或 SFT 对齐的模型需用角色扮演等方式越狱;Tay、Sydney 是缺乏红队评估的真实教训,Meta、Anthropic、AI2 已开源相关数据集。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将把 AWS 作为首选云服务商,社区开发者可用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。
Hugging Face 发布 PEFT 库,通过只微调少量额外参数并冻结预训练模型大部分参数来降低计算与存储开销,并已集成 Transformers 和 Accelerate。
推荐理由:官方给出 PEFT 库支持的方法与消费级硬件训练示例,可用于判断低显存微调方案的可行性。
Hugging Face 宣布 SpeechT5 正式集成进 Transformers,官方权重已发布在 HF Mirror Hub,并提供语音合成、音色转换和语音识别三个在线 demo。
Hugging Face 的 AI for Game Development 系列第 5 篇展示了用 ChatGPT 为农场游戏生成剧情的流程:让它写故事梗概、游戏内文本和商店物品描述,再通过多轮对话反复修改。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion,微调权重文件仅约 3 MB,比 UNet 原模型小约一千倍。
推荐理由:以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例,展示 LoRA 把微调权重压到 3 MB 的可行路径。
Hugging Face 的 Optimum 库通过与 ONNX Runtime 集成进行训练,可将众多热门 Hugging Face 模型的训练时间提升 35% 以上。
在“AI for Game Development”系列第 3 天,作者指出 text-to-3D 目前还无法真正用于游戏开发:DreamFusion、Point-E、CLIP-NeRF 等方案多基于视角合成,产出的 mesh 不能直接用于游戏,需要大量人工后处理。作者因此在本作中直接用不同颜色的方块代表农作物,并认为未来突破点在于 NeRF-to-mesh 与 mesh 生成的改进。
Mask2Former 和 OneFormer 两个 SOTA 图像分割神经网络现已加入开源库 🤗 transformers。OneFormer 只需在 panoptic 版本数据集上训练一次,即可在实例、语义和全景分割三项任务上取得 SOTA,并已支持 Swin Transformer 或 DiNAT 作为 backbone,但额外的文本编码器带来更高延迟。
HF Mirror 与 PaddlePaddle 达成开源合作,PaddlePaddle 旗下模型库将逐步接入 HF Mirror Hub,目前 Hub 上已有超 75 个 PaddlePaddle 模型。
基于 🤗 Transformers 和 Datasets 可搭建图像相似度检索系统,用 ViT 模型(nateraw/vit-base-beans)提取图像嵌入向量,再以余弦相似度找出与查询图最接近的候选图。
Hugging Face 博客推出「AI for Game Development」系列,演示 5 天内用 AI 工具做出完整农场游戏,第一部分讲美术风格。
Hugging Face 与 Intel 演示如何在 AWS 的第四代 Xeon(Sapphire Rapids)裸金属实例集群上分布式训练 PyTorch Transformer。借助已集成进 transformers 的 Intel oneCCL 和 IPEX,无需改一行代码即可启用 AMX 指令加速矩阵乘法,支持 BF16 和 INT8,Linux 内核需 v5.16 以上。
Hugging Face 发布指南,介绍如何通过 transformers 使用 CLIPSeg 零样本图像分割模型。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,能生成粗略分割掩码,可用于机器人感知与图像修复;其输入为 352 x 352 像素,输出分辨率较低,需要更精细结果时可在 Segments.ai 上微调优化。
Hugging Face 推出模型卡创建工具(GUI,无需编程或 Markdown)与模型卡指南,并更新 huggingface_hub 库中的模型卡模板、发布注释版模板、用户研究和文献综述。新模板统一了 HF 模型卡的结构与默认提示文本,重点覆盖偏见、风险与局限部分。
Hugging Face 伦理与社会团队发布通讯第 2 期,讨论机器学习偏见的成因与应对。文章指出偏见是复杂的社会技术问题,单靠技术干预难以解决,需要在整个 ML 开发流程中保持警惕。团队还整理了数据集与模型等工具,供社区在开发各阶段分析并缓解偏见。
Hugging Face 发布音频数据集使用指南,介绍如何用 🤗 Datasets 的 load_dataset 一行代码下载并准备音频数据。加载 GigaSpeech 时只需指定 speechcolab/gigaspeech 与 xs 配置,即可得到已划分好的 train(9389 行)、validation(6750 行)和 test(25619 行)三个 split。
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。
Hugging Face 发布教程,介绍如何使用 🤗 Transformers 中的 Time Series Transformer 对月度旅游数据集做概率时间序列预测,包含数据加载、特征变换、模型配置、训练与 generate 推理的完整代码。
Hugging Face 宣布启动 2023 年实习生项目,与 HF 导师共同研究 AI 与机器学习前沿问题。开放岗位包括 Accelerate、文本转语音、具身智能、大语言模型分布式训练框架、LLM 数据集、社会影响评估和 AI 艺术工具等,分布在开源团队与 Science 团队。申请需通过官方招聘门户并注册 HF 账号,工作地点视具体岗位而定。
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日免费发布,讲解扩散模型的理论与应用。
Hugging Face 梳理了平台上的推理方案:模型页内置 Inference Widget 可一键测试模型,免费 Inference API 用单条 HTTP 请求即可加载任意模型预测,因限流不适合生产。
Hugging Face 博客介绍 Contrastive Search 解码方法已集成进 transformers,PyTorch 和 TensorFlow 均可使用,安装 transformers==4.24.0 即可复现文中示例。
推荐理由:该方法给出可直接复用的参数与代码路径,读者能借此判断它相对已有解码策略的实际取舍。
Hugging Face 的 Diffusers 提供了 Dreambooth 训练脚本,用于给 Stable Diffusion 注入新概念。实验发现人脸训练需要更多步数,batch size 为 2、LR 为 1e-6 时 800-1200 步效果较好,且 prior preservation 能有效避免人脸过拟合。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 微调 OpenAI 的 Whisper 做多语言 ASR。
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel,用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型做推理,并借助 NNCF 在数分钟内完成量化、降低模型体积与预测延迟。
Hugging Face 推出 MTEB(Massive Text Embedding Benchmark),覆盖 8 类任务、56 个数据集、最多 112 种语言,目前排行榜已汇总超 2000 条结果。
Hugging Face 宣布用户可直接在 Hub 的仓库设置中为模型或数据集生成 DOI,其他人在模型/数据集页面点击"Cite this model/dataset"即可引用。该功能通过与 DataCite 合作实现,DOI 绑定了对象的 URL、版本、创建日期等元数据,并可通过更新 DOI 来区分模型或数据集的不同版本。
rinna 发布 Japanese Stable Diffusion,通过在约 1 亿张日语标注图像上微调 Stable Diffusion,实现了对日语提示词的直接支持,可生成日式风格图像并理解「salary man」等日语特有词汇和拟声词。
Hugging Face 介绍 Accelerate 如何借助 PyTorch 在 RAM 或单卡 GPU 都放不下模型的情况下加载并推理超大语言模型。
推荐理由:拆解了 Accelerate 借助 meta device、sharded checkpoint 和设备映射在有限显存下跑大模型的完整机制。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个用于 Sentence Transformers 小样本微调的框架,无需提示词或 verbaliser。
推荐理由:SetFit 用 Sentence Transformers 的对比训练替代提示词,在 RAFT 上以小模型接近大模型表现,读者可据此了解小样本分类的低成本路径。
Hugging Face 发布首期 Ethics and Society 通讯,计划按季节在春分、秋分、夏至、冬至发布,由公司内部跨团队开放小组撰写,聚焦 AI 伦理如何落地。该通讯以协作、责任、透明为出发点,强调不设独立伦理团队,而是全公司共担责任。Hugging Face 本周还上线了模型和 Space 仓库的“flag”功能,用于上报伦理与法律问题。
Hugging Face 发布 transformers-bloom-inference 仓库,用三个脚本演示 176B 参数 BLOOM 在 8x80GB A100 上的推理方案。
Hugging Face 发布 diffusers 0.3,新增图生图(Image to Image)pipeline、实验性 Inpainting pipeline 和 Textual Inversion,用户可用 3-5 张样本让 Stable Diffusion 学习新概念并分享。
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL 系列许可证,允许免版税访问、下游使用与再分发 AI 模型及其衍生物,同时嵌入针对特定关键场景的使用限制条款。该框架借鉴 BigScience、开源与 Creative Commons 模式,主张现有开源许可证(如 Apache 2.0)不适配机器学习模型的技术特性,无法约束模型的负责任使用。
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 HF Mirror Spaces 中可视化蛋白质,用户可输入 4 位 PDB 代码或上传 PDB 文件。文章建议改用 Molecule3D Gradio 自定义组件,通过 pip install gradio_molecule3d 安装,支持动态修改蛋白质可视化并更简单地设置默认视图。
本教程介绍如何在 AWS 的 Habana Gaudi DL1 实例上,借助 HF Mirror Transformers、Optimum Habana 和 Datasets 库,用掩码语言建模任务从零预训练 BERT-base。教程涵盖数据集准备、训练词表和预处理数据集的完整流程,并可将产物推送至 HF Mirror Hub。
Hugging Face 官方博客介绍如何用 Diffusers 库运行 Stable Diffusion,该模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集训练,文章默认使用 v1-4 版本。
推荐理由:原文来自 Diffusers 官方团队,给出 Stable Diffusion 的推理代码、关键参数含义与自定义 pipeline 的完整写法,可对照复用。
Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate,声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降,显存占用减半,例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。
推荐理由:Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers,读者可了解大模型量化省显存的条件与代价。
Hugging Face 发布 Private Hub(PH),为企业在安全合规前提下提供覆盖机器学习全生命周期的统一工具集,整合模型、数据集与 Spaces,并支持组织协作与访问控制。官方称约 90% 的机器学习模型从未进入生产环境,PH 旨在解决工具陌生、工作流非标准、资产无法内部共享等痛点。该产品已于 2023 年 6 月更名为 Enterprise Hub,原本地部署方案已停止提供。