如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型的方法,使用 textual inversion 技术仅需 5 张示例图片即可完成训练。
Hugging Face 展示了在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型的方法,使用 textual inversion 技术仅需 5 张示例图片即可完成训练。
Hugging Face 发布教程,演示如何用 Transformers.js 在浏览器本地实时运行机器学习模型,做出涂鸦猜词游戏 Doodle Dash。游戏基于 Google Quick, Draw!
Hugging Face Inference Endpoints 可几键将 Falcon 40B instruct 等开源 LLM 部署为生产 API,支持自动扩缩容与缩容到零。
Hugging Face 发布教程,用 NodeJS 搭配 WizardCoder-15B 与 Inference Endpoints API 构建 AI 网页应用生成器,通过流式输出边生成边渲染 HTML。
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh,回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解,以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型,相比 A100 提速 2.5 倍,相比 H100 提速 1.4 倍。
文本到图像(TTI)生成模型正大量上传至 Hugging Face Hub,其偏见来源多样。Hugging Face 梳理了训练数据(如 LAION-5B、MS-COCO、VQA v2.0)、预训练数据过滤、推理(CLIP 的年龄、性别、种族偏见)、模型潜在空间及事后过滤等偏见来源,并列举了 Stable Bias 等检测工具与红队评估方法。
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文报告值。原因是同一 MMLU 基准存在 EleutherAI LM Evaluation Harness、Stanford HELM 和 UC Berkeley 原始实现三套代码,对同一批模型给出的分数差异很大,甚至改变模型排名顺序。
Hugging Face 于 6 月 12 日向美国商务部 NTIA 的 AI 问责政策意见征集提交回应,强调文档与透明度规范在推动 AI 问责中的作用。其建议问责机制应覆盖机器学习开发全流程、结合内部要求与外部访问透明,并吸纳开发者、多学科研究社区、倡导组织、政策制定者和记者等最广泛的参与者。
Hugging Face 发布博客,介绍如何用 Meta AI 的 MMS Adapter 训练低资源语音识别:仅微调约 2.5M 权重、10-20 分钟即可获得极低词错误率,比微调整个模型更省内存、更稳健。MMS 在 1400 多种语言、50 万小时以上音频上预训练,已放出 300M 和 1B 检查点,以及 102、1107、1162 种语言的 ASR adapter。
Hugging Face 用实验反驳 AAAI 2023 论文对 Transformers 的质疑,指出 DLinear 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 均逊于 Autoformer(如 0.965 对 0.910)。
Hugging Face 更新了平台 Content Policy,并发布配套博客说明其制定理念。新政策将「同意」(consent)列为核心价值,重点关注用户所见内容以及人们身份与表达方式在平台上的呈现;同时禁止针对用户及 HF 员工的攻击性或骚扰性言论,鼓励在 Community Tab 中公开协作解决冲突。
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重,使模型更小、推理更快、内存占用更低。
推荐理由:原文给出 6-bit palettization 的量化收益与指标,并附自定义模型转换命令,可据此复现端侧部署与提速。
Elixir 社区用 Livebook 构建了一款基于 Whisper 的聊天应用,并部署到 Hugging Face Spaces,全程不到 15 分钟。用户只能发送语音消息,由 Whisper 模型自动转成文本,该应用展示了与 Hugging Face Models 的集成、多人机器学习应用以及并发模型服务。
HF Mirror 宣布 AMD 正式加入其硬件合作伙伴计划,双方将在 AMD CPU 和 GPU 上优化 Transformer 模型的训练与推理。GPU 侧先支持企业级 Instinct MI2xx、MI3xx,随后覆盖消费级 Radeon Navi3x;CPU 侧聚焦 Ryzen 与 EPYC 的推理优化,并纳入 Alveo V70 AI 加速器。
Hugging Face 发布面向美术馆、图书馆、档案馆与博物馆(GLAM)机构的 Hub 使用指南,帮助该领域从业者查找模型并上传数据集。Hub 目前托管超 190,000 个模型、33,000 个数据集和逾 100,000 个 ML 应用与演示,可按任务和语言筛选,支持 API 部署,也能直接上传 CSV 数据集。
Hugging Face 用 327 条提示词(含 25 条编程类)对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测,由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名,Vicuna-13B 以 1140 居首,Dolly-12B 以 802 垫底。
Hugging Face Hub 新增功能,可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件(大数据集按 500MB 分片),用户通过 /parquet 端点获取 URL 后,加载 httpfs 扩展即可查询远程文件。
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub,官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用,并支持文本分类与特征提取 widget。
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型,包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本,并给出在 HF 生态中运行与微调的具体做法。
推荐理由:HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求,便于在自己硬件上复现。
Hugging Face 发布教程,讲解如何借助 HF Mirror Unity API 在 Unity 中实现语音识别,把玩家说的话转成文本,可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示搭建含开始/停止按钮和 TextMeshPro 文本框的场景,用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频,再编码为 WAV 格式发送给 API 识别。
Hugging Face 宣布举办首届 Open Source AI Game Jam,活动时间为 7 月 7 日至 9 日,参赛者需在周末内做出一款游戏。作品须可运行于网页或 Windows,并至少使用一个开源 AI 工具,如 Stable Diffusion 可用于纹理生成、NPC 和文本转语音。任何人可个人或组队免费参加,作品按趣味性、创意和主题评分。
Hugging Face 发布 LLM Inference Container(DLC),可在 Amazon SageMaker 上部署开源大模型,底层由 Text Generation Inference(TGI)驱动,支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face Hub 上线 BERTopic 集成,用户可直接在 Hub 上使用这一主题建模工具。BERTopic 结合嵌入向量与聚类技术,用于从文本中提取话题结构,相关话题建模资源在 HF 平台上被归类为第 19 类主题,与 LDA 等传统方法并列。
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流,在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由:Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流,附推理代码与可复现的量化流程。
Hugging Face 与微软合作,把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning,推出原生的 Hugging Face Hub 模型目录,包含 Hub 上数千个热门 Transformers 模型。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持 4-bit 量化加载模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练 LoRA 适配器。
推荐理由:Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化,并给出可直接复用的加载与微调配置。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计,未发现可导致任意代码执行的关键安全漏洞,同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由:安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式,并给出后续迁移节奏。
Hugging Face 探索用指令微调让 Stable Diffusion 按指令处理输入图像,方法基于 InstructPix2Pix 的训练策略,并结合 FLAN 的指令模板思路构建数据集。
HF Mirror 宣布与 IBM 合作,将开源库集成进 IBM 的新一代企业 AI 工作室 watsonx.ai。
Intel 用 SmoothQuant 将 OPT、LLaMA、Alpaca、Vicuna、BloomZ、MPT-7B-chat 等大语言模型量化为 8-bit(INT8),模型体积缩小约 2 倍,多数评测指标不降反升,仅单项任务出现超过 3% 的相对退化。
Hugging Face 博客详解 BigCode 大规模近重复数据删除:先对文档做 Shingling 分词与 MinHashing 指纹化,再用 LSH 分组以减少比较次数,并以 MinHash 参数 (P,T,K,B,R) 控制 Jaccard 相似度阈值。
Hugging Face 博客给出在单块 AMD GPU 上用 ROCm 运行 Vicuna 13B 的完整步骤,实测于 Instinct MI210 和 Radeon RX6900XT、ROCm5.4.3 与 Pytorch2.0。
Hugging Face 被法国数据保护机构 CNIL 选入其强化支持计划,该计划从 40 多个候选企业中挑出三家"具备强劲经济发展潜力"的公司,提供数据保护义务理解与落实方面的支持。Hugging Face 表示,其主办的 BigScience 大语言模型训练项目首次将隐私置于核心位置,近期与 ServiceNow 合办的 BigCode 项目也投入资源应对隐私风险并开发假名化工具。
Hugging Face 博客介绍 RWKV,一种融合 RNN 与 Transformer 优势的架构,已被集成进 transformers 库。
推荐理由:原文把 RWKV 在推理速度与显存上的取舍讲清楚,适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face 发布辅助生成(Assisted Generation)解码方法,用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token,再由主模型一次前向验证,正确候选被保留,首个不一致处由主模型重新生成。
推荐理由:Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据,读者可据此判断自回归解码能否借小模型降延迟。
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder,用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat,并公开代码、数据集与模型。
推荐理由:文章公开了 StarChat 的微调流程、数据格式与评测结果,可判断代码模型转对话助手的具体做法。
文本到视频模型正沿文本到图像的技术路径演进:早期用 GAN 与 VAE 自回归生成帧,第二代转向 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 架构,当前第三代则以扩散模型为主。
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。
HF Mirror Unity API 将 HF Mirror Inference API 集成进 Unity,开发者可在 Unity 项目中调用 AI 模型。