用 Transformers.js 打造 ML 驱动的网页游戏 Doodle Dash
Hugging Face 发布教程,演示如何用 Transformers.js 在浏览器本地实时运行机器学习模型,做出涂鸦猜词游戏 Doodle Dash。游戏基于 Google Quick, Draw!
Hugging Face 发布教程,演示如何用 Transformers.js 在浏览器本地实时运行机器学习模型,做出涂鸦猜词游戏 Doodle Dash。游戏基于 Google Quick, Draw!
Hugging Face Inference Endpoints 可几键将 Falcon 40B instruct 等开源 LLM 部署为生产 API,支持自动扩缩容与缩容到零。
Hugging Face 发布教程,用 NodeJS 搭配 WizardCoder-15B 与 Inference Endpoints API 构建 AI 网页应用生成器,通过流式输出边生成边渲染 HTML。
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh,回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解,以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文报告值。原因是同一 MMLU 基准存在 EleutherAI LM Evaluation Harness、Stanford HELM 和 UC Berkeley 原始实现三套代码,对同一批模型给出的分数差异很大,甚至改变模型排名顺序。
Hugging Face 于 6 月 12 日向美国商务部 NTIA 的 AI 问责政策意见征集提交回应,强调文档与透明度规范在推动 AI 问责中的作用。其建议问责机制应覆盖机器学习开发全流程、结合内部要求与外部访问透明,并吸纳开发者、多学科研究社区、倡导组织、政策制定者和记者等最广泛的参与者。
Hugging Face 发布博客,介绍如何用 Meta AI 的 MMS Adapter 训练低资源语音识别:仅微调约 2.5M 权重、10-20 分钟即可获得极低词错误率,比微调整个模型更省内存、更稳健。MMS 在 1400 多种语言、50 万小时以上音频上预训练,已放出 300M 和 1B 检查点,以及 102、1107、1162 种语言的 ASR adapter。
Hugging Face 更新了平台 Content Policy,并发布配套博客说明其制定理念。新政策将「同意」(consent)列为核心价值,重点关注用户所见内容以及人们身份与表达方式在平台上的呈现;同时禁止针对用户及 HF 员工的攻击性或骚扰性言论,鼓励在 Community Tab 中公开协作解决冲突。
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重,使模型更小、推理更快、内存占用更低。
推荐理由:原文给出 6-bit palettization 的量化收益与指标,并附自定义模型转换命令,可据此复现端侧部署与提速。
Elixir 社区用 Livebook 构建了一款基于 Whisper 的聊天应用,并部署到 Hugging Face Spaces,全程不到 15 分钟。用户只能发送语音消息,由 Whisper 模型自动转成文本,该应用展示了与 Hugging Face Models 的集成、多人机器学习应用以及并发模型服务。
HF Mirror 宣布 AMD 正式加入其硬件合作伙伴计划,双方将在 AMD CPU 和 GPU 上优化 Transformer 模型的训练与推理。GPU 侧先支持企业级 Instinct MI2xx、MI3xx,随后覆盖消费级 Radeon Navi3x;CPU 侧聚焦 Ryzen 与 EPYC 的推理优化,并纳入 Alveo V70 AI 加速器。
Hugging Face 发布面向美术馆、图书馆、档案馆与博物馆(GLAM)机构的 Hub 使用指南,帮助该领域从业者查找模型并上传数据集。Hub 目前托管超 190,000 个模型、33,000 个数据集和逾 100,000 个 ML 应用与演示,可按任务和语言筛选,支持 API 部署,也能直接上传 CSV 数据集。
Hugging Face 用 327 条提示词(含 25 条编程类)对 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 四个开源指令模型做盲测,由 Scale AI 标注者按 1-8 Likert 量表打分并生成 Elo 排名,Vicuna-13B 以 1140 居首,Dolly-12B 以 802 垫底。
Hugging Face Hub 新增功能,可直接用 DuckDB 对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动把所有公开数据集转换为 Parquet 文件(大数据集按 500MB 分片),用户通过 /parquet 端点获取 URL 后,加载 httpfs 扩展即可查询远程文件。
Meta AI 开源的文本表示与分类库 fastText 现已上线 Hugging Face Hub,官方托管全部 157 种语言的词向量以及最新语言识别模型。用户可通过几行命令下载使用,并支持文本分类与特征提取 widget。
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型,包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本,并给出在 HF 生态中运行与微调的具体做法。
推荐理由:HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求,便于在自己硬件上复现。
Hugging Face 发布 LLM Inference Container(DLC),可在 Amazon SageMaker 上部署开源大模型,底层由 Text Generation Inference(TGI)驱动,支持张量并行、动态批处理和 bitsandbytes 量化等能力。
Hugging Face Hub 上线 BERTopic 集成,用户可直接在 Hub 上使用这一主题建模工具。BERTopic 结合嵌入向量与聚类技术,用于从文本中提取话题结构,相关话题建模资源在 HF 平台上被归类为第 19 类主题,与 LDA 等传统方法并列。
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流,在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由:Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流,附推理代码与可复现的量化流程。
Hugging Face 与微软合作,把 Hugging Face Hub 上的开源模型接入 Azure Machine Learning,推出原生的 Hugging Face Hub 模型目录,包含 Hub 上数千个热门 Transformers 模型。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持 4-bit 量化加载模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练 LoRA 适配器。
推荐理由:Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化,并给出可直接复用的加载与微调配置。
Hugging Face 探索用指令微调让 Stable Diffusion 按指令处理输入图像,方法基于 InstructPix2Pix 的训练策略,并结合 FLAN 的指令模板思路构建数据集。
HF Mirror 宣布与 IBM 合作,将开源库集成进 IBM 的新一代企业 AI 工作室 watsonx.ai。
Intel 用 SmoothQuant 将 OPT、LLaMA、Alpaca、Vicuna、BloomZ、MPT-7B-chat 等大语言模型量化为 8-bit(INT8),模型体积缩小约 2 倍,多数评测指标不降反升,仅单项任务出现超过 3% 的相对退化。
Hugging Face 博客详解 BigCode 大规模近重复数据删除:先对文档做 Shingling 分词与 MinHashing 指纹化,再用 LSH 分组以减少比较次数,并以 MinHash 参数 (P,T,K,B,R) 控制 Jaccard 相似度阈值。
Hugging Face 博客给出在单块 AMD GPU 上用 ROCm 运行 Vicuna 13B 的完整步骤,实测于 Instinct MI210 和 Radeon RX6900XT、ROCm5.4.3 与 Pytorch2.0。
Hugging Face 博客介绍 RWKV,一种融合 RNN 与 Transformer 优势的架构,已被集成进 transformers 库。
推荐理由:原文把 RWKV 在推理速度与显存上的取舍讲清楚,适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face 发布辅助生成(Assisted Generation)解码方法,用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token,再由主模型一次前向验证,正确候选被保留,首个不一致处由主模型重新生成。
推荐理由:Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据,读者可据此判断自回归解码能否借小模型降延迟。
文本到视频模型正沿文本到图像的技术路径演进:早期用 GAN 与 VAE 自回归生成帧,第二代转向 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 架构,当前第三代则以扩散模型为主。
Hugging Face 上线面向中文用户的中文博客 hf.co/blog/zh,由志愿者翻译其博客文章及 transformers、diffusion、强化学习等课程内容。
Hugging Face 博客介绍如何用 Transformers 库(需 >= 4.27.2)进行图分类,目前库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间,让用户体验真实世界中高质量数据匮乏的困境,并对比联邦学习与单一数据源训练的模型表现。Substra 专为生产环境设计,已在乳腺癌研究等复杂医疗场景中实现突破。
Snorkel AI 宣布与 Hugging Face 合作,将 Hugging Face 的 Inference Endpoint 服务集成进 Snorkel Flow 平台,让企业用户可直接调用 Hugging Face 上超过 150,000 个开源模型。该服务支持几次点击创建模型 API,并具备暂停与恢复能力,客户不用时可休眠以控制成本。
Hugging Face 发布 Ethics and Society Newsletter #3,阐述其在开放 ML 中兼顾伦理的立场,并推出 6 类伦理标签(Rigorous、Consentful、Socially Conscious、Sustainable、Inclusive、Inquisitive)和社区举报功能,用于标记违规的模型、数据集或 Space。
Habana Gaudi2 在 176B 参数 BLOOMZ 上推理延迟为 3.103 秒,比 Nvidia A100 80GB 的 4.402 秒快 1.42 倍,7B 版本则快 2.89 倍。
Hugging Face 发布教程,演示如何用 HF Mirror 的 Transformers、Datasets 库结合 Flower 框架,在多个客户端上联邦微调预训练 Transformer 模型 distilBERT,用于 IMDB 影评正负情感分类。
Hugging Face Hub 现已支持 Jupyter Notebook 的渲染,notebook 将以人类可读的格式展示,此前直接查看的是 ipynb 的 JSON 源文件。Hub 上已托管超过 7,000 个 notebook,以及 150,000 个模型、25,000 个数据集和 30,000 个 ML 应用。notebook 还支持在 Google Colab 中一键直接打开。
Hugging Face 官方发布 trl 与 peft 的集成,让使用 RLHF 的大语言模型微调更易上手。
推荐理由:原文给出 trl 与 peft 集成后在 24GB 消费级 GPU 上微调 20B 参数模型的完整路径,便于读者评估自身显存条件下的可行性。
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline,并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由:官方教程给出 ControlNet 在 Diffusers 中的完整用法,并配可运行代码与显存推理耗时对比,便于复现其各类条件控制。