rinna 推出 Japanese Stable Diffusion,基于 Stable Diffusion 微调的日语文生图模型
rinna 发布 Japanese Stable Diffusion,通过在约 1 亿张日语标注图像上微调 Stable Diffusion,实现了对日语提示词的直接支持,可生成日式风格图像并理解「salary man」等日语特有词汇和拟声词。
rinna 发布 Japanese Stable Diffusion,通过在约 1 亿张日语标注图像上微调 Stable Diffusion,实现了对日语提示词的直接支持,可生成日式风格图像并理解「salary man」等日语特有词汇和拟声词。
Hugging Face 介绍 Accelerate 如何借助 PyTorch 在 RAM 或单卡 GPU 都放不下模型的情况下加载并推理超大语言模型。
推荐理由:拆解了 Accelerate 借助 meta device、sharded checkpoint 和设备映射在有限显存下跑大模型的完整机制。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个用于 Sentence Transformers 小样本微调的框架,无需提示词或 verbaliser。
推荐理由:SetFit 用 Sentence Transformers 的对比训练替代提示词,在 RAFT 上以小模型接近大模型表现,读者可据此了解小样本分类的低成本路径。
Hugging Face 发布首期 Ethics and Society 通讯,计划按季节在春分、秋分、夏至、冬至发布,由公司内部跨团队开放小组撰写,聚焦 AI 伦理如何落地。该通讯以协作、责任、透明为出发点,强调不设独立伦理团队,而是全公司共担责任。Hugging Face 本周还上线了模型和 Space 仓库的“flag”功能,用于上报伦理与法律问题。
Hugging Face 发布 transformers-bloom-inference 仓库,用三个脚本演示 176B 参数 BLOOM 在 8x80GB A100 上的推理方案。
Hugging Face 发布 diffusers 0.3,新增图生图(Image to Image)pipeline、实验性 Inpainting pipeline 和 Textual Inversion,用户可用 3-5 张样本让 Stable Diffusion 学习新概念并分享。
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL 系列许可证,允许免版税访问、下游使用与再分发 AI 模型及其衍生物,同时嵌入针对特定关键场景的使用限制条款。该框架借鉴 BigScience、开源与 Creative Commons 模式,主张现有开源许可证(如 Apache 2.0)不适配机器学习模型的技术特性,无法约束模型的负责任使用。
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 HF Mirror Spaces 中可视化蛋白质,用户可输入 4 位 PDB 代码或上传 PDB 文件。文章建议改用 Molecule3D Gradio 自定义组件,通过 pip install gradio_molecule3d 安装,支持动态修改蛋白质可视化并更简单地设置默认视图。
本教程介绍如何在 AWS 的 Habana Gaudi DL1 实例上,借助 HF Mirror Transformers、Optimum Habana 和 Datasets 库,用掩码语言建模任务从零预训练 BERT-base。教程涵盖数据集准备、训练词表和预处理数据集的完整流程,并可将产物推送至 HF Mirror Hub。
Hugging Face 官方博客介绍如何用 Diffusers 库运行 Stable Diffusion,该模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集训练,文章默认使用 v1-4 版本。
推荐理由:原文来自 Diffusers 官方团队,给出 Stable Diffusion 的推理代码、关键参数含义与自定义 pipeline 的完整写法,可对照复用。
Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate,声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降,显存占用减半,例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。
推荐理由:Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers,读者可了解大模型量化省显存的条件与代价。
Hugging Face 发布 Private Hub(PH),为企业在安全合规前提下提供覆盖机器学习全生命周期的统一工具集,整合模型、数据集与 Spaces,并支持组织协作与访问控制。官方称约 90% 的机器学习模型从未进入生产环境,PH 旨在解决工具陌生、工作流非标准、资产无法内部共享等痛点。该产品已于 2023 年 6 月更名为 Enterprise Hub,原本地部署方案已停止提供。
Hugging Face 发文详解 176B 参数多语言模型 BLOOM 的训练工程,该模型使用 Megatron-DeepSpeed 在 384 张 80GB A100 上训练约 3.5 个月,消耗约 1M 计算小时。
基于 Sentence Transformers 和 Gradio 构建的歌单生成器,先对歌曲歌词按段落切分并生成嵌入向量,再对用户输入的文本提示词做语义搜索,返回最相关的歌曲。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,支持 46 种自然语言和 13 种编程语言,论文称其为首个完全透明训练的多语言 LLM。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点与优化器状态,可供研究者比较开放与封闭模型。
Hugging Face 发布 Embeddings 入门教程,演示如何用 Sentence Transformers 库和 HF Mirror Inference API 搭建 FAQ 语义搜索引擎。
Hugging Face 博客介绍了三种把 Transformers 模型转成 ONNX 的方式:底层 torch.onnx、中层的 transformers.onnx,以及 Optimum 的 ORTModelForXxx 类。
Intel 正式加入 HF Mirror 硬件合作伙伴计划,双方将借助开源库 Optimum Intel 为 Transformer 的训练、微调和推理提供硬件加速。
Graphcore 与 HF Mirror 扩展了开源优化库 HF Mirror Optimum 中的模型,新增 10 款专为 Graphcore IPU 优化的 Transformer 模型,覆盖 NLP、语音和计算机视觉。模型包括 GPT-2、RoBERTa、DeBERTa、BART、T5、LXMERT、ViT、HuBERT 和 Wav2Vec2,均附带 IPU 配置文件及预训练和微调权重。
Hugging Face Hub 上线 Pull Requests 与 Discussions,所有模型、数据集和 Spaces 仓库即日起可在 Community 标签页使用,任何社区成员都能创建和参与。
Hugging Face 推出 HF Mirror Fellowship 计划,面向开源机器学习生态贡献者,由 Hugging Face 团队成员或现任 Fellow 提名,无截止日期、持续招募。
Gradio 3.0 发布,对前端做了全面重新设计并改用 Svelte 等现代技术,页面体积更小、加载更快,同时更新了 Dataframe 组件并新增 Gallery 和 TabbedInterface。
推荐理由:Gradio 3.0 用 Svelte 重写前端并推出 Blocks,读者可了解这套 Python 演示工具在布局与数据流控制上的能力变化。
Hugging Face 开放首届 Student Ambassador Program 申请,截止 6 月 13 日,项目 6 月 30 日启动、12 月 31 日结束。入选学生可参加 Hugging Face 团队的工作坊、提前了解最新项目与功能,并获得周边和官方大使认证。申请者需为在读高校学生、上过至少一门机器学习或数据科学课程,且使用过 Hugging Face Hub 或其库。
Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持,可借助 ONNX Runtime 加速模型推理。
Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资,Sequoia、Coatue 等参与投资。平台目前已托管 10 万个预训练模型和 1 万个数据集,超过 1 万家公司使用其构建机器学习应用。公司表示将把资金投入研究、开源、产品以及负责任的 AI 民主化,并继续推进 BigScience 项目训练全球最大的开源多语言模型。
推荐理由:HF Mirror 完成 1 亿美元 C 轮融资并披露平台模型与数据集规模,可了解开源机器学习平台当时的商业化进展。
fastai 与 Hugging Face Hub 完成集成,开发者现在可以用一行 Python 把 fastai Learner 分享和上传到 Hub。上传需预装 fastai>=2.4、fastcore>=1.3.27 和 toml,安装 huggingface_hub["fastai"] 即可;加载模型同样只需 from_pretrained_fastai 一个函数。
Hugging Face 推出深度强化学习免费课程《Deep Reinforcement Learning Class》,第一章讲解 Deep RL 基础,涵盖 RL 框架、奖励假设、马尔可夫性质、观测与动作空间、探索/利用权衡及基于策略与基于价值两类方法。
Hugging Face 介绍了如何用 Accelerate 库无需改动代码即可调用 PyTorch FullyShardedDataParallel(FSDP)训练大模型。
Hugging Face 发布面向教育领域的 HF Mirror 计划,目标是在 2023 年底前让 500 万人学会机器学习。该计划提供 NLP、深度强化学习、交互式 demo 构建等免费课程,以及可免费创建课堂的 Hub 工具和已翻译成 8 种语言的教学工具包。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了自己 2019 年与 Leandro von Werra 合著《NLP with Transformers》的经历,并分享了在 transformers 库中的工作:提供将 PyTorch 模型导出为 ONNX 格式的功能,用户只需一行代码即可完成转换,从而优化推理延迟与吞吐量。他还谈到大规模模型评估等话题。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,开发者只需几行代码即可在 Habana 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单模型文件"策略:模型前向传播所需的全部代码只放在一个 model file 中,注意力机制代码因此被复制 50 多次。官方给出的理由包括该库由开源社区共建、建模代码本身就是产品(库已被 fork 超过 10,000 次),以及机器学习领域演进极快、模型发布后基本保持静态,集中抽象反而容易过时。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hub,并发布 Gym 环境下 Walker2d、Hopper、Halfcheetah 等连续控制任务的 9 个预训练 checkpoint。
Hugging Face 宣布推出为期 9 个月的 AI Research Residency Program,参与者将与 Science Team 研究员共同选定研究课题、开发新的机器学习方法并推动成果公开发表。申请于 2022 年 4 月 3 日截止,项目为全职、可远程,欢迎有研究经验和编程能力的多元背景申请者。
Hugging Face 发布博客,介绍 🤗 Transformers 中新的约束 beam search(constrained beam search)功能,可在生成阶段强制输出包含指定词语或短语。
BERT(Bidirectional Encoder Representations from Transformers)是 Google AI Language 研究人员于 2018 年开发的 NLP 模型,可同时处理情感分析、命名实体识别等 11+ 种常见语言任务。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集、再用 ViTImageProcessor 和 🤗 transformers 微调预训练 ViT 模型。
Hugging Face 介绍了利用 Wav2Vec2 的 CTC 结构在 Transformers 中对任意长音频做语音识别的方法,通过在 pipeline 中设置 chunk_length_s 和 stride_length_s 实现带步长的重叠分块推理,避免长文件直接推理时显存溢出,同时保留 chunk 边界的上下文。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hub,模型可直接上传和加载。
HuggingFace 博客介绍如何用 Amazon SageMaker 和 HuggingFace Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 做实时推理,可在 NVIDIA T4 GPU 实例(约 500 美元/月)上运行。