Explosion 推出 Prodigy-HF:直接集成 Hugging Face 生态
Explosion 发布 Prodigy-HF 插件,让 Prodigy 标注工具直接集成 Hugging Face 生态,可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
Explosion 发布 Prodigy-HF 插件,让 Prodigy 标注工具直接集成 Hugging Face 生态,可用一条命令微调 distilbert-base-uncased 等任意 Hub 上的 transformer 模型。
Renumics Spotlight 可直接对接 Hugging Face datasets 库,用一行代码对 7 万余个公开数据集生成交互式可视化,无需复制或预处理数据。它支持结合模型预测与嵌入向量,通过相似度图、混淆矩阵等布局定位关键数据簇和模型失败模式,并可在 GUI 中保存、加载和自定义检查布局。
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences,在情感、描述性等风格任务上匹配了其学习曲线。
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization(DPO),可直接用偏好数据优化语言模型,省去奖励模型和 RL 优化两步。
推荐理由:TRL 官方给出 DPO 原理与可复用代码,读者可照着在自有偏好数据上完成对齐训练。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型减少 35% 和 55%,图像保真度接近原模型。模型以 Realistic-Vision 4.0 为教师模型,在 LAION Art Aesthetic 数据集上训练,推理速度最高快 100%。权重和代码均已发布在 Hugging Face。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图工具箱扩展出视频、3D 与图像编辑能力。
Hugging Face 推出 AI WebTV 实验性 Demo,用开源文生视频模型 Zeroscope 和音乐生成模型 MusicGen 合成内容并以直播形式播放。
Hugging Face 用实验反驳 AAAI 2023 论文对 Transformers 的质疑,指出 DLinear 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 均逊于 Autoformer(如 0.965 对 0.910)。
Hugging Face 宣布举办首届 Open Source AI Game Jam,活动时间为 7 月 7 日至 9 日,参赛者需在周末内做出一款游戏。作品须可运行于网页或 Windows,并至少使用一个开源 AI 工具,如 Stable Diffusion 可用于纹理生成、NPC 和文本转语音。任何人可个人或组队免费参加,作品按趣味性、创意和主题评分。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计,未发现可导致任意代码执行的关键安全漏洞,同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由:安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式,并给出后续迁移节奏。
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder,用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat,并公开代码、数据集与模型。
推荐理由:文章公开了 StarChat 的微调流程、数据格式与评测结果,可判断代码模型转对话助手的具体做法。
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。
Hugging Face 发布 StackLLaMA 模型及完整训练流程,用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题,并开源了基于 TRL 库的全部训练管线。
推荐理由:原文完整披露了 RLHF 三步训练流程和踩坑细节,读者可据此复现或在单卡上跑起自己的对齐实验。
Hugging Face 发布教程,介绍如何用 diffusers 训练 ControlNet。整个流程分三步:确定条件类型、构建含 ground truth image。
Hugging Face 将 AAAl21 最佳论文提出的 Informer 模型集成进 🤗 Transformers,用于多变量概率时间序列预测,即预测未来时间序列目标值向量的分布。
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。
Hugging Face 在 Mac App Store 上线 🧨Diffusers for Mac 1.1,将社区贡献的 SoTA 文生图模型转换为 Core ML,可同时调用 CPU、GPU 和 Neural Engine,部分 Mac 上生成速度最高提升至两倍。
Hugging Face Blog 发布指南,介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers,可通过 Q-Former 连接冻结的图像编码器与大语言模型,完成图像描述、提示式图像描述、视觉问答和对话式提示。
Hugging Face 发布开源工具 AI vs. AI,在 Spaces 上托管多智能体竞赛,用 ELO 评分系统对提交到 Hub 的强化学习模型进行相对排名,新模型起始分为 1200。
HF Mirror 回顾其计算机视觉生态:已支持图像分类、图像分割、零样本目标检测、视频分类、深度估计等 8 个核心视觉任务,Hub 上相关模型超过 3000 个、数据集超过 100 个,且每个任务至少有 10 个模型 checkpoint 可供使用。
Elixir 社区推出 Bumblebee 库,用纯 Elixir 实现 Hugging Face Transformers,让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face 发布蛋白质深度学习长文,面向生物学家与机器学习研究者,介绍蛋白质模型如何借鉴 BERT、GPT 等大语言模型。文章回顾 2018 年 ULMFiT 和 BERT 带来的迁移学习突破,指出其性能常相当于训练数据增加 100 倍以上,并给出微调蛋白质语言模型和用 ESMFold 做蛋白质折叠的示例 notebook。
VQ-Diffusion 是中国科学技术大学与微软提出的条件隐空间扩散模型,其加噪与去噪过程在由离散向量构成的量化隐空间上进行,有别于主流连续扩散模型。模型采用冻结的 VQ-VAE(VQGAN 变体)将图像编码为离散 token,并用编码器-解码器 Transformer 一次性预测去噪后隐变量的分布。
Hugging Face 发文梳理文档 AI 的六大用例及对应开源模型,涵盖 OCR、文档图像分类、版面分析和文档解析,并给出许可、数据准备与建模的实践指引。
Hugging Face Spaces 与 arXiv 达成合作,通过 arXivLabs 在论文页面加入 Demo 标签页,用户可直接跳转社区或作者创建的开源演示。该标签页会列出论文相关的最热门 demo,例如 BERT 论文页面可找到 200 多个社区构建的演示。Spaces 自 2021 年 10 月上线以来已累计托管超过 12,000 个开源机器学习 demo。
Hugging Face 发布教程,演示如何借助 Concrete-ML 库在全同态加密(FHE)设置下对加密数据做情感分析。方案用基于 Stanford Sentiment Treebank 微调的 BERT 提取文本隐藏表示(768 维),再交给 XGBoost 分类,并给出基于客户端/服务器协议的云端部署及 HF Mirror Spaces demo。
Hugging Face 为 Evaluate 库新增偏见指标与测量方法,可评估 GPT-2、BLOOM 等因果语言模型的偏见。流程分两步:用 🤗 Datasets 上的预定义提示词提示模型,再用 Evaluate 的指标评估生成文本,示例覆盖毒性、语言极性和伤害性三类任务,其中毒性指标调用 R4 Target 模型作仇恨言论分类器。
Hugging Face 分享了 BLOOM(176B 参数,bf16 下 352GB)推理服务的优化过程,数周内把延迟降低 5 倍、吞吐提升 50 倍。团队用 Megatron-Deepspeed 训练的模型花约一个月、200 次提交移植到 transformers,并借助 accelerate 的 device_map="auto" 做流水线并行分片,同时保留了张量并行带来的数值差异开关。
Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate,声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降,显存占用减半,例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。
推荐理由:Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers,读者可了解大模型量化省显存的条件与代价。
Hugging Face 推出 Skops 库,可将 scikit-learn 模型托管到 Hugging Face Hub,并为其创建模型卡实现文档化与协作。Skops 提供 hub_utils.init 初始化本地仓库,自动记录模型环境依赖、任务类型与示例输入,以启用推理 widget 和模型发现功能;同时通过 Card 类支持编程式写入元数据、指标与图表,最终推送到 Hub。
Hugging Face 为 🤗 Datasets 补充了音频与图像数据集的文档:Quickstart 新增端到端加载处理示例和 to_tf_dataset 函数,可直接把数据集转成 tf.data.Dataset 供 TensorFlow/Keras 训练。
Hugging Face 介绍了用 TensorFlow Serving(TF Serving)在本地部署 Vision Transformer(ViT)图像分类模型的方法,可将其以 REST 或 gRPC 端点对外暴露。
Hugging Face 发文介绍如何以 Sentence Transformers(ST)入手第一个机器学习项目,该库可将句子、段落和图像计算为稠密向量表示。
Hugging Face 发布 DDPM 注释教程,基于 Phil Wang 的 PyTorch 实现逐步复现(Ho et al., 2020)的去噪扩散概率模型。文章讲解前向加噪与反向去噪两个过程、T=1000 时间步、正弦位置嵌入和 U-Net 的 ResNet 块,并给出可运行代码。扩散模型思想最早可追溯至 Sohl-Dickstein 等人 2015 年的工作。
微软提出 TAPEX(Table Pre-training via Execution),通过系统采样可执行 SQL 查询及其执行结果合成预训练语料,让模型学习充当神经 SQL 执行器(以 BART 为例),从而绕开对真实表格数据的依赖。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hub,并发布 Gym 环境下 Walker2d、Hopper、Halfcheetah 等连续控制任务的 9 个预训练 checkpoint。
Hugging Face 的 datasets 库新增图像 feature type,并支持为数据集添加 faiss 索引,从而对图像做相似度检索。文章以英国图书馆数字化书籍插画数据集为例,用 imagefolder loader 直接加载图像数据,并结合 sentence_transformers 与 faiss 构建图像搜索应用。
Hugging Face Hub 上已有超过 215 个公开的情感分析模型,配合 Python 的 transformers pipeline 只需 5 行代码即可完成正负面情绪预测。文章介绍了用预训练模型处理推文、产品评论等数据,并给出用自有数据微调模型的两种方法,涵盖 Twitter-roberta-base-sentiment 等推荐模型。
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode,可将 n-gram 语言模型与已微调的 Wav2Vec2 检查点结合做语音解码。
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可以组合成主动学习流水线:用 Prodigy 人工标注数据,再用 AutoNLP 训练模型。在 Kaggle 的 BBC News Classification 数据集上,AutoNLP 训练 15 个多分类模型后最佳模型准确率达 98.67%,价格低至每个模型 $10。