Hugging Face 发布 IDEFICS:Flamingo 的开源复现多模态模型
Hugging Face 发布 IDEFICS,一个基于公开数据和模型构建的开源视觉语言模型,可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本,提供 base 和 instructed 两种变体,各有 9B 和 80B 参数规模。
推荐理由:Hugging Face 公开了 Flamingo 的开源复现细节,读者可了解其数据构成与双版本参数规模。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
Hugging Face 发布 IDEFICS,一个基于公开数据和模型构建的开源视觉语言模型,可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本,提供 base 和 instructed 两种变体,各有 9B 和 80B 参数规模。
推荐理由:Hugging Face 公开了 Flamingo 的开源复现细节,读者可了解其数据构成与双版本参数规模。
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization(DPO),可直接用偏好数据优化语言模型,省去奖励模型和 RL 优化两步。
推荐理由:TRL 官方给出 DPO 原理与可复用代码,读者可照着在自有偏好数据上完成对齐训练。
Hugging Face 与 Apple 合作将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地出图,目前仅支持原始注意力实现,refiner 阶段尚未移植。
推荐理由:原文给出了 SDXL 在 Apple Silicon 上的实测延迟与混合位量化配方,可据此判断本地出图的速度与体积取舍。
Hugging Face 发布 Agents.js,一个在浏览器或 Node 中为 LLM 提供工具调用的 JavaScript 库,可通过 npm install @huggingface/agents 安装。
推荐理由:Hugging Face 官方发布 JS 智能体库,可了解其工具调用方式与自定义扩展路径。
Meta 发布开源大语言模型家族 Llama 2,包含 7B、13B、70B 参数规模,以宽松社区许可开放并允许商用,代码、预训练模型和微调模型同日放出。
推荐理由:文章给出了 Llama 2 的模型规格、商用许可和完整部署与微调路径,便于读者评估落地成本。
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重,使模型更小、推理更快、内存占用更低。
推荐理由:原文给出 6-bit palettization 的量化收益与指标,并附自定义模型转换命令,可据此复现端侧部署与提速。
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型,包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本,并给出在 HF 生态中运行与微调的具体做法。
推荐理由:HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求,便于在自己硬件上复现。
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流,在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由:Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流,附推理代码与可复现的量化流程。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持 4-bit 量化加载模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练 LoRA 适配器。
推荐理由:Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化,并给出可直接复用的加载与微调配置。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计,未发现可导致任意代码执行的关键安全漏洞,同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由:安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式,并给出后续迁移节奏。
Hugging Face 博客介绍 RWKV,一种融合 RNN 与 Transformer 优势的架构,已被集成进 transformers 库。
推荐理由:原文把 RWKV 在推理速度与显存上的取舍讲清楚,适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face 发布辅助生成(Assisted Generation)解码方法,用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token,再由主模型一次前向验证,正确候选被保留,首个不一致处由主模型重新生成。
推荐理由:Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据,读者可据此判断自回归解码能否借小模型降延迟。
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder,用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat,并公开代码、数据集与模型。
推荐理由:文章公开了 StarChat 的微调流程、数据格式与评测结果,可判断代码模型转对话助手的具体做法。
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。
Hugging Face 发布 StackLLaMA 模型及完整训练流程,用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题,并开源了基于 TRL 库的全部训练管线。
推荐理由:原文完整披露了 RLHF 三步训练流程和踩坑细节,读者可据此复现或在单卡上跑起自己的对齐实验。
Hugging Face 官方发布 trl 与 peft 的集成,让使用 RLHF 的大语言模型微调更易上手。
推荐理由:原文给出 trl 与 peft 集成后在 24GB 消费级 GPU 上微调 20B 参数模型的完整路径,便于读者评估自身显存条件下的可行性。
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline,并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由:官方教程给出 ControlNet 在 Diffusers 中的完整用法,并配可运行代码与显存推理耗时对比,便于复现其各类条件控制。
Hugging Face 发布 PEFT 库,通过只微调少量额外参数并冻结预训练模型大部分参数来降低计算与存储开销,并已集成 Transformers 和 Accelerate。
推荐理由:官方给出 PEFT 库支持的方法与消费级硬件训练示例,可用于判断低显存微调方案的可行性。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion,微调权重文件仅约 3 MB,比 UNet 原模型小约一千倍。
推荐理由:以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例,展示 LoRA 把微调权重压到 3 MB 的可行路径。