最新精选
第 161–177 条 · 共 177 条- Hugging Face Blog精选AI 评分7171
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。
- Hugging Face Blog精选AI 评分6161
Hugging Face 发布 StackLLaMA 模型及完整训练流程,用 SFT、奖励模型和 RLHF 三步训练 LLaMA 在 Stack Exchange 上答题,并开源了基于 TRL 库的全部训练管线。
推荐理由:原文完整披露了 RLHF 三步训练流程和踩坑细节,读者可据此复现或在单卡上跑起自己的对齐实验。
- Hugging Face Blog精选AI 评分7171
Hugging Face 官方发布 trl 与 peft 的集成,让使用 RLHF 的大语言模型微调更易上手。
推荐理由:原文给出 trl 与 peft 集成后在 24GB 消费级 GPU 上微调 20B 参数模型的完整路径,便于读者评估自身显存条件下的可行性。
- Hugging Face Blog精选AI 评分6565
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。
推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。
- Hugging Face Blog精选AI 评分7878
Hugging Face 博客介绍 Diffusers 中的 StableDiffusionControlNetPipeline,并演示用 Canny、OpenPose 等条件控制 Stable Diffusion 生成图像。
推荐理由:官方教程给出 ControlNet 在 Diffusers 中的完整用法,并配可运行代码与显存推理耗时对比,便于复现其各类条件控制。
- Hugging Face Blog精选AI 评分6060
Hugging Face 发布 PEFT 库,通过只微调少量额外参数并冻结预训练模型大部分参数来降低计算与存储开销,并已集成 Transformers 和 Accelerate。
推荐理由:官方给出 PEFT 库支持的方法与消费级硬件训练示例,可用于判断低显存微调方案的可行性。
- Hugging Face Blog精选AI 评分8282
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可在 11 GB 显存的 2080 Ti 上训练 Stable Diffusion,微调权重文件仅约 3 MB,比 UNet 原模型小约一千倍。
推荐理由:以 11 GB 显存训 Stable Diffusion 的完整命令与推理代码为例,展示 LoRA 把微调权重压到 3 MB 的可行路径。
- Hugging Face Blog精选AI 评分6666
Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。
推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。
- Hugging Face Blog精选AI 评分6060
Hugging Face 博客介绍 Contrastive Search 解码方法已集成进 transformers,PyTorch 和 TensorFlow 均可使用,安装 transformers==4.24.0 即可复现文中示例。
推荐理由:该方法给出可直接复用的参数与代码路径,读者能借此判断它相对已有解码策略的实际取舍。
- Hugging Face Blog精选AI 评分7171
Hugging Face 介绍 Accelerate 如何借助 PyTorch 在 RAM 或单卡 GPU 都放不下模型的情况下加载并推理超大语言模型。
推荐理由:拆解了 Accelerate 借助 meta device、sharded checkpoint 和设备映射在有限显存下跑大模型的完整机制。
- Hugging Face Blog精选AI 评分6262
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个用于 Sentence Transformers 小样本微调的框架,无需提示词或 verbaliser。
推荐理由:SetFit 用 Sentence Transformers 的对比训练替代提示词,在 RAFT 上以小模型接近大模型表现,读者可据此了解小样本分类的低成本路径。
- Hugging Face Blog精选AI 评分6868
Hugging Face 官方博客介绍如何用 Diffusers 库运行 Stable Diffusion,该模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集训练,文章默认使用 v1-4 版本。
推荐理由:原文来自 Diffusers 官方团队,给出 Stable Diffusion 的推理代码、关键参数含义与自定义 pipeline 的完整写法,可对照复用。
- Hugging Face Blog精选AI 评分7171
Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate,声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降,显存占用减半,例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。
推荐理由:Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers,读者可了解大模型量化省显存的条件与代价。
- Hugging Face Blog精选AI 评分7575
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,支持 46 种自然语言和 13 种编程语言,论文称其为首个完全透明训练的多语言 LLM。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点与优化器状态,可供研究者比较开放与封闭模型。
- Hugging Face Blog精选AI 评分6868
Gradio 3.0 发布,对前端做了全面重新设计并改用 Svelte 等现代技术,页面体积更小、加载更快,同时更新了 Dataframe 组件并新增 Gallery 和 TabbedInterface。
推荐理由:Gradio 3.0 用 Svelte 重写前端并推出 Blocks,读者可了解这套 Python 演示工具在布局与数据流控制上的能力变化。
- Hugging Face Blog精选AI 评分7272
Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资,Sequoia、Coatue 等参与投资。平台目前已托管 10 万个预训练模型和 1 万个数据集,超过 1 万家公司使用其构建机器学习应用。公司表示将把资金投入研究、开源、产品以及负责任的 AI 民主化,并继续推进 BigScience 项目训练全球最大的开源多语言模型。
推荐理由:HF Mirror 完成 1 亿美元 C 轮融资并披露平台模型与数据集规模,可了解开源机器学习平台当时的商业化进展。
- Hugging Face Blog精选AI 评分6161
Hugging Face 将 Perceiver IO 加入 Transformers,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由:原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例,读者可据此判断跨模态统一架构的可用性。