跳到正文

开源生态

开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。

177条精选相关主题模型发布Hugging FaceAI 编码

最新精选

第 161–177 条 · 共 177 条
5月4日周四
  1. Hugging Face Blog71

    BigCode 发布 StarCoder:面向代码的开源 LLM,HumanEval 达 40.8%

    BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。

    推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。

4月5日周三
3月9日周四
3月6日周一
  1. Hugging Face Blog65

    Kakao Brain 发布 ViT 与 ALIGN 模型及 7 亿对图文数据集 COYO

    Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。

    推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。

3月3日周五
2月10日周五
1月26日周四
12月9日周五
  1. Hugging Face Blog66

    图解大语言模型的 RLHF 训练流程

    Hugging Face 博客图解 RLHF 如何用人类反馈优化语言模型,把训练流程拆为预训练、训练奖励模型、用强化学习微调三个核心步骤,并说明奖励模型以排序而非直接打分来生成标量奖励,最后用 PPO 结合 KL 散度惩罚更新策略。

    推荐理由:文章系统拆解 RLHF 的预训练、奖励模型与 PPO 微调三阶段,并梳理可直接上手的开源工具与数据集。

11月8日周二
9月27日周二
9月26日周一
  1. Hugging Face Blog62

    Hugging Face 联合 Intel Labs 与 UKP Lab 发布 SetFit 小样本微调框架

    Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个用于 Sentence Transformers 小样本微调的框架,无需提示词或 verbaliser。

    推荐理由:SetFit 用 Sentence Transformers 的对比训练替代提示词,在 RAFT 上以小模型接近大模型表现,读者可据此了解小样本分类的低成本路径。

8月22日周一
  1. Hugging Face Blog68

    用 Diffusers 运行 Stable Diffusion 并自定义推理 pipeline

    Hugging Face 官方博客介绍如何用 Diffusers 库运行 Stable Diffusion,该模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集训练,文章默认使用 v1-4 版本。

    推荐理由:原文来自 Diffusers 官方团队,给出 Stable Diffusion 的推理代码、关键参数含义与自定义 pipeline 的完整写法,可对照复用。

8月17日周三
  1. Hugging Face Blog71

    Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 与 accelerate

    Hugging Face 联合 BigScience 将 LLM.int8() 8 位矩阵乘法量化集成到 transformers 和 accelerate,声称在 BLOOM-176B、OPT-175B 等模型上推理性能无下降,显存占用减半,例如 BLOOM-176B 只需 4 张 80GB A100 而非 8 张。

    推荐理由:Hugging Face 与 bitsandbytes 合作把 LLM.int8() 落入 transformers,读者可了解大模型量化省显存的条件与代价。

7月12日周二
5月16日周一
5月9日周一
  1. Hugging Face Blog72

    Hugging Face 完成 1 亿美元 C 轮融资

    Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资,Sequoia、Coatue 等参与投资。平台目前已托管 10 万个预训练模型和 1 万个数据集,超过 1 万家公司使用其构建机器学习应用。公司表示将把资金投入研究、开源、产品以及负责任的 AI 民主化,并继续推进 BigScience 项目训练全球最大的开源多语言模型。

    推荐理由:HF Mirror 完成 1 亿美元 C 轮融资并披露平台模型与数据集规模,可了解开源机器学习平台当时的商业化进展。

12月15日周三
  1. Hugging Face Blog61

    Hugging Face 将 Perceiver IO 加入 Transformers,支持任意模态

    Hugging Face 将 Perceiver IO 加入 Transformers,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,随模型提供图像分类与光流预测示例和多个 notebook。

    推荐理由:原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例,读者可据此判断跨模态统一架构的可用性。