跳到正文

#开源生态

今日 3 条
10月1日周三
9月26日周五
9月23日周二
9月22日周一
9月18日周四
9月17日周三
9月12日周五
9月11日周四
  1. Hugging Face Blog60

    Hugging Face 分享 gpt-oss 在 transformers 中可用的优化技巧

    Hugging Face 介绍其为 OpenAI gpt-oss 系列模型升级 transformers 的相关技术,包括可从 Hub 下载的零构建 Kernels、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存与连续批处理等。

    推荐理由:Hugging Face 公开 gpt-oss 适配 transformers 的升级细节,读者可据此判断量化、并行与缓存优化如何落地。

9月9日周二
  1. Hugging Face Blog60

    mmBERT 发布:ModernBERT 走向大规模多语言

    Hugging Face Blog 介绍 mmBERT,一个在 1800 多种语言、3T+ tokens 文本上训练的大规模多语言编码器模型。它基于 ModernBERT 架构,采用 60→110→1833 语言的三阶段训练和从 30% 降到 5% 的动态掩码策略,首次在 XLM-R 基础上取得全面提升,推理吞吐量提升 2-4 倍并支持 8192 tokens。

    推荐理由:mmBERT 把 ModernBERT 扩展到 1800 多种语言,并给出三阶段训练和低资源语言学习的可迁移方法。

9月6日周六
9月3日周三
8月21日周四
8月18日周一
8月13日周三
8月9日周六
8月8日周五
8月7日周四
8月5日周二
  1. Hugging Face Blog82

    OpenAI 发布开源权重模型系列 gpt-oss

    OpenAI 发布开源权重模型系列 gpt-oss,包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b,均为采用 MXFP4 4-bit 量化的 MoE 模型,使用 Apache 2.0 许可。

    推荐理由:Hugging Face 汇总了 gpt-oss 两个开源权重模型的参数、部署路径与生态适配情况,适合了解本地运行条件。

8月1日周五
7月29日周二
7月25日周五
7月23日周三
7月22日周二
7月17日周四
7月15日周二
7月10日周四
7月9日周三
  1. Hugging Face Blog37

    Hugging Face 与 AMD 为 MI300X 打造自定义内核,加速 Llama 3.1 405B FP8 推理

    Hugging Face 与 AMD 合作,为 MI300X 编写开源优化内核,提升 Llama 3.1 405B 在 FP8 下用 VLLM 的推理性能。三个自定义内核——融合残差连接、RMS norm 与 FP8 转换,融合 SwiGLU 激活与 FP8 转换,以及 Skinny GEMM——带来显著加速,测量基于输入 1、输出 128 的解码场景。

7月8日周二
6月23日周一
6月19日周四
6月16日周一
6月12日周四
6月6日周五