mmBERT 发布:ModernBERT 走向大规模多语言
Hugging Face Blog 介绍 mmBERT,一个在 1800 多种语言、3T+ tokens 文本上训练的大规模多语言编码器模型。它基于 ModernBERT 架构,采用 60→110→1833 语言的三阶段训练和从 30% 降到 5% 的动态掩码策略,首次在 XLM-R 基础上取得全面提升,推理吞吐量提升 2-4 倍并支持 8192 tokens。
推荐理由:mmBERT 把 ModernBERT 扩展到 1800 多种语言,并给出三阶段训练和低资源语言学习的可迁移方法。