Hugging Face 在 TRL 中实现 Delta Weight Sync,用 Hub Bucket 同步万亿参数权重
Hugging Face 在 TRL 中提交 PR,用增量权重同步替代异步强化学习中的全量权重传输:两次 RL 优化步之间约 99% 的 bf16 权重字节完全一致,只把变化的元素编码成稀疏 safetensors 文件上传到 HF Bucket,再让 vLLM 拉取。
推荐理由:Hugging Face 把异步强化学习的权重同步从全量广播改成稀疏增量,并给出可下载运行的实现,读者可以据此判断跨机房训练的门槛变化。