Liger GRPO 结合 TRL 在 DeepSpeed ZeRO3 下出现 shape mismatch
有用户在 bf16 精度下用 Qwen2.5-0.5B-Instruct 测试 Liger GRPO loss 搭配 DeepSpeed ZeRO3，训练时在 liger_kernel 的 grpo_loss 前向计算中触发 shape mismatch 报错。
#开源/仓库
#开源/仓库
今日 1 条Hugging Face BlogAI 评分1212
Hugging Face BlogAI 评分4141 Falcon-Arabic 发布：7B 阿拉伯语语言模型刷新阿拉伯语 NLP 基准
阿联酋 TII 基于 Falcon 3 架构推出 7B 参数模型 Falcon-Arabic，支持阿拉伯语、英语等多语言。该模型支持 32,000 tokens 上下文，在 OALL v2 基准上超越同规模阿拉伯语 LLM，甚至优于体积大至 4 倍的模型，并覆盖 RAG 等长文档任务。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 nanoVLM：纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个纯 PyTorch 的轻量工具包，可在免费 Colab 上训练视觉语言模型，灵感来自 nanoGPT。其视觉骨干采用 Google SigLIP 编码器，语言骨干沿用 Llama 3 架构，通过模态投影模块对齐图文嵌入；训练脚本 train.py 集成数据加载、模型初始化与优化，并对模态投影和主干设置两组不同学习率。
推荐理由：官方博客给出 nanoVLM 的架构与训练流程细节，可用于理解 VLM 图文对齐与轻量训练实践。
Hugging Face BlogAI 评分5252 Falcon-Edge 发布 1B 与 3B 三值语言模型，支持微调
Falcon-LLM 团队发布 Falcon-Edge 系列 1.58bit 语言模型，基于 BitNet 架构，提供 1B 和 3B 两种规模，各有 base 与指令微调版本，用约 1.5 Tera Tokens 内部数据预训练。
Hugging Face BlogAI 评分3333 LeRobot 社区数据集：机器人领域的“ImageNet”何时到来、如何实现？
Hugging Face 的 LeRobot 正推动机器人数据采集平民化，通过简化录制流程、打通上传至 HF Hub、降低硬件成本，让社区贡献数据集快速增长，目前以 So100 和 Koch 机械臂数据为主。团队将泛化视为数据问题，主张用开放多样的“机器人 ImageNet”替代学术实验室里结构单一的数据。
Hugging Face BlogAI 评分2727 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布开源量化工具 AutoRound，这是一种权重-only 的训练后量化（PTQ）方法，通过符号梯度下降联合优化权重的取整与截断范围，支持 INT2-INT8 低比特量化。
Hugging Face BlogAI 评分5858 ServiceNow 开源 PipelineRL：用 inflight 权重更新提升 LLM 强化学习吞吐
ServiceNow 开源实验性 RL 实现 PipelineRL，核心是在 RL 训练中做 inflight 权重更新：每次优化器更新后不停止推理就把新权重广播到推理服务器，从而在保持高推理吞吐的同时让数据接近 on-policy。
Hugging Face BlogAI 评分3131 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出忠实版 OCR 引擎，解决了原模型为生成训练数据而刻意忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，发票等文档的页眉页脚关键信息现可完整提取，同时保留简单表格与多栏布局解析能力。
Hugging Face BlogAI 评分3535 Visual Salamandra 发布：将 Salamandra 7B 扩展至图像与视频多模态理解
语言技术实验室发布 Visual Salamandra，把 70 亿参数的 Salamandra 大语言模型扩展至图像和视频多模态任务，并以 SigLIP-So400m 编码器、2 层 MLP 投影器与 late-fusion 架构实现视觉-语言对齐。
Hugging Face Blog精选AI 评分7171 Open R1 更新：DeepSeek-V3 0324 上线 Hugging Face
DeepSeek-V3 的更新版 DeepSeek-V3-0324 本周出现在 Hugging Face Hub 上，架构与原始 V3 相同，许可证由自定义模型许可改为 MIT。
推荐理由：梳理了 DeepSeek-V3 更新版在数学与代码基准上的提升幅度，并给出本地部署与量化方案。
Hugging Face BlogAI 评分2222 Gradio 发布新版 Dataframe 组件，6 周关闭 70+ 相关 issue
Gradio 发布 gr.Dataframe 组件的大规模更新，过去 6 周关闭了 70 多个相关 issue。新增多单元格选择、行号列与 pinned_columns 列固定、复制与全屏按钮、行列选择、static_columns 静态列，以及通过 show_search 参数启用的搜索和过滤功能，同时升级了键盘导航无障碍支持与样式。
Hugging Face BlogAI 评分3434 Open R1 的 OlympicCoder 7B 如何在本地接入 VS Code 写代码
Hugging Face 博客给出用 LM Studio 在本地运行 OlympicCoder 7B 的 4bit GGUF 量化版，并通过 Continue 扩展接入 VS Code 的完整步骤。该 7B 模型在 LiveCodeBench 评测中超过 Claude 3.7 Sonnet 和 GPT-4o，因为基于 CodeForces-CoTs 数据集优化，风格偏向竞赛型而非解释型。
Hugging Face BlogAI 评分4343 Hugging Face 将 Xet 存储上线 Hub，首批模型与数据集仓库已从 LFS 迁移
Hugging Face 已将首批模型和数据集仓库从 LFS 迁移至 Xet 存储，约 6% 的 Hub 下载流量切换到 Xet 基础设施。Xet 采用内容定义分块（CDC），按约 64KB 块做字节级去重，改一个 Parquet 文件的一行只需上传变更块，而 LFS 需重传整个文件。2 月 20 日当天共迁移 4.5 TB 仓库数据，迁移后 CAS 的下载量一度达到返回给客户端的四倍。
Hugging Face Blog精选AI 评分6868 Open R1 发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 代码模型
Open R1 发布第三期更新，包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克（IOI）的新基准，以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由：Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型，可看蒸馏训练的具体做法与教训。
Hugging Face Blog精选AI 评分6060 Hugging Face 在 Hub 上线 Xet 内容定义分块，上传下载提速 2-3 倍
Hugging Face 的 Xet 团队把内容定义分块（CDC）从理论推向生产，用于 Hub 上文件的上传与下载，部分场景提速 2-3 倍。方案在分块去重后聚合为最大 64MB 的块，使内容寻址存储条目减少 1000 倍，并用占全部 chunk 0.1% 的 key chunks 全局索引做查询。
推荐理由：原文给出块级聚合与 key chunks 的设计取舍，以及 gemma-2-9b-it-GGUF 仓库上传体积与耗时对比，可判断大文件传输的优化空间。
Hugging Face BlogAI 评分5050 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 和 Hugging Face 联合推出 DABstep，一个包含 450+ 真实数据分析任务的多步推理数据智能体基准，最强推理型智能体准确率仅 16%。
Hugging Face Blog精选AI 评分6464 Hugging Face 开源 DeepResearch 框架，GAIA 验证集达 55.15%
Hugging Face 用 24 小时复现 OpenAI Deep Research，并开源了所需的智能体框架。该框架基于 smolagents 的 CodeAgent，让智能体用代码而非 JSON 表达动作，在 GAIA 验证集上取得 55.15% 的成绩，高于此前开源框架 Magentic-One 的约 46%；同一设置改用 JSON 写动作后平均降至 33%。
推荐理由：原文给出了复现 OpenAI Deep Research 的开放框架与 GAIA 上的对比数字，可据此了解代码式智能体相较 JSON 方式的差异。
Hugging Face BlogAI 评分5555 Hugging Face 发布静态嵌入模型，训练与推理速度最高提升 400 倍
Hugging Face 发布两个静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1（英文检索）和 static-similarity-mrl-multilingual-v1（多语言相似度）。
Hugging Face Blog精选AI 评分7575 Answer.AI 与 LightOn 发布 ModernBERT：取代 BERT 的编码器模型系列
Answer.AI 与 LightOn 发布 ModernBERT，一个仅编码器模型系列，包含 base（149M 参数）和 large（395M 参数）两个规模，作为任何 BERT 类模型的即插即用替代。
推荐理由：从架构到训练的完整技术拆解，并附论文、预训练 checkpoint 与微调路径，便于判断能否替换现有 BERT 类编码器。
Hugging Face BlogAI 评分4949 IBM 联合普林斯顿、CMU、UIUC 发布混合 Mamba2 模型 Bamba-9B
IBM 联合普林斯顿、CMU、UIUC 发布推理高效的混合 Mamba2 模型 Bamba-9B，基于 2.2T tokens 完全开放数据训练，在 vLLM 中吞吐量提升 2.5 倍、延迟加速 2 倍。
Hugging Face BlogAI 评分2222 Hugging Face 专家支持案例：用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
Digital Green 与 CGIAR、Hugging Face 专家支持计划合作开发农业问答机器人 Farmer.chat，基于 RAG 和 GPT-4o 规划智能体回答农户提问，知识库涵盖近 46000 篇农业研究论文。过去一年该机器人已服务超 2 万名农户、处理逾 34 万次查询。为评估回答质量，团队搭建了 LLM-as-a-Judge 评测体系。
Hugging Face Blog精选AI 评分6969 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本添加水印，并用分类器检测。
推荐理由：SynthID Text 集成进 Transformers 后，给出了水印配置、生成与检测的完整接入方式及已知局限。
Hugging Face BlogAI 评分4444 dottxt 与 Hugging Face 发布 outlines-core 0.1.0：Rust 重写的结构化生成核心库
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，Python 绑定已开源并集成进 outlines。该版本带来约 2 倍的索引编译速度提升，并消除了 Numba JIT 首次运行的延迟，同时凭借 Rust 的内存安全与轻量化设计支持 Python 之外的更多语言绑定。
Hugging Face BlogAI 评分4242 Llama 3.2 已在 Keras 中可用
Llama 3.2 的 Keras 支持从发布第一天起就已可用，可直接从 HF 标准 safetensors checkpoint 加载，包括 3.2 checkpoint，需要转换时会即时完成。
Hugging Face BlogAI 评分4141 Hugging Face 修复 Transformers 梯度累积损失计算错误
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算 bug：按 token 级任务应将整个累积步的总损失除以全部非 padding token 数，而非对每个 batch 的损失取平均，此前开启与关闭梯度累积的两次训练损失对不上。
Hugging Face BlogAI 评分2727 HF Mirror 如何改进 Parquet 文件去重
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 文件测试去重效果：追加 10,000 行可去重 99.1%，仅需额外 20MB 存储；而修改第 10000 行仅去重 89%，需额外 230MB。团队提出用相对偏移替代绝对偏移、按行组做内容定义分块两项改进思路，并与 Apache Arrow 探讨落地可能。
Hugging Face BlogAI 评分2727 如何将顶点着色网格转换为 UV 贴图纹理网格
Hugging Face 发布教程与 InstantTexture 库，可将顶点着色网格转换为 UV 映射的纹理网格，并导出为 .glb 文件。流程先用 xatlas 生成 UV 映射，再通过重心坐标插值填充 1024 尺寸纹理，最后用 inpainting、中值滤波、高斯模糊与降采样消除空洞和噪点。
Hugging Face BlogAI 评分5858 如何将 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 博客给出将现有模型微调到 1.58bit（三值权重 -1、0、1）的方法，用 Llama3 8B 从 10B token 微调后发布在 HF1BitLLM 组织下。
Hugging Face BlogAI 评分3636 Hugging Face LeRobot 用视频编码压缩机器人数据集
Hugging Face 的 LeRobot 提出 LeRobotDataset 格式，用视频编码替代逐帧 PNG 存储机器人视觉数据，数据集平均缩小到原体积的 14%，最好情况下仅 0.2%，同时保持完整训练能力。解码单帧耗时与 PNG 相当，连续多帧解码仅为 PNG 读取耗时的 25%-50%。该格式轻量、易分享并原生集成 Hugging Face Hub，还配套了可视化工具。
Hugging Face BlogAI 评分5959 TII 发布 Falcon Mamba 7B：首个强性能无注意力机制模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层，以 5500GT 数据训练，权重以 TII Falcon Mamba 7B License 1.0 开源。
Hugging Face BlogAI 评分3232 Hugging Face 与 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强流程，可同时修改图像和文本标注，将文本增广结果回填图像并做 inpaint。该流程支持随机插入、删除、交换和停用词替换，用于在数据有限时微调 VLM。
Hugging Face BlogAI 评分2727 如何用 distilabel 构建 Argilla 2.0 聊天机器人
Hugging Face 团队展示如何借助 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人：先从 GitHub 文档生成合成数据集并微调领域专用嵌入模型，再用向量数据库存储和检索文档，最后将 Gradio 应用部署到 HF Spaces，并把交互记录存入 Argilla 持续评估改进。
Hugging Face BlogAI 评分2626 Hugging Face 回顾“Data Is Better Together”数据集共建计划
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划发布 DIBT/10k_prompts_ranked 数据集，吸引超 385 人参与提示词质量排名，并被用于训练 SPIN 等新模型。
Hugging Face BlogAI 评分4343 Hugging Face TRL 推出 RLOO Trainer，把强化学习带回 RLHF
Hugging Face 在 TRL 中推出 RLOO Trainer，一种作为 PPO 替代方案的在线 RLHF 训练算法。RLOO 显存占用比 PPO 少约 50-70%，1B 模型上速度是 PPO 的 2 倍，6.9B 模型上最高 3 倍，且只需加载策略、参考策略和奖励模型 3 份模型。其回复胜率（由 GPT4 评判）与 PPO 相当，并持续优于 DPO 等离线方法。
Hugging Face BlogAI 评分4545 Hugging Face 推出 NPC-Playground：可与 LLM 驱动的 NPC 互动的 3D 演示
Cubzh 与 Gigax 联合在 Hugging Face Spaces 上线 NPC-Playground 3D 演示，用户可直接在浏览器中与 LLM 驱动的 NPC 对话。
Hugging Face BlogAI 评分4444 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 157 项任务
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari、BabyAI、Meta-World、MuJoCo 四个领域的 157 项任务上达到专家平均性能的 65.8%。
Hugging Face BlogAI 评分4444 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，通过按发布时间标注 LeetCode、AtCoder、CodeForces 题目，支持按时间窗口滚动评估以检测和防止数据污染。
Hugging Face BlogAI 评分2222 用 HF Mirror Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是基于 Meta Llama-2-7b 微调、专为 DuckDB SQL 设计的 LLM，可生成包括 SELECT 在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3232 Pollen Robotics 开源 pollen-vision：面向机器人的零样本视觉模型统一接口
Pollen Robotics 开源 pollen-vision 库，将 OWL-ViT、Mobile Sam、RAM 等零样本视觉模型整合为可组合模块，搭建 3D 物体检测流程，无需训练即可输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分4242 Hugging Face 推出二值与标量嵌入量化，检索速度提升 32 倍、存储降低 32 倍
Hugging Face 提出嵌入量化方案：二值量化把 float32 嵌入压成 1-bit，内存与磁盘占用降低 32 倍、检索速度最高提升 32 倍，配合 float32 查询重打分的 rescore 步骤可保留约 96% 的检索性能，不做重打分则约 92.5%。标量（int8）量化可将嵌入维度精度降至 8 位。团队还演示了 4100 万条 Wikipedia 文本的真实检索场景。