Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换旧评测器只需改 3 行代码。
推荐理由:原文给出数学评测器替换后的全量重评数据,可据此理解旧榜评分偏差与榜单变动幅度。
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换旧评测器只需改 3 行代码。
推荐理由:原文给出数学评测器替换后的全量重评数据,可据此理解旧榜评分偏差与榜单变动幅度。
Hugging Face 发布一套用于视频生成数据集的三阶段流水线工具,通过 yt-dlp 采集视频、Video to Scenes 切分片段,并用 LAION-5B-WatermarkDetection。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 DeepSeek R1 在 512 张 H100 本地生成 400k 道题的解答,过滤后保留 220k 道含正确推理轨迹的题目。
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2,升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客,收到 700 多个模型提交,参数从 1B 到 70B 以上,来自 180 多个机构,其中超 70% 为 chat 和微调模型,11% 为预训练模型,超半数模型小于 7B。
Hugging Face 已将 Physical Intelligence 开发的两个机器人基础模型 π0 与 π0-FAST 移植到 LeRobot 仓库,可在其生态中使用。
Hugging Face 用 24 小时复现 OpenAI Deep Research,并开源了所需的智能体框架。该框架基于 smolagents 的 CodeAgent,让智能体用代码而非 JSON 表达动作,在 GAIA 验证集上取得 55.15% 的成绩,高于此前开源框架 Magentic-One 的约 46%;同一设置改用 JSON 写动作后平均降至 33%。
推荐理由:原文给出了复现 OpenAI Deep Research 的开放框架与 GAIA 上的对比数字,可据此了解代码式智能体相较 JSON 方式的差异。
Hugging Face 的 Open-R1 项目启动一周后发布首份更新,称已能复现 DeepSeek 在 MATH-500 上报告的评测分数,并公开了评测排行榜。
推荐理由:Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节,可供复现者参考。
Hugging Face 博客发布了一篇 RL 教程,用 GRPO 和 Countdown Game、以 Qwen2.5-3B-Instruct 为基座在 4x H100 上复现 DeepSeek R1 的 aha moment。
推荐理由:原文给出了在 4x H100 上用 GRPO 复现 R1 式推理的完整脚本、奖励函数与训练观察,可据此判断 RL 训练的实际收敛过程。
Hugging Face 推出首期 AI 艺术工具通讯《The AI tools for Art Newsletter》,回顾 2024 年创意 AI 的关键进展,并预告 2025 年新动向及将启动月度汇总。
Hugging Face 与 AWS 合作发布了在 AWS 上部署和微调 DeepSeek R1 系列模型的指南,涵盖通过 Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 和 EC2 Neuron 等服务的部署路径,以及基于 Hugging Face Training DLCs 的微调方法。
Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。
推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。
Hugging Face 发布 Diffusers 开源视频生成模型现状综述,梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型,并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Hugging Face 为 smolagents 加上视觉支持,可直接在智能体流水线中使用视觉语言模型。图像既可以在 run 方法开始时以列表传入,由 TaskStep 的 task_images 属性保存,也可以通过 step_callbacks 在每一步把新截图写入 ActionStep 的 observation_images。
推荐理由:官方给出视觉能力接入智能体管线的两种方式,并附可运行的浏览器智能体示例,便于判断多模态 Agent 的落地路径。
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M,共四个 checkpoint,包括两个基础模型和两个指令微调模型,可直接加载到 transformers、MLX 和 ONNX,并提供 transformers 与 WebGPU 演示。
Hugging Face 通过新增 TimmWrapper 将 timm 库的计算机视觉模型接入 transformers 生态,让任意 timm 模型可用 pipeline API 推理并兼容 Auto 类。
Hugging Face 为 Text Generation Inference(TGI)引入多后端架构,通过统一的 TGI 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎,用户可按模型、硬件和性能需求切换后端。
Hugging Face 发布 vdr-2b-multi-v1 多语言嵌入模型,可将文档页面截图直接编码为稠密单向量,无需 OCR 或分块即可检索意、西、英、法、德五种语言的视觉文档。
Hugging Face 发布 smolagents 库,让语言模型具备智能体能力,核心是 CodeAgent——智能体用代码而非 JSON 编写动作,并支持通过 E2B 在沙箱环境执行。
推荐理由:Hugging Face 官方介绍 smolagents 库的 CodeAgent 设计与上手方式,可作为编写代码动作智能体的参考。
NVIDIA 的 LogitsProcessorZoo 是一套模块化 logits 处理器,可控制语言模型生成时的序列长度、强制关键短语或引导多选题答案,并与 Hugging Face Transformers 的 generate 方法完全兼容。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型系列,包含 Falcon3-1B-Base、Falcon3-3B-Base、Falcon3-Mamba-7B-Base、Falcon3-7B-Base 和 Falcon3-10B-Base 五个基础模型,全部在 100 亿参数以下。
Hugging Face 发布 Synthetic Data Generator,让用户用自然语言描述需求,经三步流程生成自定义数据集,目前支持文本分类和对话两类任务。
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial,并首发 LeMat-Bulk 数据集,将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一清洗标准化为 670 万条条目、7 项材料属性的单一格式,采用 CC-BY-4.0 许可。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖常见图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供 flux-dev-lora-finetune。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种规模,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 只有 3B 版本。
推荐理由:Google 发布 PaliGemma 2 视觉语言模型,相比前代只提供 3B,补上了 10B、28B 与三种输入分辨率,可用于判断自己的微调选型空间。
EU AI Act 已正式生效,可能适用于开源 AI 模型与系统,义务取决于模型类型和发布方式,多数情况下只需清晰文档、部署时披露模型信息并遵守现有版权与隐私规则。
Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构,计划引入内容寻址存储(CAS)并自建传输协议,按字节级分析文件以加速模型与数据集仓库的大文件传输,该协议还能将 Safetensors 张量文件的上传速度提升 10-25%。
Hugging Face 发布 SmolVLM,一个 2B 参数、面向低内存占用的开源视觉语言模型,模型权重、数据集、训练配方和工具均以 Apache 2.0 许可开放。
Hugging Face 的 Xet 团队改用内容定义分块(CDC)存储文件,只传输和保存被修改的 chunk。对 CORD-19 数据集的测试显示,平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
BAAI 推出 FlagEval Debate 平台,让大模型直接对辩,目前支持中文、英文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制,并提供开发者自定义参数与实时调试能力,以解决静态评测和 Chatbot Arena 等现有平台缺乏区分度、模型各自生成不真正交互、投票存在风格偏好的问题。
Hugging Face 与跨机构项目 LLM-jp 合作推出 Open Japanese LLM Leaderboard,用于公开评测日语大语言模型。该排行榜基于超 20 个数据集、覆盖 16 项任务(从自然语言推理、机器翻译到代码生成与数学推理),采用 4-shot 设置,由 llm-jp-eval 评测套件驱动。
Hugging Face 博客介绍了源自 LayerSkip 论文的自推测解码(self-speculative decoding):用同一 LLM 的浅层生成草稿 token、深层负责验证,无需额外草稿模型即可同时提升速度并节省显存。
Hugging Face 博客介绍 Judge Arena 平台上线,用户可让两个 LLM 裁判对同一段模型输出打分并给出理由,再投票选出更认同的一方,投票结果按 Elo 分数汇总成公开榜单并每小时更新。
机器学习过去十年的进展表明,精心设计的数学化架构只带来边际提升,而算力驱动、工程优先的规模化路线却催生了现有理论无法预测的新能力。文章认为数学的角色正在演变:从提供性能理论保证,转向像物理学那样对训练与性能中的经验现象做事后解释,并更多用于架构与任务结构、数据对称性的高层匹配。规模化还让拓扑、代数、几何等"纯"数学领域加入机器学习,以应对深度学习的复杂性问题。
HF Mirror Hub 支持托管 TB 级数据集并配备 Dataset Viewer、全文搜索、排序与浏览器内 SQL Console,用户无需下载即可在线浏览和查询数据。
PyCharm 现已集成 Hugging Face,开发者可在 IDE 内右键 "Insert HF Model" 选择模型(如 microsoft/Phi-3.5-vision-instruct)并自动粘贴示例代码。
Argilla 2.4 推出无需代码的数据集构建功能,可直接从 Hugging Face Hub 导入数据集,通过 UI 定义问题并收集人工反馈。该功能支持从 Hub 上 230k 数据集中导入公开数据集,用于微调、评估和众包标注,部署在 Spaces 上默认启用 Hugging Face OAuth,便于社区协作。这是 Argilla 加入 Hugging Face 以来最具影响力的功能更新。
Hugging Face 与 Intel Labs 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型可以搭配任意模型家族的更小辅助模型,对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
Cohere 研究实验室 Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数规模,并以开放权重形式发布。
推荐理由:原文给出 Aya Expanse 8B/32B 的对比胜率与技术管线细节,可了解多语言训练中数据套利与模型合并的具体做法。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印,并用分类器检测。
推荐理由:SynthID Text 集成进 Transformers 后,给出了水印配置、生成与检测的完整接入方式及已知局限。
Hugging Face 发布 HUGS(Hugging Face Generative AI Services),一套零配置、经过优化的推理微服务,用于在自有基础设施中部署开源模型。