NVIDIA GB300 NVL72 创下 MoE 预训练世界纪录
NVIDIA GB300 NVL72 在预训练 DeepSeek-V3 671B 时创下每 GPU 1,648 TFLOPs 的世界纪录。随着前沿模型预训练转向 MoE 架构,每 token 计算量下降,通信效率日益决定模型在数千块 GPU 上的扩展表现。
NVIDIA GB300 NVL72 在预训练 DeepSeek-V3 671B 时创下每 GPU 1,648 TFLOPs 的世界纪录。随着前沿模型预训练转向 MoE 架构,每 token 计算量下降,通信效率日益决定模型在数千块 GPU 上的扩展表现。
DeepSeek 发布 V4,Hub 上有 DeepSeek-V4-Pro(1.6T 总参数、49B 激活)和 DeepSeek-V4-Flash(284B 总参数、13B 激活)两个 MoE checkpoint,均支持 1M-token 上下文窗口。
推荐理由:原文拆解了 V4 混合注意力与工具调用后训练设计,可判断长上下文智能体工作负载的成本取舍。
Hugging Face 博客指出开源已成为中国 AI 组织近未来的主流路径,其平台上关注度最高的机构是 DeepSeek,第四为 Qwen。截至 2025 年中,Hugging Face 上有超 113k 模型以 Qwen 为基础、超 200k 仓库标注 Qwen,远超 Llama 的 27k 和 DeepSeek 的 6k。
继 2025 年 1 月「DeepSeek 时刻」后,中国开源社区在架构与硬件上集体转向 MoE,Kimi K2、MiniMax M2、Qwen3 等均采用该架构。
DeepSeek 发布 R-1 模型一年后,其开源权重成为 Hugging Face 史上获赞最多的模型。R1 以 MIT 许可开放推理路径与后训练方法,降低了技术、采用与心理三重门槛。百度 2024 年在 Hugging Face 零发布,2025 年增至 100 余个,字节跳动与腾讯发布量增长八到九倍。
Hugging Face 发文分析全球 AI 算力格局的迁移:中国国产芯片已开始承载 Qwen、DeepSeek、GLM、Kimi 等开源权重模型的推理,部分模型开始用国产芯片训练。文章指出,美国出口管制与华为 Ascend、寒武纪等国产芯片产能的加速高度相关,芯片受限也倒逼出 MLA、GRPO 等算力效率创新。
AI-MO 与 Kimi 开源 kimina-prover-rl 训练流程,基于 DeepSeek-R1 式"先推理后生成"范式,兼容 Verl 框架,并随附 1.7B 与 0.6B 两个模型。
Hugging Face 发布 FutureBench,通过让 AI 智能体预测真实未来事件来评测其推理能力,避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题,并接入 Polymarket 预测市场,每周分别产出约 5 个新闻问题和 8 个市场问题,答案可随时间验证。
Featherless AI 已接入 HF Mirror Hub 的 Inference Providers,其无服务器推理可直接用于模型页面及 JS、Python 客户端 SDK。
Hugging Face 发布博客回顾过去一年视觉语言模型(VLM)的关键变化:Qwen 2.5 Omni 采用 Thinker-Talker 架构,MiniCPM-o 2.6 以 8B 参数覆盖视觉、语音和语言;Moonshot AI 的 Kimi-VL-A3B-Thinking 用 16B 总参数、2.8B 激活参数的 MoE 解码器实现长链式推理。
DeepSeek-V3 的更新版 DeepSeek-V3-0324 本周出现在 Hugging Face Hub 上,架构与原始 V3 相同,许可证由自定义模型许可改为 MIT。
推荐理由:梳理了 DeepSeek-V3 更新版在数学与代码基准上的提升幅度,并给出本地部署与量化方案。
Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。
Hugging Face 发布教程,教你用 React Native 和 llama.rn(llama.cpp 的绑定)构建本地运行 LLM 的移动应用,通过加载 GGUF 文件从 HF Mirror 下载模型,全程离线保护隐私。
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换旧评测器只需改 3 行代码。
推荐理由:原文给出数学评测器替换后的全量重评数据,可据此理解旧榜评分偏差与榜单变动幅度。
Fireworks.ai 成为 Hugging Face Hub 支持的推理服务商,用户可直接在模型页面及整个 HF 生态中调用其无服务器推理,支持 deepseek-ai/DeepSeek-R1。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 DeepSeek R1 在 512 张 H100 本地生成 400k 道题的解答,过滤后保留 220k 道含正确推理轨迹的题目。
Hugging Face 的 Open-R1 项目启动一周后发布首份更新,称已能复现 DeepSeek 在 MATH-500 上报告的评测分数,并公开了评测排行榜。
推荐理由:Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节,可供复现者参考。
Hugging Face 博客发布了一篇 RL 教程,用 GRPO 和 Countdown Game、以 Qwen2.5-3B-Instruct 为基座在 4x H100 上复现 DeepSeek R1 的 aha moment。
推荐理由:原文给出了在 4x H100 上用 GRPO 复现 R1 式推理的完整脚本、奖励函数与训练观察,可据此判断 RL 训练的实际收敛过程。
Hugging Face 与 AWS 合作发布了在 AWS 上部署和微调 DeepSeek R1 系列模型的指南,涵盖通过 Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 和 EC2 Neuron 等服务的部署路径,以及基于 Hugging Face Training DLCs 的微调方法。
Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。
推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。
2024 年中国 AI 公司加速出海,全球 1500 家活跃 AI 公司中有 751 家位于中国,其中 103 家已拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施,主攻东南亚和中东;字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。
Hugging Face 发布视觉语言模型入门指南,梳理其图像编码器、嵌入投影器与文本解码器的核心结构,并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型及各自分辨率与能力差异。文章还介绍 Vision Arena、Open VLM Leaderboard 与 MMMU、MMBench 等评测基准,并演示如何用当日发布的新版 trl 进行推理与微调。
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术,包括 RLHF、IFT、SFT、CoT 与红队测试,并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。