Hugging Face Inference Endpoints 推出全新实时分析面板
Hugging Face 为 Inference Endpoints 更新分析面板,指标数据改为实时更新,并重构后端以保证高流量端点下数据快速加载。新版本支持自定义时间范围与自动刷新,还新增副本生命周期视图,可追踪每个副本从初始化到终止的每次状态转换。这些更新已上线,官方表示仍在持续迭代并征求反馈。
Hugging Face 为 Inference Endpoints 更新分析面板,指标数据改为实时更新,并重构后端以保证高流量端点下数据快速加载。新版本支持自定义时间范围与自动刷新,还新增副本生命周期视图,可追踪每个副本从初始化到终止的每次状态转换。这些更新已上线,官方表示仍在持续迭代并征求反馈。
Hugging Face 博客给出用 LM Studio 在本地运行 OlympicCoder 7B 的 4bit GGUF 量化版,并通过 Continue 扩展接入 VS Code 的完整步骤。该 7B 模型在 LiveCodeBench 评测中超过 Claude 3.7 Sonnet 和 GPT-4o,因为基于 CodeForces-CoTs 数据集优化,风格偏向竞赛型而非解释型。
Hugging Face 于 3 月 14 日向白宫 OSTP 的 AI 行动计划 RFI 提交回应,主张开放 AI 系统与开放科学是提升性能、采用率和安全性的基础。
Hugging Face 已将首批模型和数据集仓库从 LFS 迁移至 Xet 存储,约 6% 的 Hub 下载流量切换到 Xet 基础设施。Xet 采用内容定义分块(CDC),按约 64KB 块做字节级去重,改一个 Parquet 文件的一行只需上传变更块,而 LFS 需重传整个文件。2 月 20 日当天共迁移 4.5 TB 仓库数据,迁移后 CAS 的下载量一度达到返回给客户端的四倍。
Google 发布 Gemma 3 开源权重模型家族,提供 1B、4B、12B、27B 四种规格及预训练与指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言和 128k token 上下文,1B 版本仅支持英文文本和 32k 上下文。
推荐理由:Google 开源 Gemma 3 覆盖 1B 到 27B 四种规格,可据此判断小参数模型在多模态与长上下文上的实际边界。
Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。
Yaak 与 Hugging Face 的 LeRobot 团队联合发布 Learning to Drive(L2D),被称为全球最大的开源自动驾驶数据集,包含来自德国 30 个城市、60 辆驾校电动车、历时 3 年采集的 90+ TB 多模态数据,约 5000 小时驾驶记录。
推荐理由:L2D 开源数据集包含 5000+ 小时德国驾校数据,可用于 LeRobot 端到端自动驾驶模型的训练与闭环测试。
Hugging Face 发布教程,教你用 React Native 和 llama.rn(llama.cpp 的绑定)构建本地运行 LLM 的移动应用,通过加载 GGUF 文件从 HF Mirror 下载模型,全程离线保护隐私。
Cohere For AI 发布 Aya Vision 系列开源多语言多模态模型,含 8B 和 32B 两个尺寸,覆盖 23 种语言。Aya Vision 32B 在 AyaVisionBench 上以 50% 至 64% 的胜率超过 Llama-3.2 90B Vision、Molmo 72B 和 Qwen2.5-VL 72B 等参数量两倍于它的模型。
推荐理由:原文给出 8B/32B 两个尺寸的开源权重与训练配方,可据此比较小参数多模态模型在多语言任务上的位置。
Hugging Face 将 JFrog 的扫描器接入 HF Mirror Hub,为所有公开模型仓库自动扫描,文件推送即触发。JFrog 会解析模型权重中的代码,判断其是否为恶意用法,弥补 picklescan 仅做模块名模式匹配、易产生误报的不足,并覆盖 pickle 之外的更多格式。
Hugging Face 博客介绍如何用 Arize Phoenix 配合 OpenTelemetry 和 OpenInference,对基于 smolagents 构建的智能体进行追踪与评估。
Hugging Face 与印度科学研究所 IISc、ARTPARK 达成合作,提升印度多模态多语言数据集 Vaani 的可访问性与可用性。Vaani 于 2022 年由 IISc/ARTPARK 与 Google 发起,已开源第一阶段 80 个地区的数据,第二阶段将再覆盖 100 个地区,目标采集超 15 万小时语音和 1.5 万小时转写文本。
Hugging Face 发布开源 Python 库 FastRTC,用于构建实时音频和视频 AI 应用,内置语音检测与轮次切换、WebRTC 版 Gradio UI 以及 WebSocket 支持。
推荐理由:介绍了一个把 WebRTC 实时音视频通信封装成 Python 库的开源项目,读者可据此了解如何用少量代码搭建实时语音 AI 应用。
Hugging Face Diffusers 团队试点 Remote VAE,将扩散模型的 VAE 解码交给远程 Inference Endpoints,缓解高分辨率图像和视频生成中解码器显存占用过高的问题,避免 offloading 的设备传输延迟和 tiling 的画质损失。
Google 发布多语言视觉语言编码器家族 SigLIP 2,在 SigLIP 的 sigmoid loss 基础上加入提升语义理解、定位与稠密特征的新训练目标,在零样本分类、图文检索以及为 VLM 提取视觉表征的迁移性能上全面超越同规模 SigLIP。
Hugging Face 发布 SmolVLM2 系列视频理解模型,包含 2.2B、500M 和 256M 三种参数规模,并同步支持 Transformers 与 MLX。
推荐理由:Hugging Face 发布三档小参数视频理解模型,并给出 iPhone、VLC 等端侧落地方式,可对照其内存与性能取舍。
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商,支持 DeepSeek-R1、FLUX.1 等模型,并已集成 JS 和 Python 客户端 SDK。
Hugging Face 用新数学评测器 Math-Verify 重新评估了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换旧评测器只需改 3 行代码。
推荐理由:原文给出数学评测器替换后的全量重评数据,可据此理解旧榜评分偏差与榜单变动幅度。
Fireworks.ai 成为 Hugging Face Hub 支持的推理服务商,用户可直接在模型页面及整个 HF 生态中调用其无服务器推理,支持 deepseek-ai/DeepSeek-R1。
Hugging Face 发布博客,拆解每天 10 亿次以上分类与嵌入推理的成本与延迟计算方法。作者用 Inference Endpoints、HF Hub 库、Infinity 推理服务器和 k6 压测,在 nvidia-L4($0.8/hr)上跑出 10 亿次分类 $253.82、嵌入 $409.44,而 ColQwen2 视觉嵌入高达 $44,496.51。
Hugging Face 的 Xet 团队把内容定义分块(CDC)从理论推向生产,用于 Hub 上文件的上传与下载,部分场景提速 2-3 倍。方案在分块去重后聚合为最大 64MB 的块,使内容寻址存储条目减少 1000 倍,并用占全部 chunk 0.1% 的 key chunks 全局索引做查询。
推荐理由:原文给出块级聚合与 key chunks 的设计取舍,以及 gemma-2-9b-it-GGUF 仓库上传体积与耗时对比,可判断大文件传输的优化空间。
Hugging Face 发布一套用于视频生成数据集的三阶段流水线工具,通过 yt-dlp 采集视频、Video to Scenes 切分片段,并用 LAION-5B-WatermarkDetection。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 DeepSeek R1 在 512 张 H100 本地生成 400k 道题的解答,过滤后保留 220k 道含正确推理轨迹的题目。
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2,升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客,收到 700 多个模型提交,参数从 1B 到 70B 以上,来自 180 多个机构,其中超 70% 为 chat 和微调模型,11% 为预训练模型,超半数模型小于 7B。
Hugging Face 已将 Physical Intelligence 开发的两个机器人基础模型 π0 与 π0-FAST 移植到 LeRobot 仓库,可在其生态中使用。
Adyen 和 Hugging Face 联合推出 DABstep,一个包含 450+ 真实数据分析任务的多步推理数据智能体基准,最强推理型智能体准确率仅 16%。
Hugging Face 用 24 小时复现 OpenAI Deep Research,并开源了所需的智能体框架。该框架基于 smolagents 的 CodeAgent,让智能体用代码而非 JSON 表达动作,在 GAIA 验证集上取得 55.15% 的成绩,高于此前开源框架 Magentic-One 的约 46%;同一设置改用 JSON 写动作后平均降至 33%。
推荐理由:原文给出了复现 OpenAI Deep Research 的开放框架与 GAIA 上的对比数字,可据此了解代码式智能体相较 JSON 方式的差异。
Hugging Face 的 Open-R1 项目启动一周后发布首份更新,称已能复现 DeepSeek 在 MATH-500 上报告的评测分数,并公开了评测排行榜。
推荐理由:Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节,可供复现者参考。
Hugging Face 博客发布了一篇 RL 教程,用 GRPO 和 Countdown Game、以 Qwen2.5-3B-Instruct 为基座在 4x H100 上复现 DeepSeek R1 的 aha moment。
推荐理由:原文给出了在 4x H100 上用 GRPO 复现 R1 式推理的完整脚本、奖励函数与训练观察,可据此判断 RL 训练的实际收敛过程。
Hugging Face 推出首期 AI 艺术工具通讯《The AI tools for Art Newsletter》,回顾 2024 年创意 AI 的关键进展,并预告 2025 年新动向及将启动月度汇总。
Hugging Face 与 AWS 合作发布了在 AWS 上部署和微调 DeepSeek R1 系列模型的指南,涵盖通过 Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 和 EC2 Neuron 等服务的部署路径,以及基于 Hugging Face Training DLCs 的微调方法。
Hugging Face 在 Hub 模型页和 JS/Python 客户端 SDK 中接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理供应商。
推荐理由:平台把四家无服务器推理供应商接入模型页与 SDK,读者可据此比较不同供应商的调用方式与计费路径。
Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。
推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。
Hugging Face 发布 Diffusers 开源视频生成模型现状综述,梳理了 CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 等模型,并对比 Meta MovieGen、OpenAI Sora、Google Veo 2 等闭源方案。
Hugging Face 为 smolagents 加上视觉支持,可直接在智能体流水线中使用视觉语言模型。图像既可以在 run 方法开始时以列表传入,由 TaskStep 的 task_images 属性保存,也可以通过 step_callbacks 在每一步把新截图写入 ActionStep 的 observation_images。
推荐理由:官方给出视觉能力接入智能体管线的两种方式,并附可运行的浏览器智能体示例,便于判断多模态 Agent 的落地路径。
NVIDIA 推出 Python 工具包 KVPress,通过多种 press 压缩 KV Cache,缓解长上下文 LLM 的显存瓶颈。以 Llama 3-70B 的 bfloat16 精度、1M token 上下文为例,KV Cache 独占 327.6GB,占约 470GB 总显存需求的 70%。
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M,共四个 checkpoint,包括两个基础模型和两个指令微调模型,可直接加载到 transformers、MLX 和 ONNX,并提供 transformers 与 WebGPU 演示。
FriendliAI 的推理基础设施已集成进 Hugging Face Hub,成为模型页"Deploy this model"按钮中的一个部署选项。
Hugging Face 通过新增 TimmWrapper 将 timm 库的计算机视觉模型接入 transformers 生态,让任意 timm 模型可用 pipeline API 推理并兼容 Auto 类。
Hugging Face 为 Text Generation Inference(TGI)引入多后端架构,通过统一的 TGI 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎,用户可按模型、硬件和性能需求切换后端。