Hugging Face 发布 SmolVLA:450M 开源视觉语言动作模型,基于 LeRobot 社区数据训练
Hugging Face 发布 SmolVLA,一个 450M 参数、可在消费级硬件运行的开源视觉语言动作(VLA)模型,仅用 lerobot 标签下社区共享的开源数据集预训练,包含 487 个数据集约 1000 万帧。
推荐理由:450M 参数的开源 VLA 只用社区数据就超过更大模型,并给出可复现的训练与部署路径。
Hugging Face 发布 SmolVLA,一个 450M 参数、可在消费级硬件运行的开源视觉语言动作(VLA)模型,仅用 lerobot 标签下社区共享的开源数据集预训练,包含 487 个数据集约 1000 万帧。
推荐理由:450M 参数的开源 VLA 只用社区数据就超过更大模型,并给出可复现的训练与部署路径。
Hugging Face TRL 通过 PR #3394 支持 vLLM 的 external launcher,可在同一分布式进程组中让训练与推理共享同一批 GPU,需在 GRPOConfig 中设置 vllm_mode="colocate"。
Hugging Face 分享研究,提出让 CodeAgent 以结构化 JSON 同时输出 thoughts 和可执行 code,在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
有用户在 bf16 精度下用 Qwen2.5-0.5B-Instruct 测试 Liger GRPO loss 搭配 DeepSpeed ZeRO3,训练时在 liger_kernel 的 grpo_loss 前向计算中触发 shape mismatch 报错。
Hugging Face 发布 Python 版 Tiny Agents,通过扩展 huggingface_hub 的 MCPClient 让智能体从 MCP 服务器拉取工具并传给 LLM,核心代码约 70 行。
推荐理由:官方教程给出 70 行搭 MCP 智能体的完整配置与代码路径,可直接照此复现。
Dell Enterprise Hub 发布新版本,提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的即用容器,针对 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 的 Dell 服务器完成测试与优化,Llama 4 在 Meta 公开发布后 1 小时内即上线。
Falcon-H1 系列发布 6 个开源模型,覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B,均含 base 与 instruct 版本,采用 Apache 2.0 宽松许可。
推荐理由:Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer,可据此判断端侧与长上下文场景的取舍。
阿联酋 TII 基于 Falcon 3 架构推出 7B 参数模型 Falcon-Arabic,支持阿拉伯语、英语等多语言。该模型支持 32,000 tokens 上下文,在 OALL v2 基准上超越同规模阿拉伯语 LLM,甚至优于体积大至 4 倍的模型,并覆盖 RAG 等长文档任务。
Hugging Face 发布 nanoVLM,一个纯 PyTorch 的轻量工具包,可在免费 Colab 上训练视觉语言模型,灵感来自 nanoGPT。其视觉骨干采用 Google SigLIP 编码器,语言骨干沿用 Llama 3 架构,通过模态投影模块对齐图文嵌入;训练脚本 train.py 集成数据加载、模型初始化与优化,并对模态投影和主干设置两组不同学习率。
推荐理由:官方博客给出 nanoVLM 的架构与训练流程细节,可用于理解 VLM 图文对齐与轻量训练实践。
Hugging Face 博客详解 Diffusers 直接集成的多种量化后端,包括 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8,并以 Flux-dev 演示。
Microsoft Build 大会上,Satya Nadella 宣布扩大与 Hugging Face 的合作,Azure AI Foundry 现已提供 1 万余个 Hugging Face 模型,可几次点击部署用于文本、音频和图像应用。
Falcon-LLM 团队发布 Falcon-Edge 系列 1.58bit 语言模型,基于 BitNet 架构,提供 1B 和 3B 两种规模,各有 base 与指令微调版本,用约 1.5 Tera Tokens 内部数据预训练。
Hugging Face 的 Transformers 库正推动成为跨框架的模型定义中枢:模型一旦被 Transformers 支持,即可在 vLLM、SGLang、TGI 等推理引擎中作为后端使用,并与 llama.cpp、MLX 实现互操作。
Kaggle 推出与 Hugging Face 的集成,用户在 Hugging Face 模型页点击“Use this model”并选择 Kaggle,即可打开预填代码片段的 Kaggle Notebook 加载模型,反之也可从 Kaggle 点击“Code”跳转。
HF Mirror 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署方案,基于 vLLM 实现,推理性能较此前版本最高提升 8 倍。
Hugging Face 发布博客回顾过去一年视觉语言模型(VLM)的关键变化:Qwen 2.5 Omni 采用 Thinker-Talker 架构,MiniCPM-o 2.6 以 8B 参数覆盖视觉、语音和语言;Moonshot AI 的 Kimi-VL-A3B-Thinking 用 16B 总参数、2.8B 激活参数的 MoE 解码器实现长链式推理。
Hugging Face 的 LeRobot 正推动机器人数据采集平民化,通过简化录制流程、打通上传至 HF Hub、降低硬件成本,让社区贡献数据集快速增长,目前以 So100 和 Koch 机械臂数据为主。团队将泛化视为数据问题,主张用开放多样的“机器人 ImageNet”替代学术实验室里结构单一的数据。
Qwen-3 的 Chat Template 比 Qwen-2.5 和 QwQ 更复杂:通过 enable_thinking 标志可将推理设为可选,设为 false 时模板插入空思考块,让模型跳过逐步推理,而 QwQ 等早期模型强制每轮生成思维链。
Gradio 发布教程,演示如何用几行 Python 把任意 Gradio 应用启动为 MCP server,让 LLM 以工具形式调用。只需在 demo.launch() 中设置 mcp_server=True,即可同时启动 Web 界面与 MCP server,并生成可粘贴到 Claude Desktop、Cursor、Cline 等 MCP Client 的配置。
Intel 发布开源量化工具 AutoRound,这是一种权重-only 的训练后量化(PTQ)方法,通过符号梯度下降联合优化权重的取整与截断范围,支持 INT2-INT8 低比特量化。
Meta 发布 Llama Guard 4 和两个 Llama Prompt Guard 2 安全模型。
ServiceNow 开源实验性 RL 实现 PipelineRL,核心是在 RL 训练中做 inflight 权重更新:每次优化器更新后不停止推理就把新权重广播到推理服务器,从而在保持高推理吞吐的同时让数据接近 on-policy。
Hugging Face 发布 Tiny Agents 教程,演示如何用约 50 行 TypeScript 代码在推理客户端之上实现一个 MCP 驱动的智能体。
推荐理由:文章给出一个约 50 行的 MCP 智能体实现,读者可据此理解工具调用与 MCP 客户端如何拼装成完整智能体。
TNG 基于 olmOCR-7B-0225-preview 微调出忠实版 OCR 引擎,解决了原模型为生成训练数据而刻意忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集,在 8xH100 节点上训练 2.5 个 epoch,发票等文档的页眉页脚关键信息现可完整提取,同时保留简单表格与多栏布局解析能力。
LLM 的 token 生成分为可并行处理提示词的 prefill 阶段和只能逐个生成的 decode 阶段,两者分别对应首 token 延迟和单 token 延迟。在 24 张 H100 组成的集群上自托管大模型时,decode 阶段受 GPU 显存带宽限制,可通过批处理多请求提升利用率。低并发下吞吐随并发数近线性增长,GPU 利用率饱和后吞吐不再提升,总吞吐与单请求延迟之间存在权衡。
Gradio 官方撰文列出 17 个理由,说明它不只是 Python UI 库,而是同时提供 UI 与 API 的机器学习应用框架。
Cohere 现已作为 Inference Provider 接入 HF Hub,成为首个直接在 Hub 上分享并提供模型推理的模型厂商。
Hugging Face 与 Protect AI 合作半年,Guardian 已扫描 HF Hub 上 141 万个仓库中的 447 万个唯一模型版本,在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
Hugging Face 宣布收购已成立 9 年的开源机器人公司 Pollen Robotics,这是其继 Gradio、XetHub 之后的第五次收购。公司同时开始售卖首款机器人 Reachy 2,这款开源且兼容 VR 的人形机器人面向研究、教育与具身 AI 实验,售价 7 万美元,可通过邮件订购,已在康奈尔、卡内基梅隆等实验室使用。
HF Mirror 与 Cloudflare 达成合作,FastRTC 开发者用一个 HF Mirror token 即可接入 Cloudflare 覆盖 335 个以上地点的全球 TURN 网络。
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards Space,将阿拉伯语 AI 评测集中到一处,目前上线 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
Meta 发布 Llama 4 Maverick(约 400B 总参数、17B 激活)和 Llama 4 Scout(约 109B 总参数、17B 激活)两款原生多模态 MoE 模型,权重已上线 Hugging Face 的 meta-llama 组织,含 base 与 instruct 版本,需先接受 Llama 4 社区许可协议。
推荐理由:Meta 同日发布 Llama 4 Maverick 与 Scout 两款 MoE 多模态模型,并给出架构细节与 Hugging Face 侧集成方式。
Gradio 上线 5 年后月度开发者用户突破 100 万,Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini、LLaMA-Factory 等热门开源项目均在使用。
Hugging Face 把已有 3 年历史的 NLP Course 更名为 LLM Course,并新增微调 LLM、构建 DeepSeek R1 等推理模型的新章节。
TNG Technology Consulting 提出在自建 LLM-Server 中为每个用户和模型设置独立队列,并采用轮询式公平调度替代 FIFO,避免单个"重度用户"占满队列阻塞他人。该方案通过 vLLM 的 /metrics 端点读取后端队列长度指标、动态控制请求下发速率以保持短队列,从而降低新用户延迟。文章还讨论了按请求数、处理时长、KV-cache 命中和优先级分级等公平性扩展方向。
Hugging Face 将密钥管理从 AWS 单云环境迁移到 Infisical,以支撑 Hub 上超 400 万开发者、每分钟超 1000 万请求的规模。此前团队评估过 HashiCorp Vault,最终选择 Infisical,通过其 Kubernetes Operator 自动同步密钥,并借助 Okta 集成实现基于 RBAC 的细粒度权限控制。
Hugging Face 通过 PR #3091 将 Intel Gaudi 支持原生集成进 TGI 主代码库,不再维护独立的 tgi-gaudi 分支,基于新的多后端架构直接支持 Gaudi1/2/3,分别可运行于 AWS EC2 DL1、Intel Tiber AI Cloud、IBM Cloud 及 Dell、HP、Supermicro 等 OEM 硬件。
DeepSeek-V3 的更新版 DeepSeek-V3-0324 本周出现在 Hugging Face Hub 上,架构与原始 V3 相同,许可证由自定义模型许可改为 MIT。
推荐理由:梳理了 DeepSeek-V3 更新版在数学与代码基准上的提升幅度,并给出本地部署与量化方案。
Hugging Face 发布教程,介绍如何用 Sentence Transformers 库微调 reranker(Cross Encoder)模型,覆盖数据集、损失函数、训练参数、评估器和 CrossEncoderTrainer 各组件。
Gradio 发布 gr.Dataframe 组件的大规模更新,过去 6 周关闭了 70 多个相关 issue。新增多单元格选择、行号列与 pinned_columns 列固定、复制与全屏按钮、行列选择、static_columns 静态列,以及通过 show_search 参数启用的搜索和过滤功能,同时升级了键盘导航无障碍支持与样式。