Hugging Face 盘点 Vision Language Models 一年进展：更小、更强、更快
Hugging Face 发布博客回顾过去一年视觉语言模型（VLM）的关键变化：Qwen 2.5 Omni 采用 Thinker-Talker 架构，MiniCPM-o 2.6 以 8B 参数覆盖视觉、语音和语言；Moonshot AI 的 Kimi-VL-A3B-Thinking 用 16B 总参数、2.8B 激活参数的 MoE 解码器实现长链式推理。
#推理
#推理
今日 1 条Hugging Face BlogAI 评分2424
OpenAI NewsAI 评分3232 OpenAI o3 如何自动化复杂工作流
OpenAI o3 可对复杂任务进行推理，帮助自动化多步骤工作流。该模型面向需要多步推理与流程编排的场景，官方展示了其在这类任务中的应用方式。
Hugging Face BlogAI 评分3434 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 Chat Template 比 Qwen-2.5 和 QwQ 更复杂：通过 enable_thinking 标志可将推理设为可选，设为 false 时模板插入空思考块，让模型跳过逐步推理，而 QwQ 等早期模型强制每轮生成思维链。
Hugging Face BlogAI 评分2727 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布开源量化工具 AutoRound，这是一种权重-only 的训练后量化（PTQ）方法，通过符号梯度下降联合优化权重的取整与截断范围，支持 INT2-INT8 低比特量化。
Hugging Face BlogAI 评分5858 ServiceNow 开源 PipelineRL：用 inflight 权重更新提升 LLM 强化学习吞吐
ServiceNow 开源实验性 RL 实现 PipelineRL，核心是在 RL 训练中做 inflight 权重更新：每次优化器更新后不停止推理就把新权重广播到推理服务器，从而在保持高推理吞吐的同时让数据接近 on-policy。
Hugging Face BlogAI 评分2727 Hugging Face 解析并发请求下的 LLM Prefill 与 Decode 优化
LLM 的 token 生成分为可并行处理提示词的 prefill 阶段和只能逐个生成的 decode 阶段，两者分别对应首 token 延迟和单 token 延迟。在 24 张 H100 组成的集群上自托管大模型时，decode 阶段受 GPU 显存带宽限制，可通过批处理多请求提升利用率。低并发下吞吐随并发数近线性增长，GPU 利用率饱和后吞吐不再提升，总吞吐与单请求延迟之间存在权衡。
Hugging Face BlogAI 评分4141 Hugging Face 推出 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 长上下文语言模型评估基准，已评估 59 个近期 LCLM，主张跨多样下游任务评估才能真正区分模型能力。
Hugging Face BlogAI 评分2828 Hugging Face 新增 Hyperbolic、Nebius AI Studio、Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、FLUX.1 等模型，并已集成 JS 和 Python 客户端 SDK。
Hugging Face Blog精选AI 评分6464 Open-R1 项目更新：复现 DeepSeek-R1 评测、训练管线与合成数据
Hugging Face 的 Open-R1 项目启动一周后发布首份更新，称已能复现 DeepSeek 在 MATH-500 上报告的评测分数，并公开了评测排行榜。
推荐理由：Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节，可供复现者参考。
Hugging Face BlogAI 评分3232 如何在 AWS 上部署并微调 DeepSeek 模型
Hugging Face 与 AWS 合作发布了在 AWS 上部署和微调 DeepSeek R1 系列模型的指南，涵盖通过 Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 和 EC2 Neuron 等服务的部署路径，以及基于 Hugging Face Training DLCs 的微调方法。
Hugging Face Blog精选AI 评分6060 Hugging Face 发起 Open-R1 项目，复现 DeepSeek-R1 数据与训练流程
Hugging Face 启动 Open-R1 项目，计划系统性复现 DeepSeek-R1 的数据与训练流程，补上官方未公开的数据集和训练代码。该计划分三步：蒸馏高质量推理数据集复现 R1-Distill 模型，复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程，并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域，并向社区开放代码与讨论。
推荐理由：DeepSeek-R1 开源权重但未公开数据与训练代码，该项目计划补上蒸馏与纯 RL 复现路径。
Hugging Face BlogAI 评分4747 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过统一的 TGI 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎，用户可按模型、硬件和性能需求切换后端。
Hugging Face Blog精选AI 评分7575 Answer.AI 与 LightOn 发布 ModernBERT：取代 BERT 的编码器模型系列
Answer.AI 与 LightOn 发布 ModernBERT，一个仅编码器模型系列，包含 base（149M 参数）和 large（395M 参数）两个规模，作为任何 BERT 类模型的即插即用替代。
推荐理由：从架构到训练的完整技术拆解，并附论文、预训练 checkpoint 与微调路径，便于判断能否替换现有 BERT 类编码器。
Hugging Face BlogAI 评分4949 IBM 联合普林斯顿、CMU、UIUC 发布混合 Mamba2 模型 Bamba-9B
IBM 联合普林斯顿、CMU、UIUC 发布推理高效的混合 Mamba2 模型 Bamba-9B，基于 2.2T tokens 完全开放数据训练，在 vLLM 中吞吐量提升 2.5 倍、延迟加速 2 倍。
Hugging Face BlogAI 评分2727 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Intel Xeon，Emerald Rapids，带 AMX）和 N2（第 3 代 Xeon，Ice Lake，仅 AVX-512）上对比测试文本嵌入与文本生成。
Hugging Face BlogAI 评分2222 你也能设计出 SOTA 位置编码：一步步推导出 Llama 3.2 使用的 RoPE
一篇教程从零迭代推导 Transformer 位置编码，最终抵达 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码（RoPE）。文章先给出理想位置编码应满足的 5 条性质，包括每个位置编码唯一且与序列长度无关、相邻位置间存在线性关系、可泛化到训练长度之外的序列、可由模型学习的确定性过程生成，以及能自然扩展到多维以支持图像等数据。
Hugging Face BlogAI 评分4444 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型直接对辩，目前支持中文、英文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数与实时调试能力，以解决静态评测和 Chatbot Arena 等现有平台缺乏区分度、模型各自生成不真正交互、投票存在风格偏好的问题。
Hugging Face BlogAI 评分3232 Hugging Face 详解 LayerSkip 自推测解码：用早期层草稿加速文本生成
Hugging Face 博客介绍了源自 LayerSkip 论文的自推测解码（self-speculative decoding）：用同一 LLM 的浅层生成草稿 token、深层负责验证，无需额外草稿模型即可同时提升速度并节省显存。
Hugging Face BlogAI 评分5858 Hugging Face 与 Intel Labs 提出 Universal Assisted Generation：任意辅助模型加速解码
Hugging Face 与 Intel Labs 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型可以搭配任意模型家族的更小辅助模型，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
Hugging Face Blog精选AI 评分6868 Transformers.js v3 发布：支持 WebGPU、新模型与量化格式
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称推理速度最高比 WASM 快 100 倍，只需在加载模型时设置 device: 'webgpu'。
推荐理由：官方发布浏览器端推理库大版本，WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face BlogAI 评分4242 Llama 3.2 已在 Keras 中可用
Llama 3.2 的 Keras 支持从发布第一天起就已可用，可直接从 HF 标准 safetensors checkpoint 加载，包括 3.2 checkpoint，需要转换时会即时完成。
OpenAI NewsAI 评分4646 用 OpenAI o1 模型解决复杂问题
OpenAI 发布视频，展示 o1 推理模型如何帮助编程、战略与研究等领域的复杂问题求解。
Hugging Face BlogAI 评分5353 Hugging Face 发布动态投机解码，辅助生成最高加速 2.7 倍
Hugging Face 博客介绍了与 Intel Labs 共同开发的动态投机解码方法，已集成进 Transformers 4.45.0，并成为辅助生成的默认工作模式。
Hugging Face BlogAI 评分3636 一次失败的实验：Infini-Attention，以及我们为何仍应继续尝试？
Hugging Face 复现 Google 的 Infini-Attention 时发现，随着记忆压缩次数增加，模型性能持续下降，团队约 90% 的时间都花在调试一个收敛问题上。作者认为，ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face BlogAI 评分5959 TII 发布 Falcon Mamba 7B：首个强性能无注意力机制模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层，以 5500GT 数据训练，权重以 TII Falcon Mamba 7B License 1.0 开源。
Hugging Face BlogAI 评分3434 基于 NVIDIA NIM 的 HF Mirror 无服务器推理 API 发布，支持 Llama 与 Mistral
HF Mirror 面向 Enterprise Hub 组织推出 NVIDIA NIM API（无服务器），可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face Blog精选AI 评分8585 Llama 3.1 发布 405B、70B 与 8B 版本，支持多语言与长上下文
Hugging Face 上线 Meta Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口，便于据此评估部署成本。
Hugging Face BlogAI 评分5858 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。
Hugging Face BlogAI 评分2323 Hugging Face 为 Intel Gaudi 优化辅助生成，加速文本生成
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可获得约 2x 加速，同时保持与自回归采样相同的采样质量。
Hugging Face BlogAI 评分3939 Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性
Hugging Face 排行榜与评测团队发现，MMLU 等任务的评测结果对 prompt 格式极为敏感，同一模型在不同格式下准确率可相差约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作，用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构，希望从输出端而非输入端减少 prompt 格式带来的方差。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Open Chain of Thought Leaderboard，按 CoT 准确率增益评测 LLM
Hugging Face 发布 Open Chain of Thought Leaderboard，不评测模型绝对准确率，而是衡量启用与不启用 chain-of-thought 提示后的准确率差值 Δ。榜单覆盖 LogiQA、LSAT 及 AGIEval 中的推理任务，均以多选题形式呈现，CoT 生成采用模块化提示链，已实现 Classic 与 Reflect 两种策略。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2（7b、13b、70b）文本生成，并支持 DeepSpeed 分布式推理与 LangChain 集成。
Hugging Face BlogAI 评分2828 Hugging Face 上线 NPHardEval 排行榜：用复杂度类评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类量化评估 LLM 推理能力。
Hugging Face BlogAI 评分2626 PatchTST 时间序列 Transformer 在 HF Mirror 上的上手实践
Hugging Face 博客给出 PatchTST 在 HF Mirror 上的使用示例，先在 Electricity 数据集上训练并评估预测效果，再用预训练模型对 ETTh1 数据集做零样本预测。
Hugging Face Blog精选AI 评分8080 Mistral 发布 Mixtral 8x7B 开源 MoE 模型，Hugging Face 全面接入
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，含 base 与 Instruct 版本，支持 32k token 上下文，HumanEval 得分 40.2%，在多数基准上追平或超过 GPT-3.5，并以 Apache 2.0 许可开放。
推荐理由：Mistral 开源 MoE 模型登顶开放权重榜，文中量化数据可帮助读者判断本地部署门槛。
Hugging Face BlogAI 评分5353 Hugging Face 与 AMD 合作：Transformers 与 TGI 实现 AMD GPU 开箱即用加速
Hugging Face 与 AMD 推进合作，现已支持在 AMD Instinct GPU 上无需修改代码运行全部 Transformers 模型和任务，并初步支持 Text Generation Inference（TGI）在 MI210、MI250 上部署。
Hugging Face BlogAI 评分3737 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 做文本生成，可通过 Neuron DLAMI 使用或手动安装。官方在 hub 上传了 Llama 2 7B 和 13B 的预编译版本，按预算、延迟、吞吐三种配置编译，最大序列长度 2048，支持贪心搜索与 top-k、top-p 采样。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分5050 Hugging Face 详解如何优化 LLM 生产环境部署
Hugging Face 发布博客，梳理在生产环境高效部署 LLM 的三类关键技术：8-bit 和 4-bit 低精度、Flash Attention，以及 Alibi、Rotary embeddings、Multi-Query Attention（MQA）和 Grouped-Query-Attention（GQA）等架构改进。