Hugging Face 发布 Optimum-NVIDIA，一行代码将 LLM 推理提速至多 28 倍
Hugging Face 发布 Optimum-NVIDIA 推理库，在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由：原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据，读者可据此判断自身部署的提速空间。
开源生态
全部主题开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
177条精选相关主题模型发布Hugging FaceAI 编码
最新精选
第 141–160 条 · 共 177 条Hugging Face Blog精选AI 评分6565
Hugging Face Blog精选AI 评分8080 用 Latent Consistency LoRA 让 SDXL 4 步出图
Hugging Face 发布 LCM LoRA，把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步，方法是不蒸馏整个模型，只训练少量 LoRA 适配器，再配合 LCMScheduler 使用。
推荐理由：原文给出了 LCM LoRA 的原理、代码和跨硬件基准，读者可据此评估在现有 SDXL 流程中提速的可行性。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizer 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，并把对话历史转换为正确格式的字符串，以避免因格式不匹配导致的静默性能下降。
推荐理由：原文说明格式错配会静默拖垮模型表现，并给出把格式信息随 tokenizer 保存和加载的具体做法。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Würstchen：快速图像生成扩散模型
Würstchen 是 Hugging Face 推出的文本条件扩散模型，在高度压缩的潜空间中工作，实现 42x 空间压缩，远高于常见的 4x-8x。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断低成本图像生成模型的效率边界。
Hugging Face Blog精选AI 评分6363 Diffusers 为 SDXL 加入 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL（SDXL）加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers，并给出从零训练的配置与参数对比，便于读者评估可控生成的开销与接入方式。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face，1800 亿参数开源模型发布
TII 发布 1800 亿参数的 Falcon 180B，并在 Hugging Face 上线 base 与 chat 版本，训练使用 3.5 万亿 token，共约 7,000,000 GPU 小时。
推荐理由：TII 的 Falcon 180B 登陆 Hugging Face，原文给出与 Llama 2、PaLM-2 的评测对比和显存、量化配置门槛。
Hugging Face Blog精选AI 评分8585 Meta 发布 Code Llama：Llama 2 的代码专用版本并接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列，提供 7B、13B、34B 三个参数版本，另有 Python 专用版（额外 1000 亿 token）和指令微调版，采用与 Llama 2 相同的许可协议并允许商用。
推荐理由：梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式，方便对照选型。
Hugging Face Blog精选AI 评分6565 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 2 至 8 bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行，4-bit 量化精度损失可忽略，小批量推理速度与 fp16 基线相当。
推荐理由：原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据，可作为本地部署选型参考。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 IDEFICS：Flamingo 的开源复现多模态模型
Hugging Face 发布 IDEFICS，一个基于公开数据和模型构建的开源视觉语言模型，可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本，提供 base 和 instructed 两种变体，各有 9B 和 80B 参数规模。
推荐理由：Hugging Face 公开了 Flamingo 的开源复现细节，读者可了解其数据构成与双版本参数规模。
Hugging Face Blog精选AI 评分6161 用 TRL 的 DPO 方法微调 Llama 2
Hugging Face 的 TRL 库现已支持 Direct Preference Optimization（DPO），可直接用偏好数据优化语言模型，省去奖励模型和 RL 优化两步。
推荐理由：TRL 官方给出 DPO 原理与可复用代码，读者可照着在自有偏好数据上完成对齐训练。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Agents.js：用 JavaScript 为 LLM 提供工具能力
Hugging Face 发布 Agents.js，一个在浏览器或 Node 中为 LLM 提供工具调用的 JavaScript 库，可通过 npm install @huggingface/agents 安装。
推荐理由：Hugging Face 官方发布 JS 智能体库，可了解其工具调用方式与自定义扩展路径。
Hugging Face Blog精选AI 评分7979 Meta 发布 Llama 2，Hugging Face 全面集成
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 参数规模，以宽松社区许可开放并允许商用，代码、预训练模型和微调模型同日放出。
推荐理由：文章给出了 Llama 2 的模型规格、商用许可和完整部署与微调路径，便于读者评估落地成本。
Hugging Face Blog精选AI 评分6363 如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion
Hugging Face 发布博客介绍用 Core ML 的 6-bit palettization 压缩 Stable Diffusion 权重，使模型更小、推理更快、内存占用更低。
推荐理由：原文给出 6-bit palettization 的量化收益与指标，并附自定义模型转换命令，可据此复现端侧部署与提速。
Hugging Face Blog精选AI 评分7272 Falcon 模型已接入 Hugging Face 生态
Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型，包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本，并给出在 HF 生态中运行与微调的具体做法。
推荐理由：HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求，便于在自己硬件上复现。
Hugging Face Blog精选AI 评分6161 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 博客介绍了结合 OpenVINO NNCF 量化感知训练、知识蒸馏与 Token Merging 优化 Stable Diffusion 的工作流，在 Intel CPU 上实现相比 PyTorch 5.1 倍推理加速和 4 倍模型体积缩减。
推荐理由：Intel 与 Hugging Face 给出了在 CPU 上压缩 Stable Diffusion 的完整工作流，附推理代码与可复现的量化流程。
Hugging Face Blog精选AI 评分8080 Hugging Face 用 bitsandbytes 与 4-bit 量化让 LLM 更易获取
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4-bit 量化加载模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练 LoRA 适配器。
推荐理由：Hugging Face 与 bitsandbytes 集成在 transformers 中开放 4-bit 量化，并给出可直接复用的加载与微调配置。
Hugging Face Blog精选AI 评分6060 Safetensors 通过安全审计并成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计，未发现可导致任意代码执行的关键安全漏洞，同时修复了格式规范中的若干不精确之处以及允许 polyglot 文件缺失验证的问题。
推荐理由：安全审计结果支撑 safetensors 成为 transformers 默认依赖与默认保存格式，并给出后续迁移节奏。
Hugging Face Blog精选AI 评分6464 RWKV 架构介绍：兼具 RNN 与 Transformer 优势的模型已集成进 transformers
Hugging Face 博客介绍 RWKV，一种融合 RNN 与 Transformer 优势的架构，已被集成进 transformers 库。
推荐理由：原文把 RWKV 在推理速度与显存上的取舍讲清楚，适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成，用小型助手模型降低自回归文本生成延迟
Hugging Face 发布辅助生成（Assisted Generation）解码方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，正确候选被保留，首个不一致处由主模型重新生成。
推荐理由：Hugging Face 官方给出了辅助生成在 Transformers 中的调用方式与实测延迟数据，读者可据此判断自回归解码能否借小模型降延迟。
Hugging Face Blog精选AI 评分6060 用 StarCoder 打造编程助手：Hugging Face 发布 StarChat
Hugging Face 基于 BigCode 的 16B 参数代码模型 StarCoder，用 OpenAssistant 的约 2.1 万条英文对话微调出对话式编程助手 StarChat，并公开代码、数据集与模型。
推荐理由：文章公开了 StarChat 的微调流程、数据格式与评测结果，可判断代码模型转对话助手的具体做法。