Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。
#推理
#推理
今日 1 条Hugging Face BlogAI 评分3030
Hugging Face BlogAI 评分2424 Transformers 对时间序列预测确实有效：Hugging Face 回应 DLinear 质疑并加入 Autoformer
Hugging Face 用实验反驳 AAAI 2023 论文对 Transformers 的质疑，指出 DLinear 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 均逊于 Autoformer（如 0.965 对 0.910）。
Hugging Face Blog精选AI 评分6464 RWKV 架构介绍：兼具 RNN 与 Transformer 优势的模型已集成进 transformers
Hugging Face 博客介绍 RWKV，一种融合 RNN 与 Transformer 优势的架构，已被集成进 transformers 库。
推荐理由：原文把 RWKV 在推理速度与显存上的取舍讲清楚，适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face BlogAI 评分4141 BLOOMZ 在 Habana Gaudi2 上的快速推理：176B 模型快于 A100 80GB
Habana Gaudi2 在 176B 参数 BLOOMZ 上推理延迟为 3.103 秒，比 Nvidia A100 80GB 的 4.402 秒快 1.42 倍，7B 版本则快 2.89 倍。
Hugging Face BlogAI 评分3939 Hugging Face 在 Transformers 中上线 Informer，支持多变量概率时间序列预测
Hugging Face 将 AAAl21 最佳论文提出的 Informer 模型集成进 🤗 Transformers，用于多变量概率时间序列预测，即预测未来时间序列目标值向量的分布。
Hugging Face BlogAI 评分3434 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理性能实测（第二部分）
Hugging Face 与 Intel 实测在 Sapphire Rapids 服务器上搭配 Optimum Intel 和 Intel Extension for PyTorch 运行 PyTorch Transformers 推理。
Hugging Face BlogAI 评分3434 对话式 AI 智能体如何变得有用？解析 RLHF、IFT、CoT 等关键技术
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术，包括 RLHF、IFT、SFT、CoT 与红队测试，并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face BlogAI 评分2525 Hugging Face 教程：用同态加密在加密数据上做情感分析
Hugging Face 发布教程，演示如何借助 Concrete-ML 库在全同态加密（FHE）设置下对加密数据做情感分析。方案用基于 Stanford Sentiment Treebank 微调的 BERT 提取文本隐藏表示（768 维），再交给 XGBoost 分类，并给出基于客户端/服务器协议的云端部署及 HF Mirror Spaces demo。
Hugging Face BlogAI 评分4141 用 TensorFlow 和 XLA 加速文本生成，最高提速 100 倍
Hugging Face 的 transformers 库现在支持用 XLA 编译 TensorFlow 文本生成，速度最高提升 100 倍，甚至快于 PyTorch。该功能要求 transformers >= 4.21.0，可通过 do_sample、temperature、num_beams、max_new_tokens 等参数控制采样与贪心解码、束搜索等生成方式。
Hugging Face BlogAI 评分3434 Hugging Face 指南：如何用 Inference API 对 Twitter 推文做情感分析
Hugging Face 发布 Twitter 情感分析入门指南，用 Inference API 几行代码即可批量判断推文的正负面与中性倾向。文中同时给出无代码方案：用 Zapier 抓取推文、调用 Inference API 分析并输出到 Google Sheets。示例项目以 Tweepy 抓取 @NotionHQ 相关推文，再用 Matplotlib 和 WordCloud 可视化结果。
Hugging Face BlogAI 评分4747 Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，加速 ONNX Runtime 推理
Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，可借助 ONNX Runtime 加速模型推理。
Hugging Face BlogAI 评分3434 Hugging Face 在 transformers 库和 Hub 中集成 Decision Transformer
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hub，并发布 Gym 环境下 Walker2d、Hopper、Halfcheetah 等连续控制任务的 9 个预训练 checkpoint。
Hugging Face BlogAI 评分2121 Hugging Face 详解如何在现代 CPU 上扩大 BERT 类模型推理规模（下）
Hugging Face 博客第二部分聚焦 CPU 软件优化，介绍 Intel oneAPI 系列组件（oneMKL、oneDNN、oneCCL、OpenMP、oneTBB）以及 Intel TensorFlow、Intel PyTorch Extension 等定制框架。
Hugging Face BlogAI 评分4444 HF Mirror 如何用 CPU 扩展 BERT 推理（上）：从基线到多核与批大小扩展
HF Mirror 发布系列博客第一篇，讲如何用 CPU 优化 BERT 类模型推理，本篇聚焦硬件层面：基线测试、现代 CPU 技术考量、核心数扩展和批大小扩展。
Hugging Face BlogAI 评分2929 理解 BigBird 的块稀疏注意力机制
BigBird 采用块稀疏注意力替代 BERT 的全局注意力，可处理长度达 4096 的序列，计算成本远低于 BERT，并在长文档摘要、长上下文问答等任务上达到 SOTA。其 RoBERTa 类模型已上线 🤗Transformers。该注意力是 BERT 全注意力的近似，目标不是更优而是更高效，通过滑动注意力、全局 token 和随机 token 三种方式捕捉局部与长程依赖。
Hugging Face BlogAI 评分2323 Hugging Face 读书会：2021 年 2 月长程 Transformer 专题
Hugging Face 2 月读书会聚焦 Transformer 的长程注意力，围绕 Longformer、Compressive Transformer、Linformer、Performer 四条路线展开。Longformer 用局部窗口加全局注意力替代标准自注意力，把显存占用从 n² 降到 wn，可线性扩展序列长度，并直接复用预训练权重微调长文档任务。
Hugging Face BlogAI 评分3232 HF Mirror Transformers 中的 TensorFlow 模型提速
HF Mirror Transformers 发布了 TensorFlow 模型的计算性能改进，BERT、RoBERTa、ELECTRA 和 MPNet 在 graph/eager 模式、TF Serving 及 CPU/GPU/TPU 上均获得加速。
Hugging Face BlogAI 评分2828 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的高效方法，先获得约 10 倍推理加速，再针对目标硬件编译并优化模型，最终实现 100 倍提速。其中 Tokenizers 借助 Rust 实现与缓存，可将整体延迟最多降低 10 倍；后 10 倍则依赖图优化、层融合与量化等 CPU 或 GPU 专属手段，这一提速是实时消费级应用可接受延迟的门槛。
Hugging Face BlogAI 评分2525 Hugging Face 详解 Transformer 编码器-解码器模型及其推理原理
Hugging Face 发布博客，详解 Transformer 编码器-解码器架构如何建模序列到序列问题，重点拆解编码器与解码器两部分及其在推理中的用法。文章指出 T5、Bart、Pegasus、ProphetNet、Marge 等模型虽在预训练目标上各有研究，但架构基本未变，并展示了如何在 🤗Transformers 中进行推理。
Hugging Face BlogAI 评分4646 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 模型如何以不到 8GB 内存训练长达 50 万 token 的序列，而 bert-base-uncased 的输入长度上限仅 512 token。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：语言生成的不同解码方法
Hugging Face 博客介绍了自回归语言生成的几种主流解码方法，包括贪心搜索、beam search、采样、Top-K 与 Top-p（nucleus）采样，并给出在 transformers 库中用 GPT2 实现每种方法的代码示例。
推荐理由：系统梳理贪心、beam search 与多种采样策略的取舍，并给出可直接运行的 transformers 代码示例。