用 Optimum 在 Graphcore IPU 上快速上手 Transformer 模型
HF Mirror 与 Graphcore 合作推出 Optimum，可通过 PopTorch 在 Graphcore IPU 上加速 Transformer 模型，BERT 是首个 IPU 优化的模型。
全部AI 动态
全部动态
今日 2 条Hugging Face BlogAI 评分2525
Hugging Face BlogAI 评分2121 用 Intel 技术加速 PyTorch 分布式微调
在 Intel Xeon Scalable 处理器（Ice Lake 架构）集群上运行 PyTorch 分布式微调，可将 BERT 模型在 MRPC 数据集上的训练任务从单机扩展到 2 台、4 台服务器并测量加速比。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 XLSR-Wav2Vec2 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 Wav2Vec2-XLS-R-300M 微调为低资源 ASR 模型，并在仅约 4 小时验证训练数据的 Common Voice 土耳其语数据集上采用 CTC 训练。
Hugging Face BlogAI 评分2121 Hugging Face 详解如何在现代 CPU 上扩大 BERT 类模型推理规模（下）
Hugging Face 博客第二部分聚焦 CPU 软件优化，介绍 Intel oneAPI 系列组件（oneMKL、oneDNN、oneCCL、OpenMP、oneTBB）以及 Intel TensorFlow、Intel PyTorch Extension 等定制框架。
Hugging Face BlogAI 评分2828 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD 遥感数据集微调了 OpenAI 的 CLIP 模型，并辅以 UCM、Sydney 数据集，共约 1 万张来自 Google Earth、百度地图等来源的卫星图像，每张最多配 5 条描述。
Hugging Face BlogAI 评分2222 用 Streamlit 在 HF Mirror Spaces 上托管模型与数据集
HF Mirror 发布博客介绍如何用 Streamlit 在 HF Mirror Spaces 中托管模型和数据集，并以复刻 "Write with Transformer" 为例演示用 GPT-2、XLNet 构建文本生成 Demo。
Hugging Face BlogAI 评分2626 GPT-Neo 实测：如何用 🤗 Accelerated Inference API 做 Few-Shot Learning
Hugging Face 发布实践指南，演示如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 完成 NLP 少样本（Few-Shot）预测。
Hugging Face BlogAI 评分3939 用 Gradio 2.0 加载与混搭 Hugging Face 模型
Gradio 2.0 发布，可用 1 行代码为 Hugging Face Model Hub 上超过 1 万个模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地跑 transformers。该版本支持将多个模型并行或串联组合，例如用 3 行代码搭建翻译加摘要的应用。
Hugging Face BlogAI 评分4444 HF Mirror 如何用 CPU 扩展 BERT 推理（上）：从基线到多核与批大小扩展
HF Mirror 发布系列博客第一篇，讲如何用 CPU 优化 BERT 类模型推理，本篇聚焦硬件层面：基线测试、现代 CPU 技术考量、核心数扩展和批大小扩展。
Hugging Face BlogAI 评分3535 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经 🤗 Transformers 优化的深度学习容器，并可通过 SageMaker Python SDK 中的 HuggingFace estimator 一行代码启动训练。
Hugging Face BlogAI 评分2929 理解 BigBird 的块稀疏注意力机制
BigBird 采用块稀疏注意力替代 BERT 的全局注意力，可处理长度达 4096 的序列，计算成本远低于 BERT，并在长文档摘要、长上下文问答等任务上达到 SOTA。其 RoBERTa 类模型已上线 🤗Transformers。该注意力是 BERT 全注意力的近似，目标不是更优而是更高效，通过滑动注意力、全局 token 和随机 token 三种方式捕捉局部与长程依赖。
Hugging Face BlogAI 评分1111 我的无服务器 Transformers 情感分析部署之旅：从 Google Cloud 到 Cloud Run
社区成员 Maxence Dominici 将 Transformers 情感分析 pipeline 部署到 Google Cloud，最终方案基于 DistilBERT base uncased finetuned SST-2 模型，用 PyTorch 加载，通过 Flask 提供 GET 接口并打包为 Docker 镜像运行在 Cloud Run 上。
Hugging Face BlogAI 评分2222 在 Hugging Face 上用 🤗 Transformers 微调 Wav2Vec2 实现英语 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 在 Hugging Face 上微调 Wav2Vec2 预训练模型做英语 ASR，全程不使用语言模型。教程以仅含 5 小时训练数据的 Timit 数据集微调 base 版 checkpoint，采用 CTC 算法，并用 WER 评估。
Hugging Face BlogAI 评分2323 Hugging Face 读书会：2021 年 2 月长程 Transformer 专题
Hugging Face 2 月读书会聚焦 Transformer 的长程注意力，围绕 Longformer、Compressive Transformer、Linformer、Performer 四条路线展开。Longformer 用局部窗口加全局注意力替代标准自注意力，把显存占用从 n² 降到 wn，可线性扩展序列长度，并直接复用预训练权重微调长文档任务。
Hugging Face BlogAI 评分3232 构建花哨神经网络的简单注意事项：Hugging Face 工程师的调试心得
Hugging Face 工程师分享了构建与调试神经网络的三个心得：先放下机器学习、专注观察数据本身（标签平衡、噪声来源、预处理方式）；再回到入门心态跑通逻辑回归、fastText 等简单 baseline 以评估任务难度；最后别怕拆开那些五行代码模板，通过在小批量（如 16 条）上过拟合验证实现是否正确。
Hugging Face BlogAI 评分3333 Hugging Face Transformers 与 Ray 集成：RAG 文档检索提速 2 倍
Hugging Face Transformers 与 Ray 集成，用于 RAG 的上下文文档检索，单次检索调用相比 torch.distributed 实现提速 2 倍，并提升了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分5757 HF Mirror 支持用 PyTorch/XLA 在 Cloud TPU 上训练 Transformer
HF Mirror 与 PyTorch/XLA 团队合作，将 Cloud TPU 训练支持集成进 HF Mirror 库，用户可在保持原有 Trainer 接口不变的情况下把模型跑在 Cloud TPU 上。
Hugging Face BlogAI 评分5252 用 DeepSpeed 和 FairScale 的 ZeRO 装下更大模型并加快训练
Hugging Face 的 transformers v4.2.0 起通过 Trainer 新增的 --sharded_ddp 和 --deepspeed 参数，实验性支持 FairScale 和 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分2828 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的高效方法，先获得约 10 倍推理加速，再针对目标硬件编译并优化模型，最终实现 100 倍提速。其中 Tokenizers 借助 Rust 实现与缓存，可将整体延迟最多降低 10 倍；后 10 倍则依赖图优化、层融合与量化等 CPU 或 GPU 专属手段，这一提速是实时消费级应用可接受延迟的门槛。
Hugging Face BlogAI 评分2626 如何用预训练语言模型 checkpoint 热启动 Encoder-Decoder 模型
Hugging Face 发布教程，详解如何用 BERT、GPT2 等预训练 encoder 或 decoder checkpoint 热启动 encoder-decoder 模型，跳过昂贵的预训练。
Hugging Face BlogAI 评分3333 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客记录了将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 的过程，作者 Stas Bekman 在 Sam Shleifer 建议下完成移植，并新增 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。
Hugging Face BlogAI 评分4949 HF Mirror Transformers 与 Ray Tune 集成实现超参数搜索
HF Mirror Transformers 在 3.1 版本中与 Ray Tune 集成，用户可通过 Trainer 的 hyperparameter_search 接口调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法。
Hugging Face BlogAI 评分2525 Hugging Face 详解 Transformer 编码器-解码器模型及其推理原理
Hugging Face 发布博客，详解 Transformer 编码器-解码器架构如何建模序列到序列问题，重点拆解编码器与解码器两部分及其在推理中的用法。文章指出 T5、Bart、Pegasus、ProphetNet、Marge 等模型虽在预训练目标上各有研究，但架构基本未变，并展示了如何在 🤗Transformers 中进行推理。
Hugging Face BlogAI 评分3434 Hugging Face 发布 pytorch_block_sparse，用块稀疏矩阵打造更小更快的语言模型
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替代 torch.nn.Linear，让网络更小更快。
Hugging Face BlogAI 评分4646 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 模型如何以不到 8GB 内存训练长达 50 万 token 的序列，而 bert-base-uncased 的输入长度上限仅 512 token。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：语言生成的不同解码方法
Hugging Face 博客介绍了自回归语言生成的几种主流解码方法，包括贪心搜索、beam search、采样、Top-K 与 Top-p（nucleus）采样，并给出在 transformers 库中用 GPT2 实现每种方法的代码示例。
推荐理由：系统梳理贪心、beam search 与多种采样策略的取舍，并给出可直接运行的 transformers 代码示例。
Hugging Face BlogAI 评分4545 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 演示了用改进后的 transformers 和 tokenizers 库从零训练语言模型：构建 84M 参数（6 层、768 隐藏维度、12 个注意力头，与 DistilBERT 层数头数相同）的 EsperBERTo，在 3 GB 世界语语料上预训练，并微调词性标注任务。