如何在 🤗 Transformers 中用 Wav2Vec2 对超长音频做语音识别
Hugging Face 介绍了利用 Wav2Vec2 的 CTC 结构在 Transformers 中对任意长音频做语音识别的方法，通过在 pipeline 中设置 chunk_length_s 和 stride_length_s 实现带步长的重叠分块推理，避免长文件直接推理时显存溢出，同时保留 chunk 边界的上下文。
#Hugging Face
#Hugging Face
今日 1 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分2222 Hugging Face 上线 huggingface_hub 增强版 Hub 搜索 API
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter，让用户直接在 Python 或 Jupyter 中按 pipeline 任务、数据集、框架等条件搜索 Hub 上的模型和数据集。
Hugging Face BlogAI 评分2626 Stable-Baselines3 集成至 Hugging Face Hub
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hub，模型可直接上传和加载。
Hugging Face BlogAI 评分2727 HF Mirror Infinity 案例研究：在现代 CPU 上实现毫秒级延迟
HF Mirror 公布 Infinity 推理方案在 Intel Ice Lake 版 Amazon EC2 C6i 实例上的实测结果：用 Infinity Multiverse 优化 DistilBERT 后，延迟与吞吐较 cascade-lake 实例最高提升 34%，较原生 Transformers 最高提升 800%。
Hugging Face BlogAI 评分3636 在 🤗 Transformers 中用 n-gram 语言模型提升 Wav2Vec2 识别效果
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode，可将 n-gram 语言模型与已微调的 Wav2Vec2 检查点结合做语音解码。
Hugging Face BlogAI 评分3333 用 HuggingFace Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理
HuggingFace 博客介绍如何用 Amazon SageMaker 和 HuggingFace Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 做实时推理，可在 NVIDIA T4 GPU 实例（约 500 美元/月）上运行。
Hugging Face BlogAI 评分3838 如何用 AutoNLP 和 Prodigy 搭建主动学习流水线
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可以组合成主动学习流水线：用 Prodigy 人工标注数据，再用 AutoNLP 训练模型。在 Kaggle 的 BBC News Classification 数据集上，AutoNLP 训练 15 个多分类模型后最佳模型准确率达 98.67%，价格低至每个模型 $10。
Hugging Face BlogAI 评分5959 Gradio 加入 Hugging Face
Gradio 联合创始人宣布，Hugging Face 已收购机器学习初创公司 Gradio。他回顾 2019 年在斯坦福读书时因难以与不会 Python 的医生协作者分享医学计算机视觉模型而创建 Gradio，此后扩展到文本、语音和视频领域，目前已有超过 30 万个 demo 使用该库构建。
Hugging Face Blog精选AI 评分6161 Hugging Face 将 Perceiver IO 加入 Transformers，支持任意模态
Hugging Face 将 Perceiver IO 加入 Transformers，这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型，随模型提供图像分类与光流预测示例和多个 notebook。
推荐理由：原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例，读者可据此判断跨模态统一架构的可用性。
Hugging Face BlogAI 评分3737 Hugging Face 从零训练 GPT-2 模型 CodeParrot，自动补全 Python 代码
Hugging Face 发布教程，介绍如何从零训练 1.5B 参数的 GPT-2 large 模型 CodeParrot，用于自动补全 Python 代码。团队从 GitHub 数据中过滤出 180 GB、2000 万个 Python 文件，去重清洗后得到 50GB 数据集 codeparrot-clean，并基于 GPT-2 分词器在代码上重新训练。
Hugging Face BlogAI 评分2727 Hugging Face 推出首个 ML-Agents 环境 Snowball Fight ☃️
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1，玩家可在该 Unity ML-Agents 游戏中向深度强化学习智能体投掷雪球，环境已托管于 Hugging Face Spaces 并可在线试玩。训练环境已开源发布在 Hugging Face Hub，后续将推出技术教程及采用 MA-POCA 算法的 2vs2 协作版本。
Hugging Face BlogAI 评分2525 用 Optimum 在 Graphcore IPU 上快速上手 Transformer 模型
HF Mirror 与 Graphcore 合作推出 Optimum，可通过 PopTorch 在 Graphcore IPU 上加速 Transformer 模型，BERT 是首个 IPU 优化的模型。
Hugging Face BlogAI 评分3232 Hugging Face 推出 Data Measurements Tool：交互式数据集分析工具
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 搭配 Streamlit 构建，可在线构建、测量和对比数据集。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 XLSR-Wav2Vec2 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 Wav2Vec2-XLS-R-300M 微调为低资源 ASR 模型，并在仅约 4 小时验证训练数据的 Common Voice 土耳其语数据集上采用 CTC 训练。
Hugging Face BlogAI 评分2121 Hugging Face 详解如何在现代 CPU 上扩大 BERT 类模型推理规模（下）
Hugging Face 博客第二部分聚焦 CPU 软件优化，介绍 Intel oneAPI 系列组件（oneMKL、oneDNN、oneCCL、OpenMP、oneTBB）以及 Intel TensorFlow、Intel PyTorch Extension 等定制框架。
Hugging Face BlogAI 评分2727 大语言模型：一条新的摩尔定律？
微软与 NVIDIA 发布 Megatron-Turing NLG 530B，被称为全球最大最强的生成式语言模型，训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型的价值，认为基准提升有限却带来高昂成本、复杂度与碳足迹，并建议改用预训练模型、更小模型（如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%）和微调来落地机器学习。
Hugging Face BlogAI 评分2020 HuggingFace 课程第二部分 11 月 15 日发布，同步举办社区活动
HuggingFace 课程第二部分将于 11 月 15 日发布，聚焦 token 分类、语言建模、翻译、摘要和问答等 NLP 任务，并深入讲解 Datasets 与 Tokenizers。配套社区活动含两天讲座与团队微调项目，AWS 通过 Amazon SageMaker 提供免费算力，完成 demo 可获结业证书。
Hugging Face BlogAI 评分4040 Hugging Face 用 10 亿句对训练句嵌入模型
Hugging Face 在社区周活动中用 10 亿句对训练出 SOTA 句嵌入模型，训练跑在 7 块 TPU v3-8 上。方法采用批内负样本的对比学习目标，配合大批次、难负样本和跨数据集批次提升质量。模型与数据集已在模型卡中开源。
Hugging Face BlogAI 评分1717 机器学习即代码的时代已经到来
Hugging Face 发文称，机器学习正走向「软件吞噬机器学习」：DevOps 的版本管理、测试、自动化与部署实践应被数据科学团队直接采纳，MLOps 让模型更快进入生产环境。
Hugging Face BlogAI 评分2828 用遥感（卫星）图像和描述微调 CLIP
一个跨 12 个时区的团队用 RSICD 遥感数据集微调了 OpenAI 的 CLIP 模型，并辅以 UCM、Sydney 数据集，共约 1 万张来自 Google Earth、百度地图等来源的卫星图像，每张最多配 5 条描述。
Hugging Face BlogAI 评分2525 用 Gradio 在 Hugging Face Spaces 展示你的机器学习项目
Hugging Face 博客介绍如何用 Gradio 在 Spaces 中托管模型演示：通过 gr.Interface.load() 调用 Inference API 加载 Hub 上的模型，几行代码即可运行，支持 image-to-text、speech-to-text、text-to-speech 等类型。
Hugging Face BlogAI 评分2222 用 Streamlit 在 HF Mirror Spaces 上托管模型与数据集
HF Mirror 发布博客介绍如何用 Streamlit 在 HF Mirror Spaces 中托管模型和数据集，并以复刻 "Write with Transformer" 为例演示用 GPT-2、XLNet 构建文本生成 Demo。
Hugging Face BlogAI 评分2222 Hugging Face 夏季回顾：Spaces 测试版、Hub 模型破 1.6 万
Hugging Face 夏季更新中，Hub 公开模型仓库从 1 万个增至超 1.6 万个，并推出托管 ML 演示应用的 Spaces 测试版，支持 Gradio 和 Streamlit。
Hugging Face BlogAI 评分3333 Hugging Face 与 Graphcore 合作，为 IPU 优化 Transformer 模型
Hugging Face 在 2021 AI Hardware Summit 上宣布启动硬件合作伙伴计划，Graphcore 作为创始成员参与，开发者可借助新开源库 Optimum 在 IPU 上部署经认证的硬件优化 Transformer 模型。首批 IPU 优化模型将于今年晚些时候上线 Optimum，覆盖视觉、语音、翻译与文本生成等场景。
Hugging Face BlogAI 评分5252 Hugging Face 发布 Optimum：面向规模化 Transformer 的优化工具包
Hugging Face 发布开源库 Optimum，目标是提供 Transformer 生产性能的优化工具包，让工程师能在特定硬件上高效训练和运行模型。
Hugging Face BlogAI 评分5959 Hugging Face 提出 DeDLOC 协同训练方法，40 名志愿者预训练出孟加拉语模型 sahajBERT
Hugging Face 博客介绍分布式协同训练方法 DeDLOC，可自适应参与者的网络与硬件条件，并已用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
Hugging Face BlogAI 评分5252 HF Mirror Hub 接入 spaCy，支持一键上传与在线推理
HF Mirror 宣布支持 spaCy，用户可用单条命令上传 pipeline 包，自动生成 model card 和元数据。spaCy 组织下已托管超过 60 个来自 3.1 版本的官方模型，Inference API 目前开箱支持 NER，未来将加入文本分类和 POS。模型可直接 pip install，也可通过 API 或浏览器交互调用。
Hugging Face BlogAI 评分5252 Hugging Face 推出 SageMaker 推理 DLC，一行代码部署 Transformer 模型
Hugging Face 与 Amazon 合作推出 Hugging Face Inference DLC 和 SageMaker Inference Toolkit，可部署在 SageMaker 中训练的模型，也可直接从 Model Hub 的 10,000+ 公开模型中选取并部署。
Hugging Face BlogAI 评分3333 Hugging Face Hub 集成 Sentence Transformers 并新增嵌入与相似度组件
Hugging Face Hub 集成 Sentence Transformers，随 v2 版本上线 90 多个预训练模型，覆盖 100 多种语言，可在 Hub 中直接加载使用。Hub 新增 feature-extraction 与句相似度两个 widget，并提供 Inference API 供程序化调用，模型可通过 save_to_hub 一键分享并自动生成 model card。
Hugging Face BlogAI 评分2626 GPT-Neo 实测：如何用 🤗 Accelerated Inference API 做 Few-Shot Learning
Hugging Face 发布实践指南，演示如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 完成 NLP 少样本（Few-Shot）预测。
Hugging Face BlogAI 评分3939 用 Gradio 2.0 加载与混搭 Hugging Face 模型
Gradio 2.0 发布，可用 1 行代码为 Hugging Face Model Hub 上超过 1 万个模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地跑 transformers。该版本支持将多个模型并行或串联组合，例如用 3 行代码搭建翻译加摘要的应用。
Hugging Face BlogAI 评分4444 HF Mirror 如何用 CPU 扩展 BERT 推理（上）：从基线到多核与批大小扩展
HF Mirror 发布系列博客第一篇，讲如何用 CPU 优化 BERT 类模型推理，本篇聚焦硬件层面：基线测试、现代 CPU 技术考量、核心数扩展和批大小扩展。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Accelerate 库，让原始 PyTorch 训练脚本直接跑分布式与混合精度
Hugging Face 发布 Accelerate 库，面向希望完全控制训练循环的 PyTorch 用户，用五行代码改动即可在任意设备上运行原始训练脚本，支持多节点多 GPU、TPU 与混合精度。
Hugging Face BlogAI 评分3535 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经 🤗 Transformers 优化的深度学习容器，并可通过 SageMaker Python SDK 中的 HuggingFace estimator 一行代码启动训练。
Hugging Face BlogAI 评分2929 理解 BigBird 的块稀疏注意力机制
BigBird 采用块稀疏注意力替代 BERT 的全局注意力，可处理长度达 4096 的序列，计算成本远低于 BERT，并在长文档摘要、长上下文问答等任务上达到 SOTA。其 RoBERTa 类模型已上线 🤗Transformers。该注意力是 BERT 全注意力的近似，目标不是更优而是更高效，通过滑动注意力、全局 token 和随机 token 三种方式捕捉局部与长程依赖。
Hugging Face BlogAI 评分3838 Hugging Face 与 Amazon 达成战略合作，在 SageMaker 中推出 HF Mirror 深度学习容器
Hugging Face 与 Amazon 达成战略合作，并采用 AWS 作为首选云服务商，双方推出 HF Mirror Deep Learning Containers，让用户可在 Amazon SageMaker 中训练 Hugging Face Transformer 模型。
Hugging Face BlogAI 评分1111 我的无服务器 Transformers 情感分析部署之旅：从 Google Cloud 到 Cloud Run
社区成员 Maxence Dominici 将 Transformers 情感分析 pipeline 部署到 Google Cloud，最终方案基于 DistilBERT base uncased finetuned SST-2 模型，用 PyTorch 加载，通过 Flask 提供 GET 接口并打包为 Docker 镜像运行在 Cloud Run 上。
Hugging Face BlogAI 评分2222 在 Hugging Face 上用 🤗 Transformers 微调 Wav2Vec2 实现英语 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 在 Hugging Face 上微调 Wav2Vec2 预训练模型做英语 ASR，全程不使用语言模型。教程以仅含 5 小时训练数据的 Timit 数据集微调 base 版 checkpoint，采用 CTC 算法，并用 WER 评估。
Hugging Face BlogAI 评分2323 Hugging Face 读书会：2021 年 2 月长程 Transformer 专题
Hugging Face 2 月读书会聚焦 Transformer 的长程注意力，围绕 Longformer、Compressive Transformer、Linformer、Performer 四条路线展开。Longformer 用局部窗口加全局注意力替代标准自注意力，把显存占用从 n² 降到 wn，可线性扩展序列长度，并直接复用预训练权重微调长文档任务。
Hugging Face BlogAI 评分3232 构建花哨神经网络的简单注意事项：Hugging Face 工程师的调试心得
Hugging Face 工程师分享了构建与调试神经网络的三个心得：先放下机器学习、专注观察数据本身（标签平衡、噪声来源、预处理方式）；再回到入门心态跑通逻辑回归、fastText 等简单 baseline 以评估任务难度；最后别怕拆开那些五行代码模板，通过在小批量（如 16 条）上过拟合验证实现是否正确。