如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的文本转语音模型 Bark。基准测试中，未优化的 suno/bark-small 在 5 次生成迭代下平均耗时 9.38 秒，峰值显存占用 1.91 GB。教程涵盖 Bark 的 4 个核心模型架构解析、多种优化技术对比及 benchmark 结果展示。
#语音
#语音
今日 0 条Hugging Face BlogAI 评分3636
Hugging Face BlogAI 评分4040 微调 MMS Adapter 模型实现低资源 ASR
Hugging Face 发布博客，介绍如何用 Meta AI 的 MMS Adapter 训练低资源语音识别：仅微调约 2.5M 权重、10-20 分钟即可获得极低词错误率，比微调整个模型更省内存、更稳健。MMS 在 1400 多种语言、50 万小时以上音频上预训练，已放出 300M 和 1B 检查点，以及 102、1107、1162 种语言的 ASR adapter。
Hugging Face BlogAI 评分3535 如何在 Unity 中用 HF Mirror Unity API 实现语音识别
Hugging Face 发布教程，讲解如何借助 HF Mirror Unity API 在 Unity 中实现语音识别，把玩家说的话转成文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示搭建含开始/停止按钮和 TextMeshPro 文本框的场景，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送给 API 识别。
Hugging Face BlogAI 评分5858 Hugging Face 在 Transformers 中集成 SpeechT5 语音模型
Hugging Face 宣布 SpeechT5 正式集成进 Transformers，官方权重已发布在 HF Mirror Hub，并提供语音合成、音色转换和语音识别三个在线 demo。
Hugging Face BlogAI 评分3434 Hugging Face 音频数据集完全指南：用 🤗 Datasets 一行代码加载与处理
Hugging Face 发布音频数据集使用指南，介绍如何用 🤗 Datasets 的 load_dataset 一行代码下载并准备音频数据。加载 GigaSpeech 时只需指定 speechcolab/gigaspeech 与 xs 配置，即可得到已划分好的 train（9389 行）、validation（6750 行）和 test（25619 行）三个 split。
Hugging Face BlogAI 评分4444 用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 微调 OpenAI 的 Whisper 做多语言 ASR。
Hugging Face BlogAI 评分3838 如何在 🤗 Transformers 中用 Wav2Vec2 对超长音频做语音识别
Hugging Face 介绍了利用 Wav2Vec2 的 CTC 结构在 Transformers 中对任意长音频做语音识别的方法，通过在 pipeline 中设置 chunk_length_s 和 stride_length_s 实现带步长的重叠分块推理，避免长文件直接推理时显存溢出，同时保留 chunk 边界的上下文。
Hugging Face BlogAI 评分3636 在 🤗 Transformers 中用 n-gram 语言模型提升 Wav2Vec2 识别效果
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode，可将 n-gram 语言模型与已微调的 Wav2Vec2 检查点结合做语音解码。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 XLSR-Wav2Vec2 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 Wav2Vec2-XLS-R-300M 微调为低资源 ASR 模型，并在仅约 4 小时验证训练数据的 Common Voice 土耳其语数据集上采用 CTC 训练。
Hugging Face BlogAI 评分2222 在 Hugging Face 上用 🤗 Transformers 微调 Wav2Vec2 实现英语 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 在 Hugging Face 上微调 Wav2Vec2 预训练模型做英语 ASR，全程不使用语言模型。教程以仅含 5 小时训练数据的 Timit 数据集微调 base 版 checkpoint，采用 CTC 算法，并用 WER 评估。