Hugging Face 研究量化语音识别中的基准优化问题
Hugging Face 发布研究,提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型,发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写,被静音的年份甚至被补全为 2011。
推荐理由:文章用三类探针量化 ASR 模型对基准本身的过拟合,并给出可复用的检出方法。
Hugging Face 发布研究,提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型,发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写,被静音的年份甚至被补全为 2011。
推荐理由:文章用三类探针量化 ASR 模型对基准本身的过拟合,并给出可复用的检出方法。
Hume 推出 Real World VoiceEQ 语音 AI 基准,覆盖 40 多个主流闭源与开源语音模型,横跨 ASR、TTS、S2S 与语音理解四类共 15+ 维度、60+ 指标。
Hugging Face 与 Treble Technologies 上线首个开放的远场 ASR 基准 FFASR Leaderboard,覆盖 14 个模拟房间,并按近场、远场高/中/低 SNR 等条件评估模型。
Hugging Face 推出端到端语音智能体评测框架 EVA,首次同时评估任务成功率与对话体验,输出 EVA-A(准确率)和 EVA-X(体验)两项分数,并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集(覆盖航班改签、取消、代金券等),并对 20 个级联与音频原生系统(如 S2S 模型、LALM)给出基准结果,发现准确率与体验之间存在一致的权衡。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道,并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Artificial Analysis 发布 Big Bench Audio 评测数据集,将 Big Bench Hard 的 1000 道题改编为音频形式,用于评估音频语言模型的推理能力。