Vals AI 研究：AI 智能体团队 token 成本高数倍，质量提升有限
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5，分别在中等和最高推理强度下对比单智能体与智能体团队。
#评测/基准
#评测/基准
今日 0 条The DecoderAI 评分6666
MIT News · AIAI 评分2020 林肯实验室 LAICS 调查记录 AI 加速器硬件演进
林肯实验室超级计算中心（LLSC）自 2018 年起持续开展 Lincoln AI Computing Survey（LAICS），梳理商用 AI 加速器的峰值性能与峰值功耗。
Simon WillisonAI 评分2323 Qwen3.8 27B 纯英文单词加法基准测试：关推理准确率 23.57%
针对本地 Qwen3.8-27B-Q4_K_M.gguf 的基准测试显示，在用英文单词输出结果的 5,070 个关闭推理用例中，数值准确率为 23.57%，格式合规率 96.17%。准确率随操作数位数下降，一至三位数从 97.04% 跌至十至十三位数的 6.44%；开启 medium reasoning 的 169 例对比中答对 167 例。
GitHub Blog · AI & MLAI 评分4444 ReviewBench：面向 AI 代码审查的开源基准
微软发布开源离线基准 ReviewBench，用于评估 AI 代码审查智能体的表现，基于 GitHub 上 103.9M 个真实 pull request 的分布构建。
Hugging Face Blog精选AI 评分7171 Microsoft 与 Hugging Face 发布 ThinkingBox：按数据库终态评测 AI 智能体
Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox，它让智能体在隔离的 MCP 工具会话中运行，按终端数据库状态和副作用评分，而非最终回复，每个任务重复 20 次。
推荐理由：通过 507 个有状态业务工作流的 20 次重复运行，揭示模型单次成功率与稳定完成率之间的差距。
The DecoderAI 评分4343 LEGO-Bench：AI 智能体用照片生成 3D 场景，却判断不了自己做得对不对
研究团队提出 Image-to-Code 方法，让编码智能体看单张照片写 Blender 程序并迭代修正，同时发布包含 208 张图像、443 个资产的 LEGO-Bench 评测。
The DecoderAI 评分4242 研究：AI 记账又快又准超过持证会计，但仍无法独立完成结账
Mercor 研究显示，AI 模型在结构化记账任务上比持证会计师更快、更准、更便宜，18 个月前最好的模型得分还低于会计师约 37% 的平均水平，如今已接近零失误。
TechCrunch · AIAI 评分4040 研究：Claude Opus 5.5 最爱说“this matters”，各模型写作特征各不相同
Graphite 研究发现，Claude Opus 5.5 使用“this matters”的频率是人类的 116 倍，“why X matters”高出 92 倍，最爱用词为“dependable”（高出 23 倍）；OpenAI 的 Astra 最大特征是被称作“纠正性框架”的“not simply X”句式，出现频率超人类 100 倍。
Hugging Face BlogAI 评分3535 英国 AISI 与 EvalEval 如何让 benchmark 结果可复现
英国 AI Security Institute（AISI）通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果，覆盖 HealthBench。
Hugging Face BlogAI 评分3838 Hugging Face 推出 BenchMIRT：审计 LLM 基准到底测了什么
Hugging Face 发布 BenchMIRT，一种在单条题目层面审计 LLM 基准的方法，基于多维 IRT 从 100 个 LLM、16 个基准、超 34K 道题的评测结果中自动分离出安全与通用推理两个维度。
Hugging Face Blog精选AI 评分6767 Hugging Face 研究量化语音识别中的基准优化问题
Hugging Face 发布研究，提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型，发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写，被静音的年份甚至被补全为 2011。
推荐理由：文章用三类探针量化 ASR 模型对基准本身的过拟合，并给出可复用的检出方法。
Import AIAI 评分2626 Import AI 469：Science AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了 DiG-bench（Discovery in Games）基准，包含 70 款规则与目标均隐藏的手工游戏，其中 21 款已公开，Opus 5 和 Fable 5 搭配 Claude Code 表现最佳，但仅能在 Tier 7 取得 0.2 分。
Hugging Face BlogAI 评分3737 Hugging Face 复现 ICML 2026 的 2,200 篇论文，我们学到了什么
Hugging Face 举办 ICML 2026 开放复现挑战赛，1,221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体在 19 天内发布 6,816 份 Trackio logbook，覆盖 2,226 篇论文、约占大会 34%。
Microsoft ResearchAI 评分4343 MindTopo：新基准揭示多模态大模型的空间拓扑推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型对连通性、封闭、顺序、分离与打结等拓扑关系的理解，同时考察静态识别与交互规划。当前模型在静态推理上明显强于交互规划，且均远低于人类水平，失败多发生在规划阶段而非感知阶段。图像与视频生成仅在有助保持结构约束时才有效。
Import AIAI 评分6262 Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 的意外越界模型
Epoch 与 METR 发布 MirrorCode 基准，用于评估 AI 完成人类需数周编程任务的能力；Opus 4.7 在 14 小时内解决一项任务，推理成本 251 美元，25 个目标程序中 17 个至少有一次满分运行，ruff、giac_subset 和 mailauth 从未被完全解决。
Hugging Face BlogAI 评分2626 新模型登场，优势依旧：DharmaOCR 在巴西葡萄牙语 OCR 基准上领先 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在专为葡萄牙语设计的 OCR 基准上得分 0.925，超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。
Hugging Face BlogAI 评分5959 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质感
Hume 推出 Real World VoiceEQ 语音 AI 基准，覆盖 40 多个主流闭源与开源语音模型，横跨 ASR、TTS、S2S 与语音理解四类共 15+ 维度、60+ 指标。
Hugging Face BlogAI 评分4747 ScarfBench：面向企业 Java 框架迁移的 AI 智能体基准
Hugging Face 发布开源基准 ScarfBench，用于评测 AI 智能体在企业 Java 跨框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态。
Hugging Face BlogAI 评分4141 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并按近场、远场高/中/低 SNR 等条件评估模型。
Hugging Face BlogAI 评分2626 QIMMA：首个先验证基准质量的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA，一个先对基准本身做质量验证、再评测模型的阿拉伯语 LLM 排行榜，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，其中 99% 为原生阿拉伯语内容。
Hugging Face BlogAI 评分3737 VAKRA 基准解析：AI 智能体的推理、工具调用与失败模式
Hugging Face 发布 VAKRA，一个基于工具的可执行基准，用于评估 AI 智能体在类企业环境中的推理与行动能力。VAKRA 提供 8000+ 本地托管 API 与覆盖 62 个领域的真实数据库，包含 API 链式调用、工具选择、多跳推理等四类任务，推理链需 3-7 步，且模型整体表现较差。
Hugging Face BlogAI 评分4646 Hugging Face 发布语音智能体评测框架 EVA，首次联合打分准确率与体验
Hugging Face 推出端到端语音智能体评测框架 EVA，首次同时评估任务成功率与对话体验，输出 EVA-A（准确率）和 EVA-X（体验）两项分数，并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集（覆盖航班改签、取消、代金券等），并对 20 个级联与音频原生系统（如 S2S 模型、LALM）给出基准结果，发现准确率与体验之间存在一致的权衡。
Google DeepMindAI 评分4848 Google DeepMind 发布 AGI 认知框架与评估论文，并联合 Kaggle 举办黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出包含感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项认知能力的分类体系，并配套三阶段评估协议，将 AI 表现对照人类基线分布。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Alyah 基准，评估阿拉伯语 LLM 的阿联酋方言能力
Hugging Face 团队推出 Alyah（الياه，阿联酋语意为"北极星"）基准，用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准包含 1,173 条由阿联酋母语者人工采集的样本，均为四选一多选题，正确选项位置随机分布以避免位置偏差。
Hugging Face BlogAI 评分4545 AssetOpsBench：连接 AI 智能体基准测试与工业现实的桥梁
Hugging Face 发布 AssetOpsBench，一个面向工业资产管理场景的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
Google DeepMindAI 评分4141 Google DeepMind 联合 Kaggle 推出 FACTS Benchmark Suite，系统评测大语言模型事实性
Google DeepMind 与 Kaggle 联合发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共含 3,513 个示例。
Hugging Face BlogAI 评分2828 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Hugging Face BlogAI 评分4242 Hugging Face 推出 RTEB：面向真实场景的检索嵌入评测基准
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评测嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域，每个数据集至少 1k 文档和 50 queries，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测。
Hugging Face BlogAI 评分2929 Hugging Face 推出 TextQuests：LLM 玩文字冒险游戏能有多强？
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏评测 LLM 的智能体能力，每局最多执行 500 步，分带官方提示与无提示两轮运行，并用游戏进度和 Harm 两项指标打分。
Hugging Face BlogAI 评分2626 Hugging Face 发布 FilBench：评估 LLM 的菲律宾语能力
Hugging Face 推出 FilBench，一个覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言的评测套件，含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并基于 Lighteval 构建，已作为社区任务上线官方 Lighteval 仓库。
Hugging Face BlogAI 评分2626 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），首个专门评估阿拉伯语 LLM 在 STEM 与代码生成能力的多组件基准，包含 865 道真实 STEM 选择题、1744 道合成高难度题，以及译成阿拉伯语的 HumanEval+ 和 MBPP+ 代码任务。
Hugging Face BlogAI 评分4646 Hugging Face 发布 TimeScope：视频大模型能处理多长视频？
Hugging Face 开源基准 TimeScope，通过在 1 分钟至 8 小时的长视频中插入 5-10 秒"针"片段，评测视频大模型的定位检索、信息综合与细粒度时序感知三项能力。测试显示，即便 Gemini 2.5-Pro 等领先模型在真正的长视频时序理解上仍显吃力，且视频越长性能下滑越明显。
Hugging Face BlogAI 评分3737 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测真实未来事件来评测其推理能力，避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 预测市场，每周分别产出约 5 个新闻问题和 8 个市场问题，答案可随时间验证。
Hugging Face BlogAI 评分2323 Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛：评测大语言模型训练早期阶段
Hugging Face 宣布举办 NeurIPS 2025 E2LM 竞赛，面向科学知识领域构建能在 LLM 训练早期（约 200B tokens 前）捕捉有效信号的新基准。
Hugging Face BlogAI 评分4141 Hugging Face 推出 HELMET：全面评估长上下文语言模型
Hugging Face 发布 HELMET 长上下文语言模型评估基准，已评估 59 个近期 LCLM，主张跨多样下游任务评估才能真正区分模型能力。
Hugging Face BlogAI 评分2525 Hugging Face 与 MBZUAI 推出 Arabic-Leaderboards，新增阿拉伯语指令遵循榜单并更新 AraGen
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards Space，将阿拉伯语 AI 评测集中到一处，目前上线 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
Hugging Face BlogAI 评分3333 Hugging Face 发布 Open Arabic LLM Leaderboard 2：阿拉伯语大模型评测榜升级
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数从 1B 到 70B 以上，来自 180 多个机构，其中超 70% 为 chat 和微调模型，11% 为预训练模型，超半数模型小于 7B。
Hugging Face BlogAI 评分5050 Adyen 与 Hugging Face 发布 DABstep：多步推理数据智能体基准
Adyen 和 Hugging Face 联合推出 DABstep，一个包含 450+ 真实数据分析任务的多步推理数据智能体基准，最强推理型智能体准确率仅 16%。
Hugging Face BlogAI 评分5353 Artificial Analysis 发布 Big Bench Audio 音频推理基准
Artificial Analysis 发布 Big Bench Audio 评测数据集，将 Big Bench Hard 的 1000 道题改编为音频形式，用于评估音频语言模型的推理能力。
Hugging Face BlogAI 评分2626 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与排行榜，采用基于 LLM-as-judge 的新评估指标 3C3H，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。AraGen 同时覆盖开源与闭源模型，采用动态评估策略：数据集与评估代码先保密三个月进行盲测，期满后公开并替换为新私有基准，以缓解数据污染。