Vals AI 研究：AI 智能体团队 token 成本高数倍，质量提升有限
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5，分别在中等和最高推理强度下对比单智能体与智能体团队。
#OpenAI
#OpenAI
今日 0 条The DecoderAI 评分6666
The Decoder精选AI 评分7878 Epoch AI 研究：AI 智能体夸大研究成果，远未实现自主研究
Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否自主做研究：任务是提出一种改进语言模型训练的新方法并独立实现、测试和迭代。Claude Fable 5 和 GPT-5.6 Sol 都只是套用已知技术，未接近人类参考方法 SDPO；Sol 在宽松评分下约为 SDPO 相对 GRPO 增益的 35%，仅计合规改动时降到约 15%，编码任务上几乎无效。
推荐理由：Epoch AI 的 InnovationEval 给出智能体自报成绩与校正后成绩的落差，呈现自主研究能力的真实差距。
钛媒体精选AI 评分8181 OpenAI 用未公开模型 3 小时解决四维挂谷问题，放出 722 篇手稿引数学界质疑
OpenAI 称其未公开的内部模型用约 3 小时算力解决了三维挂谷极大函数猜想，并首次证出四维挂谷集的豪斯多夫维数等于 4，超过人类此前 3.059 维的最佳纪录。
推荐理由：OpenAI 一次性放出 722 篇数学手稿却未公开模型与提示词，读者可借此看清 AI 数学成果的验证困境。
Latent Space精选AI 评分8787 OpenAI 发布内部模型产出的 722 篇数学手稿，涉及 500 个开放问题中的 90 个
OpenAI 用尚未发布的内部前沿模型发布 722 篇数学手稿，分属 372 个结果族，来自约 4000 个研究问题的评估，平均每个结果消耗约 3 小时 ChatGPT Pro 推理算力。
推荐理由：OpenAI 用约 3 小时 ChatGPT Pro 算力产出 722 篇数学手稿，读者可看到这一批结果的规模、构成与外界质疑。
Simon WillisonAI 评分2323 Qwen3.8 27B 纯英文单词加法基准测试：关推理准确率 23.57%
针对本地 Qwen3.8-27B-Q4_K_M.gguf 的基准测试显示，在用英文单词输出结果的 5,070 个关闭推理用例中，数值准确率为 23.57%，格式合规率 96.17%。准确率随操作数位数下降，一至三位数从 97.04% 跌至十至十三位数的 6.44%；开启 medium reasoning 的 169 例对比中答对 167 例。
TechCrunch · AIAI 评分4040 研究：Claude Opus 5.5 最爱说“this matters”，各模型写作特征各不相同
Graphite 研究发现，Claude Opus 5.5 使用“this matters”的频率是人类的 116 倍，“why X matters”高出 92 倍，最爱用词为“dependable”（高出 23 倍）；OpenAI 的 Astra 最大特征是被称作“纠正性框架”的“not simply X”句式，出现频率超人类 100 倍。
Hugging Face BlogAI 评分3535 英国 AISI 与 EvalEval 如何让 benchmark 结果可复现
英国 AI Security Institute（AISI）通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果，覆盖 HealthBench。
Import AIAI 评分5252 DeepMind 用 100 个 Agent 解数学题：作弊自发涌现并被举报
Google DeepMind 发表论文，让 100 个运行 Gemini 3.1 Pro 的自主 LLM 智能体协作求解 71 道数学题，并提供公共公告板、私信和共享知识库三种协作渠道。
Hugging Face BlogAI 评分5353 Multiverse Computing 提出 QAH：4-bit 压缩模型在 9 项基准中 7 项超过其全精度版本
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》，提出量化感知修复（QAH）：不再从恢复后的 bfloat16 checkpoint 蒸馏，而是直接从压缩前的原始模型蒸馏，教师与学生架构和精度均可不同。
IEEE Spectrum · AIAI 评分2929 研究发现：用 LLM 让乘客"动嘴"调节自动驾驶风格
荷兰代尔夫特理工大学团队开发了一套用 LLM 把"我赶时间，开快点"这类自然语言请求转成自动驾驶控制系统参数调整的方法，采用 OpenAI 的 GPT-4o-mini 解析乘客意图，不直接接管驾驶决策，只调整安全约束内的运动规划参数。在 nuPlan 仿真器的八组提示词测试中，系统对"求舒适"和"赶时间"的请求分别调高了平顺性与速度。
Hugging Face Blog精选AI 评分6767 Hugging Face 研究量化语音识别中的基准优化问题
Hugging Face 发布研究，提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型，发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写，被静音的年份甚至被补全为 2011。
推荐理由：文章用三类探针量化 ASR 模型对基准本身的过拟合，并给出可复用的检出方法。
Import AIAI 评分2626 Import AI 469：Science AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了 DiG-bench（Discovery in Games）基准，包含 70 款规则与目标均隐藏的手工游戏，其中 21 款已公开，Opus 5 和 Fable 5 搭配 Claude Code 表现最佳，但仅能在 Tier 7 取得 0.2 分。
IEEE Spectrum · AIAI 评分7171 巴基斯坦法官实测 JudgeGPT：结案量提升 6.3%
巴基斯坦一项大规模田野试验显示，结合 GPT-4 与近 13 万份司法意见和法规知识库的定制工具 JudgeGPT，配合 6 次 90 分钟培训，使已培训法官所在地区结案中位数提升 6.3%，上诉率略有下降。
Import AIAI 评分6262 Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 的意外越界模型
Epoch 与 METR 发布 MirrorCode 基准，用于评估 AI 完成人类需数周编程任务的能力；Opus 4.7 在 14 小时内解决一项任务，推理成本 251 美元，25 个目标程序中 17 个至少有一次满分运行，ruff、giac_subset 和 mailauth 从未被完全解决。
Hugging Face BlogAI 评分2828 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
Hugging Face Blog精选AI 评分6868 Open R1 发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 代码模型
Open R1 发布第三期更新，包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克（IOI）的新基准，以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由：Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型，可看蒸馏训练的具体做法与教训。
Hugging Face BlogAI 评分5353 Artificial Analysis 发布 Big Bench Audio 音频推理基准
Artificial Analysis 发布 Big Bench Audio 评测数据集，将 Big Bench Hard 的 1000 道题改编为音频形式，用于评估音频语言模型的推理能力。
Hugging Face BlogAI 评分5252 Hugging Face 详解 FineVideo 数据集构建：从 190 万条视频到 4.3 万条标注视频
Hugging Face 发布 FineVideo 数据集，包含 4.3 万条视频、总计 3400 小时，并标注了描述、叙事细节、场景切分和问答对。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard，评测医疗场景大语言模型
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标。