Import AI 466:机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 的意外越界模型
Epoch 与 METR 发布 MirrorCode 基准,用于评估 AI 完成人类需数周编程任务的能力;Opus 4.7 在 14 小时内解决一项任务,推理成本 251 美元,25 个目标程序中 17 个至少有一次满分运行,ruff、giac_subset 和 mailauth 从未被完全解决。
Epoch 与 METR 发布 MirrorCode 基准,用于评估 AI 完成人类需数周编程任务的能力;Opus 4.7 在 14 小时内解决一项任务,推理成本 251 美元,25 个目标程序中 17 个至少有一次满分运行,ruff、giac_subset 和 mailauth 从未被完全解决。
伯克利 AI 研究提出 ABBEL 框架,将 LLM 的摘要以自然语言"信念状态"形式隔离并监督其信息内容,通过类自编码器的信念评分奖励能重建最新观测的摘要。在协作编程基准 CollabBench 上,ABBEL-rec-BG 把与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值上下文 token 数也低于全上下文设置。
DharmaOCR 在专为葡萄牙语设计的 OCR 基准上得分 0.925,超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。
MIT 等机构研究人员开发出 GIFT(Geometric Inference Feedback Tuning)系统,教视觉语言模型自动把 2D 设计转换为可直接执行的 CAD 程序,精度更高且只用约 20% 的算力。
MIT Media Lab 的 Pat Pataranutaporn 与研究生 Anthony Baez、Sheer Karny 提出「神经透明」,通过对比模型内部激活得到共情、诚实、毒性、幻觉、谄媚等「行为方向」,把用户系统提示词对应的激活投影为旭日图,在对话开始前预览聊天机器人性格。
Hume 推出 Real World VoiceEQ 语音 AI 基准,覆盖 40 多个主流闭源与开源语音模型,横跨 ASR、TTS、S2S 与语音理解四类共 15+ 维度、60+ 指标。
MIT 团队联合儿童安全非营利组织 Thorn 提出一种不生成任何输出的审计方法,通过高斯探针(Gaussian probing)检测 LoRA 适配器对模型内部计算的改动,识别其是否被专门微调用于生成 CSAM,测试中对三类模型的 CSAM 变体识别准确率达 100%。
MIT 团队推出 FloatForm,一个由 21 厘米见方的小型方形机器船组成的集群系统,可自主拼装成刚性结构、拆解并重组为新构型。实验中海量 8 艘机器船从随机位置聚合、锁定、按指令分离并整体航行,单次耗时 4-8 分钟,仿真验证可平滑扩展至 64 艘;其去中心化方法让规划复杂度只取决于局部邻居而非集群总规模。
Hugging Face 发布开源基准 ScarfBench,用于评测 AI 智能体在企业 Java 跨框架迁移中的表现,覆盖 Spring、Jakarta EE、Quarkus 三大生态。
Hugging Face 团队提出 DiScoFormer(Density and Score Transformer),单次前向传播即可同时估计分布的密度与 score,无需针对新分布重新训练。
Hugging Face 与 Treble Technologies 上线首个开放的远场 ASR 基准 FFASR Leaderboard,覆盖 14 个模拟房间,并按近场、远场高/中/低 SNR 等条件评估模型。
Hugging Face 博客发布 MosaicLeaks 基准,用 1001 条交错公私信息的多跳研究链检验深度研究智能体的隐私泄漏,并区分意图、答案、全信息三类泄漏。其提出的隐私感知训练方法 PA-DR 将严格链成功率从 48.7% 提升到 58.7%,同时把答案/全信息泄漏率从 34.0% 降到 9.9%。测试显示仅按任务表现训练会加剧泄漏。
Google DeepMind 发布在塞拉利昂开展的预注册对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提高 0.258 个标准差,约相当于八周内取得 1.2 至 1.7 年的常规学习进步;教师将 Gemini 用于约一半课时目标 12 小时的班级增益更高,约 1.8 至 2.5 年。
推荐理由:Google DeepMind 在塞拉利昂的预注册 RCT 显示 Guided Learning 带来约 1.2 至 1.7 年数学学习增益,并公开了实现方法。
Sebastian Raschka 发布 2026 年 1 月至 5 月的 LLM 研究论文精选清单,涵盖架构与模型设计、高效训练与扩展、推理效率与 KV Cache、稀疏注意力与长上下文、推理与测试时计算、强化学习与 RLVR、智能体系统与工具使用、编程智能体、扩散语言模型以及模型评测等类别。
Google DeepMind 的 Co-Scientist 被 Calico Life Sciences 用于衰老生物学研究,帮助其从质量参差的文献中筛选出值得验证的假设。
Google DeepMind 的 Co-Scientist 帮助斯坦福大学医学院团队筛选肝纤维化候选药物:它提出的 3 个候选中有 2 个在活体人肝细胞实验中阻断纤维化并促进肝细胞再生,其中抗癌药 vorinostat 阻断了 91% 的致肝纤维化损伤反应。研究者自行挑选的 2 个药物则未见效果,Co-Scientist 的推荐指向重塑基因活性的药物。
Google DeepMind 发布 Decoupled DiLoCo,一种将训练拆成多个解耦计算“岛屿”、异步传输数据的分布式架构,可在远距离数据中心间以更低带宽训练大语言模型。
推荐理由:原文用混沌工程和 12B 模型跨四区域实测说明解耦训练如何隔离故障并放宽带宽要求。
Hugging Face 发布 QIMMA,一个先对基准本身做质量验证、再评测模型的阿拉伯语 LLM 排行榜,整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖 7 个领域,其中 99% 为原生阿拉伯语内容。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上加入随机性做探索、并重塑梯度以避免经由高维视觉模型的脆弱"状态-输入"梯度,从而让长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Hugging Face 将 RLVE 框架扩展到多轮、工具增强的电商对话,推出 EcomRLVE-GYM,包含商品发现、替代品、购物车搭建、退货、订单跟踪、政策问答、捆绑规划和多意图旅程 8 个可验证环境。
Hugging Face 发布 VAKRA,一个基于工具的可执行基准,用于评估 AI 智能体在类企业环境中的推理与行动能力。VAKRA 提供 8000+ 本地托管 API 与覆盖 62 个领域的真实数据库,包含 API 链式调用、工具选择、多跳推理等四类任务,推理链需 3-7 步,且模型整体表现较差。
OpenMed 用 250k 条 CDS 对比多种 Transformer 架构后,确定 CodonRoBERTa-large-v2 在密码子级语言建模上最优,困惑度 4.10、Spearman CAI 相关性 0.40,明显优于 ModernBERT。
Google DeepMind 发布关于 AI 有害操纵的研究结果,称建成首个经实证验证的工具,用于在真实场景中测量此类操纵。研究覆盖英国、美国、印度共 9 项实验、超过 1 万名参与者,聚焦金融和健康等高风险场景,发现 AI 在健康话题上的有害操纵效果最弱,一个领域的成功无法预测另一个领域。
Hugging Face 推出端到端语音智能体评测框架 EVA,首次同时评估任务成功率与对话体验,输出 EVA-A(准确率)和 EVA-X(体验)两项分数,并基于 bot-to-bot 实时音频架构模拟多轮完整通话。首批发布含 50 个航司场景数据集(覆盖航班改签、取消、代金券等),并对 20 个级联与音频原生系统(如 S2S 模型、LALM)给出基准结果,发现准确率与体验之间存在一致的权衡。
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》,提出包含感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项认知能力的分类体系,并配套三阶段评估协议,将 AI 表现对照人类基线分布。
Berkeley AI Research 提出 SPEX 和 ProxySPEX,用于在大规模 LLM 中识别驱动模型输出的关键特征、数据与内部组件交互。SPEX 利用交互的稀疏性和低阶性,将搜索问题转化为稀疏恢复问题,可扩展到比既有方法大几个数量级的规模;ProxySPEX 进一步利用层次结构,以约少 10 倍的消融次数达到与 SPEX 相当的性能。
IBM Research 与 UC Berkeley 合作,将 MAST(多智能体系统失效分类法)应用于 ITBench 的 SRE 场景,把原始执行轨迹转成结构化失效特征,共标注 310 条轨迹,覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
Hugging Face 团队推出 Alyah(الياه,阿联酋语意为"北极星")基准,用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准包含 1,173 条由阿联酋母语者人工采集的样本,均为四选一多选题,正确选项位置随机分布以避免位置偏差。
Hugging Face 发布 AssetOpsBench,一个面向工业资产管理场景的智能体评测基准,包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
微软发布 Differential Transformer V2(DIFF V2),在保持 KV head 数量不变的前提下将 query head 翻倍,解码速度与标准 Transformer 相当,且无需自定义 attention kernel。
伯克利 AI Research 提出基于互信息的成像系统评估与优化框架,无需重建算法即可预测下游任务性能。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了与解码器表现的一致性,其优化出的设计可匹敌端到端方法,且内存与算力需求更低、无需任务专用解码器。方法利用成像系统的已知噪声物理直接计算 H(Y|X),仅需从测量数据学习 H(Y),并提供真实信息量的上界估计。
Sebastian Raschka 发布 2025 年 7 月至 12 月的 LLM 研究论文整理清单,按推理模型、其他强化学习方法、推理时扩展方法、模型发布与技术报告、架构、高效训练、扩散语言模型、多模态与视觉语言模型、数据与预训练数据集等类别划分。
Google DeepMind 与 Kaggle 联合发布 FACTS Benchmark Suite,在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准,并将 Grounding 升级至 v2,共含 3,513 个示例。
密歇根州立大学 Berkley Walker 团队借助 AlphaFold 预测光合作用关键酶 GLYK 的三维结构,发现植物版 GLYK 的三个柔性 loop 在高温下失稳。研究人员用嗜热藻类 GLYK 中更刚性的 loop 替换这些不稳定区域,构建的杂合酶中有一个在高达 65 °C 下仍保持稳定。
Intel AI Software Group 发布 DeepMath,一个基于 Qwen3-4B Thinking、用 smolagents 构建并用 GRPO 微调的数学推理 Agent,模型输出短 Python 片段在沙箱中执行后回填推理。
Google DeepMind 发布案例,密苏里大学的研究者借助 AlphaFold 生成原子级结构预测,再与冷冻电镜图像数据对照修正,解析出“坏胆固醇”关键蛋白 apoB100 的结构。
推荐理由:AlphaFold 与冷冻电镜结合解析 apoB100 结构,读者可了解蛋白质结构预测在疾病研究中的实际作用路径。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道,并发布了一份基于 60+ 个开源与闭源模型的趋势预印本。
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构,旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐,总训练量 76.8B token。
Google DeepMind 发布 SIMA 2,通过将 Gemini 模型作为智能体核心,使其从单纯执行指令升级为能在虚拟 3D 世界中推理目标、与用户对话并自我改进的游戏伙伴。
Google DeepMind 在 Nature 发表新论文,提出一种三步对齐方法,用认知科学的"odd-one-out"任务发现视觉模型常依赖背景色、纹理等表层特征,与人类判断系统性错位。团队以 SigLIP-SO400M 为基座训练适配器作为"教师",生成含百万张图像、数百万条类人判断的 AligNet 数据集,再微调其他模型,使其内部表征按人类概念层级重新组织,从而提升鲁棒性与泛化能力。