微软 DIFF Transformer V2 发布:解码速度追平标准 Transformer
微软发布 Differential Transformer V2(DIFF V2),在保持 KV head 数量不变的前提下将 query head 翻倍,解码速度与标准 Transformer 相当,且无需自定义 attention kernel。
微软发布 Differential Transformer V2(DIFF V2),在保持 KV head 数量不变的前提下将 query head 翻倍,解码速度与标准 Transformer 相当,且无需自定义 attention kernel。
伯克利 AI Research 提出基于互信息的成像系统评估与优化框架,无需重建算法即可预测下游任务性能。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了与解码器表现的一致性,其优化出的设计可匹敌端到端方法,且内存与算力需求更低、无需任务专用解码器。方法利用成像系统的已知噪声物理直接计算 H(Y|X),仅需从测量数据学习 H(Y),并提供真实信息量的上界估计。
Sebastian Raschka 发布 2025 年 7 月至 12 月的 LLM 研究论文整理清单,按推理模型、其他强化学习方法、推理时扩展方法、模型发布与技术报告、架构、高效训练、扩散语言模型、多模态与视觉语言模型、数据与预训练数据集等类别划分。
密歇根州立大学 Berkley Walker 团队借助 AlphaFold 预测光合作用关键酶 GLYK 的三维结构,发现植物版 GLYK 的三个柔性 loop 在高温下失稳。研究人员用嗜热藻类 GLYK 中更刚性的 loop 替换这些不稳定区域,构建的杂合酶中有一个在高达 65 °C 下仍保持稳定。
Intel AI Software Group 发布 DeepMath,一个基于 Qwen3-4B Thinking、用 smolagents 构建并用 GRPO 微调的数学推理 Agent,模型输出短 Python 片段在沙箱中执行后回填推理。
Google DeepMind 发布案例,密苏里大学的研究者借助 AlphaFold 生成原子级结构预测,再与冷冻电镜图像数据对照修正,解析出“坏胆固醇”关键蛋白 apoB100 的结构。
推荐理由:AlphaFold 与冷冻电镜结合解析 apoB100 结构,读者可了解蛋白质结构预测在疾病研究中的实际作用路径。
ServiceNow 将 15B 推理模型改造成 Mamba 混合架构,旗舰版 Apriel-H1-15b-Thinker-SFT 在几乎不损失推理质量的前提下实现 2.1 倍吞吐,总训练量 76.8B token。
Google DeepMind 在 Nature 发表新论文,提出一种三步对齐方法,用认知科学的"odd-one-out"任务发现视觉模型常依赖背景色、纹理等表层特征,与人类判断系统性错位。团队以 SigLIP-SO400M 为基座训练适配器作为"教师",生成含百万张图像、数百万条类人判断的 AligNet 数据集,再微调其他模型,使其内部表征按人类概念层级重新组织,从而提升鲁棒性与泛化能力。
Google 发布森林砍伐风险预测基准数据集,基于纯卫星输入和 vision transformer 架构,可在大范围区域内实现 30 米分辨率预测。
一篇新研究提出以分治法(divide and conquer)替代时序差分(TD)学习的 off-policy 强化学习算法,将 Bellman 递归次数从线性降到对数级,从而扩展至长时程任务。
NVIDIA 发布 Nemotron-Personas-India,首个面向印度人格的开放合成数据集,采用 CC BY 4.0 许可,含 2100 万条 persona、77 亿 token,覆盖印度全部 36 个邦和 640 个地区,支持英语和印地语(天城文与拉丁文)。
Meta 发布 GAIA 的后续基准 Gaia2 以及开源框架 Meta Agents Research Environments(ARE),用于运行、调试和评测智能体。
推荐理由:Meta 发布 Gaia2 基准与 ARE 环境源码,给出多模型在模糊、噪声与时间推理任务上的实测结果,便于对照自身智能体能力。
SandboxAQ 开源 Structurally Augmented IC50 Repository(SAIR),包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构,每个结构都配有来自 ChEMBL 或 BindingDB 的实验测定 IC₅₀ 数据,以 CC BY 4.0 许可免费开放。
研究证明 word2vec 在现实训练条件下可归结为无权重最小二乘矩阵分解,梯度流动态存在闭式解,最终学到的表示等价于对矩阵 M* 做 PCA。该矩阵仅由语料共现概率、unigram 概率等可测统计量和超参数决定,其顶部特征向量对应可解释概念:名人传记、政府市政、地理描述等。
AI-MO 与 Kimi 开源 kimina-prover-rl 训练流程,基于 DeepSeek-R1 式"先推理后生成"范式,兼容 Verl 框架,并随附 1.7B 与 0.6B 两个模型。
Hugging Face 发布 TextQuests 基准,基于 25 款经典 Infocom 互动小说游戏评测 LLM 的智能体能力,每局最多执行 500 步,分带官方提示与无提示两轮运行,并用游戏进度和 Harm 两项指标打分。
Hugging Face 推出 FilBench,一个覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言的评测套件,含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务,并基于 Lighteval 构建,已作为社区任务上线官方 Lighteval 仓库。
Hugging Face 推出 3LM(علم),首个专门评估阿拉伯语 LLM 在 STEM 与代码生成能力的多组件基准,包含 865 道真实 STEM 选择题、1744 道合成高难度题,以及译成阿拉伯语的 HumanEval+ 和 MBPP+ 代码任务。
Hugging Face 开源基准 TimeScope,通过在 1 分钟至 8 小时的长视频中插入 5-10 秒"针"片段,评测视频大模型的定位检索、信息综合与细粒度时序感知三项能力。测试显示,即便 Gemini 2.5-Pro 等领先模型在真正的长视频时序理解上仍显吃力,且视频越长性能下滑越明显。
Arc Institute 发起 Virtual Cell Challenge,要求参赛者训练模型预测在部分未见过的细胞类型中沉默某个基因的效果,即"上下文泛化"。
Hugging Face 发布 FutureBench,通过让 AI 智能体预测真实未来事件来评测其推理能力,避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题,并接入 Polymarket 预测市场,每周分别产出约 5 个新闻问题和 8 个市场问题,答案可随时间验证。
Hugging Face 宣布举办 NeurIPS 2025 E2LM 竞赛,面向科学知识领域构建能在 LLM 训练早期(约 200B tokens 前)捕捉有效信号的新基准。
Hugging Face 分享研究,提出让 CodeAgent 以结构化 JSON 同时输出 thoughts 和可执行 code,在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
Hugging Face 发布 HELMET 长上下文语言模型评估基准,已评估 59 个近期 LCLM,主张跨多样下游任务评估才能真正区分模型能力。
Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 DeepSeek R1 在 512 张 H100 本地生成 400k 道题的解答,过滤后保留 220k 道含正确推理轨迹的题目。
Adyen 和 Hugging Face 联合推出 DABstep,一个包含 450+ 真实数据分析任务的多步推理数据智能体基准,最强推理型智能体准确率仅 16%。
Artificial Analysis 发布 Big Bench Audio 评测数据集,将 Big Bench Hard 的 1000 道题改编为音频形式,用于评估音频语言模型的推理能力。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖常见图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供 flux-dev-lora-finetune。
Hugging Face 发布 AraGen,一个面向阿拉伯语 LLM 的生成式任务基准与排行榜,采用基于 LLM-as-judge 的新评估指标 3C3H,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。AraGen 同时覆盖开源与闭源模型,采用动态评估策略:数据集与评估代码先保密三个月进行盲测,期满后公开并替换为新私有基准,以缓解数据污染。
BAAI 推出 FlagEval Debate 平台,让大模型直接对辩,目前支持中文、英文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制,并提供开发者自定义参数与实时调试能力,以解决静态评测和 Chatbot Arena 等现有平台缺乏区分度、模型各自生成不真正交互、投票存在风格偏好的问题。
Hugging Face 与 Intel Labs 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型可以搭配任意模型家族的更小辅助模型,对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,并开源一种名为对抗式精炼的新方法。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最强商业视觉模型高出 25%、比开源模型高出 65%;2.0 版本由 HF Mirror 参与,针对退化问题和视觉依赖等缺陷做改进,该方法可直接用于强化现有数据集。
Hugging Face 发布 BenCzechMark,称其为首个也是最全面的捷克语 LLM 评测套件,含 50 项任务、9 个类别,90% 任务为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型,覆盖阅读理解、事实知识、语言建模、数学推理等维度,评测指标包括 Acc、EM、AUROC 和词级困惑度。
Hugging Face 发布 FineVideo 数据集,包含 4.3 万条视频、总计 3400 小时,并标注了描述、叙事细节、场景切分和问答对。
HF Mirror 的 Daily Papers 页面已收录 3,700 多篇论文、订阅数超 12k,作者可一键认领论文并关联到自己的账号。该页面还支持论文提交、@作者实时讨论、@librarian-bot 推荐相似论文、多语言评论与自动翻译,并将模型、数据集、demo 等资源集中链接在论文页右侧。用户可通过页面顶部 Subscribe 按钮订阅每日更新(周末除外)。
Hugging Face 复现 Google 的 Infini-Attention 时发现,随着记忆压缩次数增加,模型性能持续下降,团队约 90% 的时间都花在调试一个收敛问题上。作者认为,ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Hugging Face 提出 LAVE(LLM-Assisted VQA Evaluation),将 VQA 评测重构为 LLM 的答案评分任务,用 Llama-2-Chat-7b 对 Docmatix 200 张图像的零样本生成答案按 1-3 分打分并映射到 [0,1]。
Hugging Face 发布 Docmatix,一个规模达 240 倍于以往数据集的文档视觉问答(DocVQA)数据集,包含 240 万张图像和 950 万对 Q/A,源自 130 万份 PDF。
Meta 推出 CyberSecEval 2,用于评估 LLM 生成不安全代码、抵抗提示词注入、配合网络攻击、滥用代码解释器以及自动化攻击性网络安全能力。相比 2023 年 12 月的首版,LLM 配合网络攻击请求的平均合规率从 52% 降至 28%。所有代码已开源,可接入排行榜。