跳到正文

#推理

今日 4 条
8月24日周一
  1. IEEE Spectrum · AI29

    研究发现:用 LLM 让乘客"动嘴"调节自动驾驶风格

    荷兰代尔夫特理工大学团队开发了一套用 LLM 把"我赶时间,开快点"这类自然语言请求转成自动驾驶控制系统参数调整的方法,采用 OpenAI 的 GPT-4o-mini 解析乘客意图,不直接接管驾驶决策,只调整安全约束内的运动规划参数。在 nuPlan 仿真器的八组提示词测试中,系统对"求舒适"和"赶时间"的请求分别调高了平顺性与速度。

8月21日周五
8月17日周一
8月13日周四
  1. Microsoft Research43

    MindTopo:新基准揭示多模态大模型的空间拓扑推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型对连通性、封闭、顺序、分离与打结等拓扑关系的理解,同时考察静态识别与交互规划。当前模型在静态推理上明显强于交互规划,且均远低于人类水平,失败多发生在规划阶段而非感知阶段。图像与视频生成仅在有助保持结构约束时才有效。

8月12日周三
8月4日周二
  1. NVIDIA Developer Blog35

    NVIDIA Alpamayo 2 Super:用开放 340 亿参数推理视觉模型生成轨迹、推理链与自动标注

    NVIDIA 推出 Alpamayo 2 Super,一个开放 340 亿参数的推理视觉模型,可在自动驾驶开发中统一生成轨迹、高层意图预测、场景理解与数据标注,替代此前各环节分立的模型。该模型支持在同一套表示上对比相关输出、排查模型行为,并复用至整个开发流程。

8月1日周六
7月29日周三
  1. Berkeley AI Research60

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley Sky Lab 与 IBM Research 将 K-Search 这一进化式内核搜索框架扩展到 MLX,用结构化的 CUDA-to-MLX 翻译层,把已有 CUDA 内核当作知识库迁移到 Apple Silicon。

    推荐理由:这篇工作给出把 CUDA 内核经验迁移到 Apple Silicon 的具体做法,读者可据此判断跨平台内核优化的可行路径。

7月26日周日
  1. Berkeley AI Research43

    伯克利提出 ABBEL:用信念状态监督 LLM 长程交互中的上下文摘要

    伯克利 AI 研究提出 ABBEL 框架,将 LLM 的摘要以自然语言"信念状态"形式隔离并监督其信息内容,通过类自编码器的信念评分奖励能重建最新观测的摘要。在协作编程基准 CollabBench 上,ABBEL-rec-BG 把与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值上下文 token 数也低于全上下文设置。

7月23日周四
7月18日周六
  1. Ahead of AI · Sebastian Raschka38

    如何在 LLM 中控制推理努力程度

    文章以 OpenAI 的 o1、DeepSeek-R1 和 GPT-5.6 Sol 为例,解释推理模型如何通过推理努力(reasoning effort)设置控制性能与成本,GPT-5.6 系列提供三种尺寸、每种约五到六档推理努力。核心方法是用 RLVR 训练:仅以最终答案正确性(0/1)和格式给奖励,中间推理轨迹不参与训练,模型因此学会回溯和自我纠错等“Aha”时刻。

7月15日周三
7月10日周五
7月8日周三
  1. Hugging Face Blog77

    vLLM 的 transformers 建模后端提速至原生实现水平

    Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的吞吐量,覆盖 Qwen3-4B(单卡)、Qwen3-32B(张量并行)、Qwen3-235B-A22B-FP8(数据加专家并行,8×H100)三种规模。

    推荐理由:官方给出三个 Qwen3 模型的实测对比,读者可了解无需移植即可获得原生级 vLLM 推理速度的具体路径。

6月30日周二
6月11日周四
  1. Google DeepMind67

    Google DeepMind 发布 DiffusionGemma:文本扩散模型推理最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次性生成 256 个 token,在专用 GPU 上文本生成最高提速 4 倍,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 4x 推理加速的实测数字与本地低并发场景边界,读者可据此判断它适合哪些交互式工作流。

6月6日周六
  1. Ahead of AI · Sebastian Raschka25

    LLM 研究论文清单:2026 年 1 月至 5 月

    Sebastian Raschka 发布 2026 年 1 月至 5 月的 LLM 研究论文精选清单,涵盖架构与模型设计、高效训练与扩展、推理效率与 KV Cache、稀疏注意力与长上下文、推理与测试时计算、强化学习与 RLVR、智能体系统与工具使用、编程智能体、扩散语言模型以及模型评测等类别。

5月16日周六
  1. Ahead of AI · Sebastian Raschka37

    LLM 架构最新进展:Gemma 4 的 KV Sharing、mHC 与压缩注意力

    近期开放权重模型的新架构集中解决长上下文效率问题:Gemma 4 的 E2B/E4B 变体采用跨层 KV sharing 并复用 KV 张量以压缩缓存,ZAYA1 引入压缩卷积注意力,Laguna XS.2 采用逐层注意力预算,DeepSeek V4 则结合 mHC 与压缩注意力。随着推理模型和智能体工作流保留更多 token,KV cache 大小、内存流量与注意力开销已成为主要瓶颈。

5月14日周四
  1. Hugging Face Blog64

    Hugging Face 详解连续批处理中的异步化:用 CUDA 流与事件消除 CPU-GPU 串行等待

    Hugging Face 博客发布第二篇高效 LLM 推理系列文章,讲解如何在连续批处理中实现异步化:将 CPU 的批准备与 GPU 的计算解耦,用 H2D、compute、D2H 三个非默认 CUDA 流配合 CUDA event 跨流同步,并处理双缓冲防数据竞争与 carry-over 传递新 token。

    推荐理由:以 CPU 与 GPU 串行浪费为主线,给出三流分离与 CUDA event 同步的异步批处理实现思路,可迁移到长序列推理部署优化。

5月12日周二
5月8日周五
5月7日周四
4月24日周五
4月20日周一
  1. Berkeley AI Research36

    GRASP:面向世界模型长时程规划的梯度规划器

    Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上加入随机性做探索、并重塑梯度以避免经由高维视觉模型的脆弱"状态-输入"梯度,从而让长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。

3月22日周日
  1. Ahead of AI · Sebastian Raschka33

    现代 LLM 注意力机制变体图解指南

    Sebastian Raschka 发布 LLM 架构图库(含 45 个条目),每个条目配有可视化模型卡,并推出 Redbubble 海报版。文章同时系统梳理现代开源权重模型中采用的各类注意力变体,从标准多头注意力(MHA)讲起,覆盖分组查询注意力、滑动窗口注意力等,示例架构包括 GPT-2、OLMo 2 7B 和 OLMo 3 7B。

3月13日周五
  1. Berkeley AI Research36

    Berkeley AI Research 提出 SPEX 与 ProxySPEX,大规模识别 LLM 关键交互

    Berkeley AI Research 提出 SPEX 和 ProxySPEX,用于在大规模 LLM 中识别驱动模型输出的关键特征、数据与内部组件交互。SPEX 利用交互的稀疏性和低阶性,将搜索问题转化为稀疏恢复问题,可扩展到比既有方法大几个数量级的规模;ProxySPEX 进一步利用层次结构,以约少 10 倍的消融次数达到与 SPEX 相当的性能。

3月9日周一
3月4日周三
2月25日周三
2月20日周五
2月13日周五
2月10日周二
  1. Google DeepMind78

    Google DeepMind 用 Gemini Deep Think 加速数学与科学发现

    Google DeepMind 发布两篇论文,介绍由 Gemini Deep Think 驱动的数学研究智能体 Aletheia 在专业研究问题上的表现。该智能体带有自然语言验证器,可迭代生成、验证和修正解答,并能承认无法求解,同时借助 Google 搜索和网页浏览梳理文献以避免虚假引用。

    推荐理由:两篇论文给出 Gemini Deep Think 驱动的数学研究智能体 Aletheia 在专业数学、物理与计算机科学问题上的实际协作案例。

1月27日周二
1月24日周六
  1. Ahead of AI · Sebastian Raschka30

    LLM 推理如何做推理时扩展:六大方法分类与最新进展

    LLM 推理时扩展(inference-time scaling)通过投入更多推理算力提升答案质量,已成为各大模型厂商的常规手段。Sebastian Raschka 将现有方法归为六大类:思维链提示、自一致性、Best-of-N 排序、带验证器的拒绝采样、自 refinement 与解路径搜索,并介绍了近几个月的新工作。

1月20日周二
12月30日周二
  1. Ahead of AI · Sebastian Raschka48

    LLM 的 2025:进展、问题与预测

    2025 年 LLM 发展由推理模型主导,DeepSeek 在 1 月发布 R1 论文,用强化学习配合可验证奖励(RLVR)与 GRPO 算法训练出推理行为,并以开放权重达到当时最佳专有模型水平。R1 在 DeepSeek V3 之上再训练约花费 29.4 万美元,V3 的 671B 参数模型训练成本估计接近 500 万美元而非 5 亿。此后各家开放权重与专有模型纷纷跟进推出推理版本。