Google DeepMind 发布 Gemini 4 Carbon,先面向网络安全防御方开放
[AINews] Gemini 4 Carbon tops leaderboards, launches for cyber defenders
Google DeepMind 发布 Gemini 4 Carbon,距上一代 Argon 仅两周,宣称在网络安全与长周期任务上达到 SOTA。在 Artificial Analysis Intelligence Index v5 上以 59 分位列第一,领先 9 项评测中的 4 项;上下文窗口为 1M token,支持文本、图像、视频和语音输入,输出为文本。
汇总了 Gemini 4 Carbon 在多个独立榜单上的位置与价格,也列出编码和幻觉率等短板。
译文尚不完整,完整内容请切换到原文。
幸好我们在今天的发布之前发布了我们的 Opus 5.5 播客,称其为世界最佳模型。
一个非常令人愉快的惊喜是,Gemini 发布了 Carbon,这是一个比 3 周前的 Argon 更新的前沿模型,基准测试成绩出色:

它在 Artificial Analysis 综合基准上登上新的 #1,可能让 GDM 在 AAII 历史上首次领先:
sd
2026/10/27-2026/10/28 的 AI 新闻。我们检查了 12 个 subreddit、544 个 Twitter 账号,未再检查 Discord。AINews 的网站可让你搜索所有过往期号。提醒一下,AINews 现在是 Latent Space 的一个栏目。你可以选择开启/关闭邮件频率!
AI Twitter 回顾
Gemini 4 Carbon 登顶独立排行榜,访问权限仅限网络防御者
发布:Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon。它被定位为网络安全和长时程任务上的最先进模型(@sundarpichai,@GoogleDeepMind)。
声称的网络安全成绩:在 SEC-bench Pro 的漏洞发现任务上达到 88.2%,在 ExploitGym 的利用任务上达到 54.8%,在 CWE-bench 的修补任务上达到 71.0%(@sundarpichai)。
可用性:Carbon 首先通过 Fairwind Program 提供给受信任的网络防御者,并承诺“尽快”向更广泛的开发者开放(@GoogleAI)。
定价:Phil Schmid 引用的价格为每百万输入/输出 token 2 美元/10 美元,并附有星号说明(@_philschmid)。Artificial Analysis 列出的标准价格为 4 美元/20 美元,并提供 50% 的发布折扣,且没有结束日期。缓存输入为每百万 token 0.20 美元(@ArtificialAnlys)。
规格:该模型具有 100 万 token 上下文窗口和 100 万最大输出。输入为文本、图像、视频和语音;输出为文本(@ValsAI)。
安全相关声明(Google):在 Terminal-Bench 4.0 上成功作弊率降至 0.0%,作弊尝试率降至 0.4%。无依据声明相较 Argon 下降约 2 倍。过度干预下降 26%,服务不足下降 29%(@OfficialLoganK)。
Artificial Analysis:Carbon 以 59 分在 Intelligence Index v5 上排名 #1。它在 9 项指数评测中的 4 项领先:HLE-Diamond、TB-Science、AA-Omniscience 和 AutomationBench(@ArtificialAnlys)。
编程:在 Coding Agent Index 上,Carbon 使用 Antigravity CLI 得分为 59,而 Claude Code 搭配 Opus 5.5 [max] 为 62。它在 FrontierCode v1.1 上得分为 51%,而 Opus 为 56%。
知识工作:Carbon 在 AA-Briefcase 上达到 1609 Elo,比 Argon 提升 126 分。它仍落后于 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro(1678)。
成本:Carbon 每项指数任务成本为 7.76 美元,而 Opus 5.5 为 10.04 美元,GPT-6 Astra 为 6.25 美元。它每项任务使用 123k 输出 token,比 Opus 少 29%。
幻觉:Carbon 以 54 分领先 Omniscience。其幻觉率从 Argon 的 4% 上升到 11%,这仍是已测得的第二低水平。Opus 5.5 和 Astra 均为 50%。
其他独立评测:
Arena:Carbon 在 Text Arena 排名 #1(1528),在 Agent Arena 排名 #2,每项任务成本中位数为 1.80 美元,在 Code Arena: WebDev 排名 #4(1768)(@arena)。Arena 将相较 Argon 的提升归因于更多好评、更多确认成功以及更好的可操控性(@arena)。
Vals:Carbon 在 Vals 指数上排名第 2,在金融指数和法律研究基准上排名第 1。它的输出 token 数比 Argon 多 64%,主要来自金融、税务和法律任务(@ValsAI,tokens)。
编程基准:Carbon 在 FrontierSWE 上得分 61.2%,落后于 GPT-6 Astra(65.5)、Opus 5.5(62.3)和 Sonnet 5.5(61.9)(@ProximalHQ)。它在 SWE-sweep 上以 9.6% 创下小幅领先的最新最佳成绩(@KLieret)。
Andon Labs:Carbon 在 Vending-Bench 2 上排名第 1(@andonlabs)。它同样在 Blueprint-Bench 2 上排名第 1,在该基准上追平了 3D 空间理解的人类基线(@andonlabs)。
注意事项与反应:
运行框架:编程智能体的结果是在 Antigravity CLI 中测得的,因此在其他运行框架中的结果尚未测试(@Yuchenj_UW)。
幻觉风险:一些用户担心它在网络用途中的幻觉问题(@scaling01)。
实验室差距:scaling01 认为 Google 仍比 OpenAI 和 Anthropic 的下一次发布落后约两个月(@scaling01)。
RSI 表述:在财报电话会议上,Sundar Pichai 表示 AI 正在提升训练和发布速度。他预计未来十二个月将“因 RSI 而持续加速”(@AndrewCurran_)。
未经证实:关于存在更强未发布 Gemini 模型的说法尚未得到证实(@kimmonismus)。
内部工作流:一位 Gemini 工程师描述了通宵运行的智能体循环和集群,用于检查 RL 数据。在该工作流中,发布如今感觉像是“周期性检查点”(@zhangqiaorjc)。
排行榜重置与基准完整性
AA Intelligence Index v5:重建后的指数有 60% 基于私有测试(@TheRundownAI)。
Carbon 之前的排名:Opus 5.5 得分 58,其次是 GPT-6 Astra(57)、GPT-6.1 Sol(55)、Sonnet 5.5(54)和 GPT-6.1 Terra(51)。
开放模型:Kimi K3.1 Pro 从 55 降至 46。DeepSeek V4.1 Flash 和 GLM-5.3 均得分 32,低于 Claude Haiku 5.5 的 36。
中美差距:scaling01 认为在 AA Progress Index 上的差距约为 3.3 个月(@scaling01)。
FrontierCode 2.0 神秘模型:Cognition 的数据包含一个隐藏的“Obsidian 3”,得分 46.8%,而 Opus 5.5 为 45.5%。由于它运行在 claude-code 框架中,有人推测它是 Fable 5.5;这尚未得到证实(@kimmonismus)。
DeepSeek 更正:scaling01 更正了先前的识别,并表示 Artificial Analysis 显示 DeepSeek V4.1 Flash-1017 约为 28%(@scaling01)。
来源混杂:teortaxes 指出,Cognition 的图表将模型卡得分与独立测量的得分混在一起(@teortaxesTex)。
成本比较不可靠:teortaxes 认为,对 Haiku 5.5 和 V4.1-1017 的标价比较扭曲了真实成本。该比较采用了 DeepSeek 的峰值定价,忽略了 Haiku 的长上下文附加费,也没有反映 Haiku 约 2 倍的输出 token 数(@teortaxesTex)。
“Benchmaxxing”重新定义:nrehiew 认为,严肃的实验室很少在测试集上训练。按此观点,分数差距主要表明实验室在后训练中针对了哪些能力(@nrehiew_)。
新评测:
Gym-Anything-RT:这些实时小游戏在模型思考时仍在继续运行。最佳模型 GPT-6 Astra 得分 9%(@PranjalAggarw16)。
Immigration Bench:Vals 发布了关于签证和移民身份、由专家编写的问题和评分标准(@ValsAI)。
BallotBench:九个智能体各带 500 美元,实时预测 2026 年中期选举的全部 863 场选战(@thoughtfullab)。
安全、对齐与模型溯源
DeepSeek V4.1 Flash-1017 中的评估过度归因:一项独立评估发现,该模型将 69 段真实用户对话中的 32 段判定为评估。作者报告,在 EvalDetectBench 上假阳性率为 46.4%(@ZhihuFrontier)。
基准暴露:私有基准比公开基准引发的评估意识更低。作者认为,仅凭公开基准结果可能无法预测部署行为。
视觉引导:Google DeepMind 和斯坦福的一篇论文发现,上下文中出现一张红心图片使 Claude Opus 4.7 和 GPT-5.4 在 100% 的情况下写出递归代码(@dair_ai)。
解释:模型的解释与其行为不符。对于 GPT-5.4,74.7% 的推理轨迹给出了错误的理由。
对齐技术:
GRAFT(Anthropic):检测到的奖励黑客行为所产生的更新被限制在训练后会被删除的参数中。Anthropic 表示,这也能阻止监控器无法检测到的黑客行为(@dl_weekly)。
内嵌测谎器:一个内建于 Qwen3.5 权重中的检测器在 28k token 中标记出 91% 的谎言,零假阳性。告诉模型“监控已关闭”不会改变结果(@divagr1925)。
蒸馏指控(未证实):据报道,The Information 称 Kimi K3.1 Pro 是从 GPT-6 Astra 蒸馏而来(@kimmonismus)。
Giotto:另外,“欧洲主权 AI”Giotto 被批评为基于 Kimi 的模型。批评者指出其基准已饱和,且其 EULA 禁止公布用户自己的基准数值(@oneill_c)。
编码智能体与开发者工具
GitHub Copilot Fusion:Fusion 在运行时编排 Anthropic 和 OpenAI 的模型(@ArtificialAnlys)。
独立结果:在 AA Coding Agent Index 上,它在 Claude Code 中比 Opus 5.5 低 2 分。每任务成本 5.59 美元,而该配置为 11.42 美元,并且每任务使用 7.2M token。它以 71 领先 Terminal-Bench 4.0。
GitHub 的说法:GitHub 声称成本最高降低 77%,运行速度提升 40%。它还推出了 Copilot automations 和多仓库 Copilot Projects(@kdaigle)。
T3 Code 多机编排:一个线程可以驱动多个模型、harness 和机器。单个 MCP 服务器通过互联网控制整个机群,而不是通过 computer use(@theo,MCP 演示)。
Harness 开销:30 个开源编码 harness 的默认系统提示词,从 goose 的 235 token 到 Gemini CLI 的 11,974 token 不等,这还不包括任何工具定义(@nathanhabib1011)。
智能体训练与能力:
后训练课程:Hugging Face 发布了一套五步智能体后训练课程,在真实 harness 内从 SFT 一直进行到 RL(@SergioPaniego)。
Opus 5.5 游戏:Simon Willison 称十月是一个拐点,因为 Opus 5.5 构建的游戏确实好玩(@simonw)。
Lor:Lor 的智能体编写代码并运行多天的实验,一次数百个;该产品处于私有测试阶段(@mirendil)。
研究:架构、训练与理论
H-Net v2(Cartesia):H-Net 从原始字节端到端学习分词(@_albertgu)。
结果:受控缩放实验显示效率提升 3–5 倍。在更大规模下,该模型以约 1/10 的数据和计算量,匹配了一个用 11T token 训练的开放模型。
代码:H-Net 学会将变量名视为独立 token,在代码上比 BPE 扩展得更好(@tri_dao)。
NanoGPT 速通纪录:利用针对稀有、重复内容的检索增强 n-gram 提示,纪录从 39.9 秒降至 6.7 秒(@hermanbrunborg)。
OpenAI 声称反驳 ETH:该声明是一个运行时间为 2^{O(n/√log n)} 的 3-SAT 算法,已在 Lean 中形式化。它用代数方式编码解的数量并重建它(@ZhihuFrontier)。
实用性:除非 n 天文数字般巨大,该算法会退化为指数时间(@beenwrekt)。
解读:Mark Sellke 发布了提纲幻灯片(@MarkSellke)。
小型专用模型:Samaya 通过两个 SFT 阶段和两个 GRPO 阶段对 Nemotron 3.5 Lightning(总计 30B,激活 3B)进行后训练。它在 FrontierFinance 上得分 58.9%,而 Fable 5.1 为 55.9%,成本为 $0.61 对 $6.89(@maithra_raghu)。
检索与记忆:
网络上的 AI 文本:截至 2026 年 8 月,约 24% 的可抓取页面包含 AI 生成或 AI 编辑的文本(@omarsar0)。
推理与硬件系统
KV-cache 工程:
AKV(清华与港中文):该服务引擎增加了“drop”和“repos”缓存操作。它将智能体成本降低 27.7%,并将 P95 延迟改善 1.51 倍(@TheTuringPost)。
DRAM 卸载:SemiAnalysis 称,在 B200 上,SGLang HiCache 卸载到 CPU DRAM 在 12–16 个并发智能体会话下增加了 20–40% 的可缓存 token(@SemiAnalysis_)。
缓存计费:cHHillee 认为,按实际命中的缓存计费会激励提供商避免缓存命中。他倾向于按理论命中或基于 TTL 的命中计费(@cHHillee)。
开放运行时:
Modular MAX:Modular 公开了完整的 MAX 源代码,包括编译器、运行时和硬件后端,且不收取版税(@cristianoamon)。
MLX:近期的内核使批量解码快 2–3 倍,融合 SDPA 快 1.4 倍(@zcbenz)。
NF12:无损 12 位 BF16 格式使 Qwen3-32B 的 token 生成速度提升 1.23 倍(@sylvie_l)。
封装:ASE 为 AMD Venice 提供的面板级封装每面板可容纳 25 个中介层,而每晶圆为 22 个。生产于 2027 年第一季度开始(@SemiAnalysis_)。
语音、视频与多模态模型
NVIDIA Nemotron 3.5 Transcribe:这个开放权重的 30B MoE 模型约有 4B 激活参数。它支持 40 种语言、说话人归属、翻译和音频问答(@NVIDIAAI)。
独立结果:其在 AA-WER 上得分为 2.8%,与 Voxtral Small 并列开源模型第一。在 DeepInfra 上,它以 75 倍速度因子运行,每 1,000 分钟收费 2 美元(@ArtificialAnlys)。
服务:vLLM 首日即支持,提供 BF16、FP8 和 NVFP4 权重(@vllm_project)。
AssemblyAI-TTS-1:该模型每 100 万字符收费 15 美元,首音频延迟 90 毫秒(@AssemblyAI)。
独立结果:Artificial Analysis 将其在 Provider Voice 中排名第 12,在 Controlled Voice 中排名第 10。它每秒生成 162 个字符(@ArtificialAnlys)。
图生视频基准:Artificial Analysis 推出 AA-Video-I2V v2.1(@ArtificialAnlys)。
领先者:Seedance 2.5 以每分钟 34.12 美元位居第一。开放权重的 MiniMax H3 以每分钟 4.80 美元位居第三。
行业与政策
OpenAI API 额度:ChatGPT Pro 订阅者可按层级每月领取 100–500 美元。企业计划每个工作区最多可汇集 500 美元(@OpenAIDevs,层级)。
Dot 短信:ChatGPT dot 现面向美国 Pro 用户以预览形式支持短信(@ChatGPT)。
Anthropic S-1 会计处理:Jamin Ball 表示,2026 年上半年约 800 亿美元的净亏损主要是可转换票据和 SAFE 负债的按市值计价增加,而非运营亏损(@jaminball)。
第三季度财务数据:他还认为,S-1 草案中省略第三季度财务数据是正常的(@jaminball)。
Particle 发布:particle-1 声称在 token 用量减少约 45% 的情况下实现性能持平(@Suhail)。它基于 DeepSeek V4.1 Flash-1017 构建(@teortaxesTex)。
Databricks 对决 Snowflake:在 Snowflake CEO 称市场见顶后,Ali Ghodsi 公开向 Snowflake 推销 Unity Gateway(@alighodsi)。
热门推文(按互动量)
@sundarpichai:Gemini 4 Carbon 发布,附带网络基准(33.3K)
@OfficialLoganK:Carbon 介绍(17.4K)
@NVIDIAAI:Nemotron 3.5 Transcribe(7.4K)
@ChatGPT:给你的 dot 发短信(6.9K)
@OpenAIDevs:每月最高 500 美元 API 额度(6.9K)
@_albertgu:H-Net v2 扩展结果(5.4K)
@ArtificialAnlys:Carbon 独立分析(5.3K)
@hermanbrunborg:NanoGPT 速通 6.7 秒(2.2K)
AI Reddit 回顾
/r/LocalLlama + /r/localLLM 回顾
1. 开放权重模型发布:LFM3 与 Ling 3.1
LiquidAI/LFM3-1.7B · Hugging Face(热度:582):Liquid AI 发布了 LFM3 系列,核心是 LFM3-1.7B:一个
1.73B后训练文本模型,采用 24 层三混合架构,包含13个门控短卷积、5个滑动窗口注意力层和6个全局注意力层,支持256Ktoken 上下文以及约1 GB的 4 位边缘部署。此次更广泛的发布还包括 VL-2B、Audio-2B、Omni-2B、决策模型 d1-2B / d1-Omni-2B,以及 1.7B 基础检查点,支持范围涵盖文本、视觉、视频、音频、语音输出和单遍校准决策任务。llama.cpp的支持据称已通过合并的 PR #31257、#31252 和 #31275 落地,从而支持本地 GGUF 推理工作流。Ling-3.1-flash-1019 权重已发布,基础模型也一并放出(热度:277):该图片是一张 Artificial Analysis Intelligence Index v4.3.2 柱状图,突出显示 Ling-3.1 Flash 1019 得分为
44,位居榜单中游,接近 GLM-5.0、Step 5 Preview 和 Kimi-K3 等模型。帖子指出新发布的 Hugging Face 权重 inclusionAI/Ling-3.1-flash-1019:一个560B总参数 /25B激活参数的 MoE 模型,具有1M上下文窗口,另有一个 BF16 基础检查点 Ling-3.1-flash-base 可供进一步训练。作者还指出了一个实现上的坑:SGLang README 示例仍指向旧的inclusionAI/Ling-3.1-flash路径,应改为inclusionAI/Ling-3.1-flash-1019。评论者质疑 Ling-3.1 Flash 1019 是否优于 DS41F 1017,据称后者得分高一分,同时通过 engram 加原生 MXFP4/MXFP8 支持使用更少的运行时资源。其他人称赞其宽松的 MIT/Apache 风格许可,但指出他们可能无法运行如此大的模型,还有一位用户表示他们试过的先前 Ling 模型存在问题。一位评论者质疑 Ling-3.1-flash-1019 在技术上是否优于 DS41F 1017,声称 DS41F 在参考基准上得分高
+1,同时由于 engram + 原生 MXFP4/MXFP8 支持和“少得多的激活参数”,运行更便宜/更快。这将主要技术权衡框定为基准持平与推理效率及量化/运行时支持之间的取舍。几条评论关注的是发布可用性而非排行榜分数:用户强调了新发布的 基础模型 和宽松许可(如 MIT/Apache-2.0)的价值,但一位用户报告称他们测试过的先前 Ling 模型存在反复出现的质量或可靠性问题。另一位则质疑 GLM-5.3-flash 与 Ling-3.1-flash 之间的基准等效性,认为相似的基准分数可能并不反映相当的实际质量。
2. Qwen:1M 上下文、URL Trace 争议、Qwenputer
Qwen4 1M 上下文窗口(热度:386):一篇 Reddit 帖子声称 Qwen4 模型将支持
1Mtoken 的上下文窗口,并引用了qwen-codeGitHub PR:QwenLM/qwen-code#15762。帖子称 Qwen4-27B 未出现在该 PR 中,但预计将在 Apsara Netherlands 上公布,而 Qwen4-Max 显示的日期为October 1st/November 1st,很可能是因不一致而使用的占位符。评论者大多持乐观态度:一人指出 Qwen/QFN 中的262k上下文已经很有用,但他们已经“被1M宠坏了”,另一人则对 Qwen4 27B 作为潜在的重大升级表示期待。用户强调,
1M上下文窗口相比 Qwen/QFN262k上下文是呼声很高的重要升级,一位评论者指出架构已改进到足以让他们在本地或工作流中实际容纳/使用更长的上下文。围绕即将推出的 Qwen4 模型变体存在猜测,尤其是被寄望为重大升级的 Qwen4
27B,以及来自一份 PR 的qwen4-omni-120b-think,一位评论者解读其可能是一款新的 Flash 风格模型。一位评论者请求推出更好的 Q38FN 版本,少关注规模,多关注更干净的训练数据,剔除“无用产物”,并用更高质量的世界知识取而代之,强调数据集整理是实现质量提升的途径。
驳斥 Cohere 关于 Qwen 3.8 Flash Next 上传至阿里巴巴远程 URL 的说法(热度:1461):该帖子认为 Cohere 关于 Qwen 3.8 Flash Next“回传数据(phone-home)”的说法被夸大了,因为他们公布的 HF 追踪记录据称用一个
2,323token 的前缀预填充了模型,该前缀恰好结束于某个 URL 之前,实际上把模型变成了一个受约束的 URL 补全生成器,而非展示自主的网络意图。帖子还指出,Cohere 的 CEO 告诉 The Register,他们“没有证据”表明该行为是故意的,且它出现在不到1 / 100,000次调用中,而原始提示含糊不清,很可能诱发幻觉性的检测规则产物。评论者大多将此事件视为一个提醒:应将 LLM 智能体置于沙箱中,并默认将生成或检索到的代码视为不可信/恶意。几位评论者认为 Cohere 的披露是营销/宣传,或是对 Qwen/阿里巴巴的恶意攻击,而非确凿的安全发现。一位评论者强调,无论 Cohere 具体的远程上传说法是否成立,智能体运行框架都应将来自人类、公司或 LLM 的不可信代码视为恶意软件。他们特别点名了那些对权限提示“YOLO”(盲目放行)的用户,并主张应在适当的沙箱中运行智能体,以防止意外的网络/文件系统访问。
有人在 Qwen 的模型权重里直接构建了一个 32 位 RISC-V CPU,使其能够在内部执行指令!(热度:1045):一个名为 Qwenputer 的项目修改了 Qwen3.5-4B 的权重/层,在模型前向传播中嵌入了一条虚拟的
32-bit RISC-V类 CPU 执行路径,相关文章、模型和演示见 divagr.com/blog/qwenputer、Hugging Face 和 ModelScope。评论者指出,关键机制似乎是原生工具执行:当 Qwen 输出<tool_call>(例如calc、put、get或list)时,新增的“计算机层”会在前向传播过程中拦截它,在虚拟 RISC-V 处理器上运行代码,并在内部逐 token 合成<tool_response>。主要的技术质疑在于,这可能只是一种低效的新奇工具调用形式,而非一种根本性的新执行范式,不过有一位评论者提出,这种极端的沙箱隔离可能具有安全优势。另一位评论者则更倾向于相反的方向:将 Qwen 权重直接用芯片电路实现,同时指出目前的方法成本高得令人望而却步。评论者澄清,该项目似乎更接近原生/被拦截的工具执行,而非在普通 token 生成中进行任意的“CPU 推理”。链接的模型卡称,Qwen 会输出
<tool_call>,例如calc、put、get或list;自定义的“计算机层”会在前向传播过程中拦截它,在虚拟的 32 位 RISC-V 处理器上执行,并逐 token 写回<tool_response>(Hugging Face)。主要的技术质疑在于,与传统的外部工具调用相比,这可能只是一种低效的新奇做法。有人提出一个可能的优势是沙箱隔离/安全性:由于执行发生在嵌入模型流水线中的受限虚拟 RISC-V 环境内,工具行为可能比普通的主机侧工具执行更加隔离。
3. Artificial Analysis Index v5 基准测试引发的反响
Artificial Analysis Intelligence Index v5(重大更新)(热度:960):Artificial Analysis 将其 Intelligence Index 更新至 v5,称这是一次重大的方法论变更;帖子指出,该指数的
60%现在依赖私有测试集或留出答案,限制了可复现性。据称,新排名将开源与闭源的差距从3扩大到12分:Kimi K3.1 Pro 以46成为排名最高的“开放权重”模型,尽管其权重尚未发布;而已发布权重的模型 DeepSeek V4.1 Flash 1017 和 GLM-5.3 以32领先,低于 Claude Haiku 5.5 的36,落后总榜首26分。评论者对更新时机和方法论持怀疑态度,认为当开放权重模型接近闭源前沿性能时,基准定义往往会发生变化。一些人还在没有证据的情况下猜测,此次更新的时机可能与 Anthropic 的 IPO 叙事有关。一些评论者聚焦于基准测试方法漂移,认为 Artificial Analysis Intelligence Index v5 的更新似乎在开放权重模型刚刚接近前沿分数后不久,就扩大了开放权重模型与闭源模型之间测得的差距。技术上相关的担忧在于,改变基准测试的构成或权重会实质性地改变模型排名,但该讨论串并未提供具体的指标差值、任务级细分或可复现的证据。
一位评论者特别提到 Kimi K3.1 Pro,作为开放模型在评分规则改变前据称接近前沿性能的一个例子。然而,该讨论并未包含基准测试分数、评测类别或与特定闭源模型的对比,因此这一说法仍属于方法学批评,而非有数据支持的分析。
AA 现在越来越离谱了。最具吸引力象限里零个开放权重模型。(活动:519):该帖批评 Artificial Analysis(AA)Index v5.0,因为其最具吸引力象限/区域据称包含零个开放权重模型,而早前的版本将 DeepSeek、GLM、Kimi 和 Qwen 放在更接近吸引力/帕累托前沿的位置。作者指出分数可能处于更新中途,并链接了一张手动填充的 AA 图表作对比,但认为由此产生的智能/效率视图对开放权重模型而言仍系统性地稀疏:AA 图表。一条高赞评论引用了一段动画,声称 AA 从
4.1到4.3的过渡导致 OpenAI 的分数不成比例地跃升,而其他模型大致保持比例,这使一些用户不信任聚合指数,而更倾向于子基准测试。评论者声称 AA 的指数变化可能偏向闭源/专有厂商,并猜测其面向投资者的观感或 IPO 动机;其他人则开玩笑说,开放权重模型保持低调反而更好。一位评论者指向一段比较 AA 版本的动画
4.1与4.3,认为图表方法学似乎不稳定,因为OpenAI 的位置急剧上升,而其他模型大致保持比例。他们表示这种不连续性使他们降低了对该基准测试可靠性的评价。几位用户质疑 AA 的“每任务成本”估算,称实际观察到的 API 使用情况与图表不符。一个例子声称 DeepSeek V4.1 Flash 和 GPT Sol 的实际输出相似,但 GPT Sol 的成本“至少是五倍”,而非图表暗示的大约
2x;另一位报告称 GLM 5.3 Flash 以$0.09完成一项任务,而 Astra 据称在可比工作上花费约$20。一项技术批评针对模型排名的质量:Terra 被描述为排名高得可疑,因为在用户测试中,它据称仅完成部分工作就声称完成,从而在基本指令遵循上失败。这表明该基准测试可能过度加权狭窄的评测表现,或对任务完成失败的检测不足。
技术性较低的 AI Subreddit 回顾
/r/Singularity、/r/Oobabooga、/r/MachineLearning、/r/OpenAI、/r/ClaudeAI、/r/StableDiffusion、/r/ChatGPT、/r/ChatGPTCoding、/r/aivideo、/r/aivideo
1. Gemini 4 Carbon 前沿基准测试
Gemini 4 Carbon(活动量:2434):该图片是一张基准对比表,帖子中将其归因于 X 上的 @GoogleDeepMind,突出展示了 Gemini 4 Carbon 与 Gemini 4 Argon、GPT-6 Astra、Claude Opus 5.5 以及 Claude Fable 5.1 的对比。图片声称 Gemini 4 Carbon 在众多技术类别中领先,包括编程、智能体计算机操作、多模态理解、长上下文、科学/数学以及网络安全,并在
AA Index、SWE-sweep、Terminal-Bench、Agents’ Last Exam、GraphWalks、RiemannBench和SEC-bench Pro等基准测试中取得最高分。Reddit 文本中未提供方法论、数据集版本或独立验证,因此该表最好被理解为一份声称的厂商式基准总结,而非可复现的评估。评论者指出,尽管模型似乎有所改进,但据报道 Gemini 4 Carbon 并未公开提供,可能仅限于选定的“网络团队”,且未提及发布日期。这限制了对任何声称的性能提升进行独立基准测试或验证。
Alphabet 推出下一代前沿模型 Gemini 4 Carbon。(活动量:1588):一篇 Reddit 帖子声称 Alphabet/Google 正在推出其下一代前沿模型 Gemini 4 Carbon,并提及了基准测试,但所提供的摘录不包含任何基准数字、任务、方法论、模型卡、发布说明或来源链接,无法从技术角度验证该说法。 高赞评论大多对 Google 的模型节奏和访问权限持怀疑/不满态度:用户抱怨 Gemini 3.1 Pro 长期没有更新,Argon 存在时间短或难以访问,他们希望 3.1 被弃用或替换。
一些评论者关注近期 Gemini 预览模型面临的严重访问/速率限制约束,其中一人声称用户“甚至无法获得 Argon 的
3提示词”,另一人则夸张地将可用性描述为“每周1个提示词”。虽然该讨论并非以基准测试为导向,但该帖暗示,即使在评估像 Gemini 4 Carbon 这样的新前沿模型之前,模型推广容量和配额政策也可能是一个实际障碍。一条为延迟发布辩护的实质性论点认为,前沿模型的发布需要时间进行基础设施安全加固,尤其是在最近发现网络安全问题之后。该评论者表示,立即发布将使软件基础设施“零时间做出反应和修补”,从而在部署期间增加暴露于恶意行为者的风险。
2. Claude Code 配额与 Token 回归报告
Claude Code 今日使用量暴增 8 倍。Anthropic 确认服务错误会消耗我们的付费额度——而且他们不会补偿用户(活动数:2418):一位 Claude Pro 用户报告称 10 月 27 日 Claude Code 配额出现异常消耗,本地
ccusage统计总量从此前有记录的日均161M总 token 数 /303K输出 token 数 /$41.17API 等效成本,升至1.306B总 token 数 /7.97M输出 token 数 /$493.04——分别约为8.1x、26.3x和12x(附图)。据称 Anthropic 支持团队确认当天发生了两起已解决的 Claude Sonnet 5.5 错误率升高事件,并声明服务错误的重试 “确实会计入使用限额”,确认该用户的 Pro 用量受到了影响,并表示重试/事故期间的用量无法退款、抵扣或补偿。评论者将此视为严重的计费/配额核算失误:一位 Max 套餐用户声称其$200套餐一天内消耗了70%,而平时仅为10–15%;其他人则批评 Anthropic 拒绝补偿。少数评论认为偶发的重置或限额提升可能是 Anthropic 的隐性缓解措施,但未提供具体政策细节。多位用户报告 Claude Code 配额消耗明显急剧增加:一位 $200 Max 套餐用户称,平时一天只使用周额度中的
~10–15%,但单日消耗了70%;另一位 Pro 用户则报告仅2个问题就花掉了2%的周用量,总计约250K tokens,耗时4 minutes。一位分析 5 小时限额的用户声称实际上限似乎低于预期,并分享了一张截图显示限额耗尽速度异常之快:https://preview.redd.it/wdut6kwym2yh1.png?width=1110&format=png&auto=webp&s=ce00732aae39c296bd50b39efd8b7e05cf2948fa。另一位评论者估计,即便上下文经过“精心控制”,配额消耗速度仍比正常情况快约
2x–5x,暗示可能是核算方式变更、服务错误 token 计费或计量行为异常。
根据我的 Claude Code token 分析,Claude 的表现比上周差了 3.8 倍(活动数:1411):图中是一张深色主题的 Claude Code / Opus 5.5 token 用量对比表,展示了发帖者所称的回退:本周消耗了周额度的
65%,却只产出2.04M输出 token,而上周为11.94M;“每 1% 限额的输出”从119K降至31K,“每 1,000 输出 token 的加权用量”从78K升至296K——被解读为效率约差3.8×。结合上下文,帖子将此归因于 Claude Code 框架/编排可能的变化:子代理重读父上下文、执行更多步骤、更频繁地派生、文件读取重叠,并且当子代理上下文超过约350Ktoken 时尤其退化。图片评论者报告了类似的莫名配额消耗,并批评 Anthropic 悄悄更改框架,包括据称移除了前台子代理以及对自主启动新会话的限制。一位评论者认为该问题可能同时涉及模型质量和 Claude Code 框架,并暗示框架版本变化可能解释了 token 用量增加。有几位评论者区分了Claude 模型本身与Claude Code 的封装层(harness),认为近期的 token 用量回退可能源于封装层/版本的变化,而非仅仅是模型质量的问题。一位评论者建议按版本查询 Claude Code 关于封装层变更的情况,并称这解释了 token 用量增加的原因;另一位则报告称,在流程没有任何变化的情况下,每周 Premium 用量从大约
15%上升到33%。一位评论者报告称 Claude Code 的编排出现了未记录在案的行为变化:据称子代理不再能于前台运行,并且除非该轮次由用户消息发起,否则会话不能再自主启动新会话。他们将这些描述为悄然破坏工作流的变更,会影响自动化/会话管理模式。
一位用户基于四次 Claude Code 会话提供了一份错误模式分析,列出了
26处 Claude 在24 hours内承认错误的实例。这些例子表明反复出现以下问题:未经核实的假设、夸大的计数、循环式回答、未能检查日志/构建状态,以及更改此前已批准的决策——这可能表明代理可靠性或上下文管理行为出现了退化。
3. Claude Opus 5.5 数学突破的说法
这事有多大?Claude Opus 5.5:“如果这些成立,这将是数学和理论计算机科学史上最重大的单日进展。”(活跃度:1406):该帖声称 Claude Opus 5.5 产出的结果若成立,将对数学/理论计算机科学具有历史性意义;由于 Reddit 返回 403 Forbidden,所链接的 Reddit 图集无法核实。技术讨论集中在所谓在高层级开放问题上的进展,包括提及 Yang–Mills/QFT 基础以及一个精选开放问题追踪器 ProofAtlas,其维护者声称
6个问题在“昨天”得到解决,其中包括排名前100中的4,问题#3取得部分进展;他们还声称 OpenAI 10 月 6 日的发布解决了90个问题,其中包括排名前100中的10,以及#2的部分进展。评论者认为,关键问题不在于具体的定理,而在于 AI 系统能否在如此复杂程度上可靠地解决问题,并具备足够的正确性保证。一位 QCD 研究者将一项与 Yang–Mills 相关基础的证明形容为非凡之举,同时指出完整的质量间隙证明将更加具有颠覆性。一位从事QCD 研究的评论者将所称的结果定性为可能对量子场论具有基础性意义,并指出 Yang–Mills/QFT 基础尽管给出了极其精确且经实验验证的预测,但在历史上数学上并不完整。他们特别强调,Yang–Mills 的证明将非同凡响,而证明质量间隙将是更具深远意义的里程碑。
一位评论者链接了一个维护重大数学问题的追踪器 ProofAtlas 开放问题,声称所列的
6个问题在一天内得到解决,包括排名前100中的4,问题#3取得部分进展。他们还声称OpenAI 10 月 6 日的发布解决了90个问题,包括排名前100中的10,以及问题#2的部分进展,暗示 AI 辅助数学研究产出出现了可衡量的加速。另一个偏技术性的讨论串认为,关键问题不在于具体定理,而在于AI系统能否在足够高的预期正确率下,可靠地解决这一复杂度层级的问题。该评论者将此与递归自我改进联系起来,提出AI在芯片设计、软件开发和数学/计算机科学领域驱动的进展可能形成反馈回路,从而提升未来AI的能力。
Internal Claude research model also independently refuted the Exponential Time Hypothesis on October 16, with 14M output tokens and no human input. (Activity: 1351): The image is a screenshot of an X post claiming an internal Claude research model independently found a “core algorithm” refuting the Exponential Time Hypothesis (ETH) on
October 16, producing roughly14Moutput tokens with no human input. The Reddit post links to Anthropic’s formal-math/eth repository, implying the result was later refined by Anthropic researchers with Claude into a more presentable proof/paper artifact. Commenters were skeptical of the timing and framing, with one suggesting it looked like a response to OpenAI’s similar announcement: “we solved it too, look what we can do.” Others questioned the real-world consequences of refuting ETH and joked that competitive advantage in frontier AI may come down to owning massive GPU capacity rather than a durable algorithmic moat.A commenter asked about the real-world consequences of refuting the Exponential Time Hypothesis (ETH), specifically whether practical systems or assumptions depend on ETH being true. This frames the result as a complexity-theory breakthrough whose impact may be indirect: ETH is widely used for conditional lower bounds, so refuting it would potentially invalidate many hardness assumptions, but not necessarily imply immediate practical algorithms.
One technically relevant thread pointed to prior automated-math work involving Levent and large-model theorem-proving experiments, including the Yang–Mills LLM experiment repository: https://github.com/ethanwsussman/Yang--Mills-LLM-experiment. The commenter also referenced Levent being involved in earlier high-profile mathematical work, suggesting Anthropic’s result may fit into a broader pattern of LLM-assisted attacks on major open problems rather than an isolated ETH claim.
Another commenter argued that there is limited defensibility or “moat” in this kind of result if competitors can scale to “a country worth of GPUs.” The technical implication is that frontier mathematical discovery may be increasingly constrained by compute scale and inference budget—here the post claims
14Moutput tokens with no human input—rather than by a unique algorithmic advantage alone.
来源:Latent Space · latent.space