Cognition 发布 FrontierCode 2.0 榜单，AI 编程交付能力受质疑

图片来源：unsplash

编程一向被视为AI落地的“第一站”和“风向标”。如今，AI编程能力仍在不断进化，但究竟能在真实软件开发、业务场景中发挥多大实际作用，仍存在争议。

10月27日，AI编程公司Cognition发布FrontierCode 2.0测评榜单。据称更新版测评更加侧重AI编程在真实软件工程任务中的通过率，包含132项任务，相较以往版本提高了任务复杂度和工程质量要求。最终，主流模型得分均较以往大幅缩水，Claude Opus 5.5虽仍然排名最高，但分数从FrontierCode 1.1版本的54.6%降到了新版本的45.5%，排名第二的GPT-6 Astra得分从53.3%降至42.8%。其他模型跌幅更大，典型如Grok 4.7，得分从47.6%“断崖式”降至28.6%。

相关结果在社交媒体X、开发者社区中引发讨论，不少声音认为，很多模型能在编程测试中得到高分，却在真实应用中带来麻烦，说明测评本身“有水分”。不少开发者跟帖分享AI编程在真实场景中的失败案例，包括模型经常通过直接删除公共API来“暴力修bug”、“过度思考”误读需求后强行实现错误理解等。

一位在软件公司工作多年的开发者介绍称，AI在代码补全、函数生成领域带来的效率提升是历史级的，包括能够根据自然语言描述就能vibe coding（氛围编程）出简单的应用，也是以前无法想象的事。但在真实的软件工程中，生成代码只是起点。

生产级、商业化软件中的真实任务，往往需要开发者在既有系统中增加功能，同时兼容旧接口、遵循项目架构、避免引入安全漏洞，并确保其他模块不受影响。需求文档未必会写出所有约束，开发者还需要理解代码仓库的历史设计、维护者的习惯，以及不同模块之间的依赖关系。想要真正完成任务交付，光让代码能跑远远不够，从需求理解到测试验证、代码维护等诸多环节都不能出错，否则就会让最终结果无法使用。而在实际应用中，软件还需要匹配业务场景，完成业务建模，工作更加复杂。

还有开发者在社群讨论中提出“Vibe谬误”的概念，认为随着AI编程能力快速普及，基准任务的门槛几乎被踏平，但这也让人们习惯于用简单任务来理解编程工作，形成“这么简单？那我也行！”的认知和心态。但真实的软件工业仍是另一个世界，处理的不是孤立的编程问题，而是一个包含多重约束的系统工程。而且，软件开发中的正确答案往往并不唯一。一个功能可以通过多种方式实现，但只有部分方案符合现有架构、性能要求和维护规范。他认为，目前来看很多问题还是需要有经验的工程师来解决，最典型的例子就是，AI模型经常在成功修复当前问题后留下新的隐患，甚至随着其代码修改权限的扩大，能够自主调用工具、执行命令、连续修改多个文件时，错误的影响范围也会随之扩大，甚至在项目推进到一半、2/3，或启动后的维护过程中显现出“灾难性影响”，不得不“推倒重来”。

今年以来，编程Agent发展迅速，逐渐深入企业开发流程，但从目前来看，多数Agent在长程任务、多组件系统的配置与集成等领域表现仍不理想，再加之审查验证、生产环境接入与组织治理调整等环节不同步，AI编程大多仍被困在本地窗口，真正完成端到端交付的并不多。

一些从事AI开发的团队也在进行更加“AI原生”的尝试，打散传统线性任务流程和组织架构，AI跑代码开发，人类则加码评审工作，通过“项目制”聚合编程Agent与人类各自的所长。不过，值得注意的是，相关实践更多集中于本身从事AI研发的团队，而且往往是小团队先行，或将大团队切成一个个的项目组“分头行动”，在开发中使用得也多为自研编程工具或定制化工具，这些都有助于消化AI代码产能跃进后带来的测试工作“倍增”、安全高度承压等问题。而对于相对传统的软件开发领域，即使不考虑Token成本，想直接挪用这些包含了个性化工具开发、组织架构变革的模式，仍面临很多瓶颈。

想让AI编程在更大范围内形成真实生产力，或许还要先寄望于模型领域的突破。

目前，AI大模型仍在加码编程能力。10月24日Kimi发布的K3.1 Pro和10月27日OpenAI发布的GPT-6.1 Terra都强调了AI编程在真实场景中的能力提升和成本下降。

尤其是K3.1 Pro，通过训练范式的变革，着重增强了真实任务编程、长程Agent、金融等能力，测评显示其任务成功率显著提升。有业内人士分析认为，Kimi当前技术攻关的重心，是解决现有模型在100步以上长思维链中容易陷入死循环的问题，并把复杂数理证明能力和工程代码能力作为可验证推理能力的重点方向加以提升。在主流模型代码补全能力已不易拉开差距的背景下，长程链路方向的突破，有望让AI在复杂软件工程、前沿研究和物理世界推理等方面表现更佳，并在长代码Agent、金融等垂直大行业的落地场景中占据更大份额。

不过，从已公开的测评结果看，K3.1 Pro距离突破100步门槛也仍不少路要走，其他模型也在通过不同技术路线提升AI落地真实场景的能力。目前来看，何时能够搞定真正靠谱的长程Agent，是AI编程交付能力大考的关键。（本文首发于钛媒体APP，文｜飞向Tai空）

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App