GPT5终于发布了，但相比GPT3.5、sora等，并没有给人们带来震撼的感觉。往好了说，OpenAI放弃了传奇期货王的身份，聚焦大模型的落地与应用。这其实也解释了为何在发布会上，OpenAI特别强调GPT-5 在编程方面的能力：毕竟今年没有比AI Coding更落地的AI方向了。一众AI IDE工具也第一时间接入了GPT5，这放在以前没2个月谁能用到。 然而，有媒体披露OpenAI在编程能力测试中“作弊”。具体来说，在SWE?Bench Verified这项编程测试里，OpenAI并不是真的跑了全部500道题，只测试了477个。而claude、谷歌等模型在测试模型编程能力时，是跑满500到题目的。 此外，更吊诡的是，SWE?Bench Verified是OpenAI推出来的一个“精炼版”。因为原本的 SWE?Bench有2294个软件工程问题，OpenAI觉得这些题目中有些太难、太不稳定，无法公平评估模型的编程能力，于是OpenAI自己选了500道题，让评测更靠谱 。结果更离谱的是这个“自己选的子集”，又被砍掉一部分，剩下477道题跑评测。 SWE?Bench Verified是一套面向真实世界软件工程问题的高质量评测数据，旨在衡量代码修复与理解能力。该数据集包含500个经过验证的测试样本，每个样本均附带代码仓库信息、问题描述、修复补丁、测试补丁以及难度标签等关键信息。 题目难度上主要依据“完成时间”进行区分，比如15分钟内完成的就比较简单，难点点任务可能会用时超过4小时。目前SWE?Bench Verified中有38.8%的任务可在15分钟内完成，52.2%需要15分钟至1小时，8.4%的任务耗时在1至4小时之间，仅有0.6%的任务超过4小时。 每个项目会测试大模型各个方面的代码能力。比如django/django：作为占比最高的项目，主要测试开发者对大型Web框架的理解能力，特别是在数据库查询优化、URL路由、中间件处理等方面。pandas/pandas：数据分析领域的代表，测试对数据结构和数据处理算法的掌握程度，特别是在处理大规模数据和复杂数据转换方面。 至于OpenAI为什么要删除23道测试题而不是用完整版，答案也许就在下面的排名中。在SWE?Bench Verified完整版，也就是500道题目的基准下，GPT5并没有超越claude 4 Opus。 然而，反转又来了，上述测试是基于bash only，也就是完全依赖大模型本身的能力。现实情况下，用户通常会使用AI IDE来配合大模型使用，像cursor、codebuddy、trae等。问题也就随之而来，AI IDE提供的模型中，“最好”的claude 4 opus很贵，tokens很容易用完，换句话说，目前GPT5可能是最具性价比、可用性最强的编程模型？ 随后，用相同的prompts用claude-4-sonnet进行生成，非常明显的感受是，claude-4-sonnet的一次成功率不如GPT5，比如常见的网页不显示问题，与claude进行了多轮交互才得以解决。 在UI层面，由于两者都采用了MUI框架，视觉风格上差异不大。但在细节打磨上，claude-4-sonnet生成的网页明显更胜一筹——响应式布局更加出色，在不同屏幕尺寸下都能保持优雅呈现。外链信息的组织也更合理，例如项目的issue与详情分布清晰，而GPT5生成的页面不仅“暴露”了数据库来源（HuggingFace），内容排列逻辑也略显混乱。 功能方面，GPT5在筛选功能上表现突出，仓库标签数量完整（10个），优于Claude-4-sonnet的8个。但从交互体验来看，claude-4-sonnet的筛选操作更加直观易用，并针对移动端提供了专用的筛选入口，减少了操作步骤。 为了更客观，我们还引入Gemini 2.5 Pro对两个项目进行评分。结果显示claude-4-sonnet生成的项目在几乎所有关键维度上都优于GPT5。前者以模块化架构为核心，将组件按功能分区，并通过自定义Hooks实现数据与视图的分离，可维护性和可读性更佳；后者则采用扁平化组件结构，数据逻辑与UI高度耦合，更像一个原型验证型应用。 在整体功能体验上，claude-4-sonnet不仅集成了搜索、视图切换、响应式布局等能力，还通过侧边栏详情、移动端专用筛选等现代交互模式缩短了操作路径，而GPT5则依赖传统的页面跳转方式，操作链路更长。总体来看，claude-4-sonnet在代码质量、功能深度和用户体验上都体现出更成熟的软件工程思路和更广的应用场景覆盖，而GPT5的优势主要集中在特定功能的完整性和实现速度上。 回到测试，事实上会影响大模型能力的变量太多——数据集构成、推理策略、上下文管理、工具调用能力，甚至IDE本身的特性，都会让结果发生明显波动。也许换个任务，GPT5表现会更好，也许换个IDE，同一模型就会跑出不一样的分数。但毕竟，这是GPT5。曾经有人调侃，本轮大模型的估值与泡沫，全靠OpenAI一肩扛着，如今这个重担似乎可以稍稍卸下。 在AI Coding领域，排行榜从来只是一个切片，真正决定生产力的，是模型在真实开发环境中的稳定性、可维护性、与工具链的适配程度，以及产物能否在复杂的应用场景里，依然交出可用且可靠的代码。
