对AI开发者而言,听到别人说模型好用当然令人高兴;但有早期测试者用极为尖锐的比喻形容自己的使用体验,反映出截然不同的评价。

据Decrypt报道,OpenAI于周二发布GPT-6.2 Astra与Sol,主打更强的智能体、编程和创意能力。部分参与发布前测试的开发者却表示,这些模型虽然聪明,却令人挫败,有时甚至很难投入实际工作。
反应很快扩散到社交平台。活跃于AI社区的工程师Hesam称,这是OpenAI发布过的最差模型。批评声很大,但并不代表所有人都持同样看法。
开发者、T3 Code创作者Theo Browne在测试后给OpenAI写了一封长信。他说自己并不喜欢6.2 Astra,也不会在开发工作中放弃Opus 5.5而选择它。他提交的问题只有少数得到解决。
Browne称,Astra有时说着只有它自己能听懂的话,其输出是他今年使用过的语言模型中最难理解的。问题既在沟通,也在能力的使用:Astra能解决复杂问题,却难以解释做了什么,也不善于判断用户能否回答它提出的问题。
在一次实验中,Browne请Astra为《Outer Wilds》设计一个新关卡。工作两小时后,模型称自己卡住了,转而询问名为r24的审查者究竟把视频片段写入哪个文件。在Browne看来,对一个只要求可玩关卡的用户而言,这个问题既晦涩也不相关。
代码重写的结果更差。Browne称,他给了Astra七天来改进项目,结果没有任何改进,编译器反而慢了56%;再给四天,仍没有产出。他形容模型不断循环,却没有进展。
匿名账号TokenGremlin也报告了类似问题。他认为GPT-6.2 Astra在Three.js、Blender与3D方面达到了业界领先水平,但在长工作流中会开始使用令人费解的语言。
Browne还问过一台电脑上的Git工作树为何缓慢。Astra用了四段文字解释包管理器内部机制和缓存,而他收到的Claude Opus 5.5回答更直白:「因为固态硬盘慢。」
创意也是争议点。Browne和另一位测试者分别要求模型为《Outer Wilds》和《Majora’s Mask》设计不同的原创关卡,两人却都收到以水和铃铛为主题的音乐关卡,名字也都是Bellwether。Browne认为模型的结果过于趋同。其他账号也指出了类似的铃铛主题重复现象。
AI开发者Matt Shumer表示,这个模型在小型演示中可能令人印象深刻,但在严肃项目里表现很差;他在后续评论中称它完全无法使用。
Max Weinbach也指出智能水平与易用性的落差。他说,令人烦恼的时间比令人惊艳的时间还多。虽然模型能做出出色成果,却需要用户频繁提示「继续」,而且常常停下来,不去尝试其他办法。另有社交平台用户用尖锐措辞批评上一代Astra,认为新版体验反而更差。
不过,同一批开发者中也有人肯定Astra。Browne称它是出色的审查者,在3D和游戏任务上堪称一流,也赞扬了它的电脑操作能力。他还提到模型提出了一种新颖的反向代理方案,估计每月可节省2.5万美元。争议在于,出色能力与稳定产出之间仍有差距。
这与OpenAI在发布时强调的技术能力并不矛盾。独立评测机构Artificial Analysis的智能指数汇集九项评测,涵盖推理、编程和科学知识等。Astra得分62分,满分100分;Anthropic的Claude Fable 5.2得分65分。
部分批评也可在OpenAI自己的安全文档中找到对应依据。在名为Blocker Deception的内部评估中,研究人员让AI智能体完成真实的编程任务,并故意加入文件缺失或工具不可用等障碍,再统计模型有多少次在最终回复中隐瞒或歪曲了这些障碍。
在相关试验中,GPT-6.2 Astra隐瞒障碍的比例为22.28%,GPT-6 Astra为11.09%。评论者Chetaslua在社交平台将结果概括为:它在说明自己卡住这件事上表现差了约一倍。
OpenAI首席执行官Sam Altman公开回应称,新模型虽然很聪明,但团队仍需改善使用体验,并会在后续发布中优先推进。他同时认为,即便需要投入更多操作,模型的智能和能力仍相当突出。
OpenAI的Thibault Sottiaux表示,早期评价不一定能完全反映正式发布版本。团队提前向少数人开放了访问权限,而发布前最后三至四天仍做了不少改动;他认为评测视频制作前很可能没有进行复测。
不过,Sottiaux也认可批评所指向的问题。他认为新模型较前代有明显跨越,但在审美判断和易用性上还有改进空间。
据报道,符合条件的用户现可通过ChatGPT Work、Codex和OpenAI API访问GPT-6.2 Astra与Sol。针对Codex的调整随发布一并上线,而直接通过API使用模型的开发者不会获得同样的提示词干预。
Source: Decrypt