准备用还没敲定的下一版测试用例测一下 GPT 6.2 Sol 和 Astra。这一版前四题调高了难度,后两题直接替换;因为题还没定稿,这次的成绩不会在博客的 Benchmark 榜单上算分——主要是我拿国内几个顶尖模型试过,分数都很低。

第一题强约束指令遵循,这版加了字数和红楼梦人物开头的约束。句子都按 1 到 10 结尾,9 个字也没问题,但第 2、3、4、8、9 句不通顺;一些古文表达倒是通顺,比如「凡三」是总共三首诗、「息十」是十两利息。第二题鹈鹕土星环骑车 SVG,这版去掉了转弯之类的提示,鹈鹕和自行车结构没问题,但骑到上方明显倒过来了。

第三题复合弓射箭,这版让靶子移动、限定箭筒箭数、要求人物取箭并回首弯弓射箭。主要问题出在回首射箭:整个头 180 度转过来,身前变身后,非常恐怖。第四题浏览器操作系统,要求液态玻璃 UI 和万年历。UI 有液态玻璃效果,左上角弹窗正常;但万年历实现得不够好,这个月 22 号是小雪却没有标出来。Dock 应用其他没问题,太空射击游戏依然是顶级实现。

第五题无第三方库一键去水印:水印还有一小部分没去掉。第六题 DeepSeek Harness 内存泄漏审计:源码里埋了 10 个 bug,国内顶尖模型只能找到 3 到 5 个,这次它找到了 9 个,相当厉害。

这版新 Benchmark 还没定稿,大家怎么看这套题和模型表现?