GPT 6.2 Astra 增强版测评报告!
继续用还没敲定的下一版测试用例,这次测 GPT 6.2 Astra。前四题调高了难度、后两题替换;因为题还没定稿,成绩不会在博客的 Benchmark 上算分——我拿国内几个顶尖模型试过,分数都很低,上一期测的 Sol 也不算非常优秀。下面看 Astra 的表现。 第一题强约束指令遵循,这版加了字数和红楼梦人物开头。句子都按 1 到 10 结尾,9 个字没问题;虽然是古文味道,但都通顺,看来难不倒 Astra——相对来说 Sol 错了好几句。第二题鹈鹕土星环骑车 SVG,去掉转弯提示后,鹈鹕和自行车结构、转弯都没问题;单个翅膀扶车把在提示词里没限定,不算问题,硬挑只能说鹈鹕画得有点丑。 第三题复合弓射箭,靶子移动、限定箭数、取箭回首弯弓射箭都加上了;主要问题和 Sol 一样出在回首射箭,整个头 180 度转过来,身前变身后,非常恐怖。第四题浏览器操作系统,要求液态玻璃 UI 和万年历。UI 有液态玻璃效果;但日历高亮的今天下面有个点,通常代表有事件,却没有显示任何事件。Dock 里的万年历比 Sol 好,22 号小雪有正常显示;其他没问题。太空射击依然没 Sol 好,必须用...
GPT 6.2 Sol 增强版测评报告!
准备用还没敲定的下一版测试用例测一下 GPT 6.2 Sol 和 Astra。这一版前四题调高了难度,后两题直接替换;因为题还没定稿,这次的成绩不会在博客的 Benchmark 榜单上算分——主要是我拿国内几个顶尖模型试过,分数都很低。 第一题强约束指令遵循,这版加了字数和红楼梦人物开头的约束。句子都按 1 到 10 结尾,9 个字也没问题,但第 2、3、4、8、9 句不通顺;一些古文表达倒是通顺,比如「凡三」是总共三首诗、「息十」是十两利息。第二题鹈鹕土星环骑车 SVG,这版去掉了转弯之类的提示,鹈鹕和自行车结构没问题,但骑到上方明显倒过来了。 第三题复合弓射箭,这版让靶子移动、限定箭筒箭数、要求人物取箭并回首弯弓射箭。主要问题出在回首射箭:整个头 180 度转过来,身前变身后,非常恐怖。第四题浏览器操作系统,要求液态玻璃 UI 和万年历。UI 有液态玻璃效果,左上角弹窗正常;但万年历实现得不够好,这个月 22 号是小雪却没有标出来。Dock 应用其他没问题,太空射击游戏依然是顶级实现。 第五题无第三方库一键去水印:水印还有一小部分没去掉。第六题 DeepSeek Har...
可灵 Image 4.0 测评报告!真的能打吗?
可灵最新上线的可灵 Image 4.0,据说非常能打,但能不能扛住我们这套祖传测试用例?直接开测。 第一题中文长文本排版,水彩风珠海 5 天行程插画。这次「鹈鹕」两个字竟然写对了——测过这么多模型,能把这两个字写对的可谓凤毛麟角,这应该是第三个做对的模型,其他文字也没有问题。第二题文生图综合能力,书房丰满优雅美甲美女:时钟不是三点整;杯子和液体没问题;指甲油错了——提示词要求一只手食指涂红色、另一只手中指涂白底红点波点,模型确实有一只手的食指对了,但另一只手无名指和拇指也涂了红色,同一只手中指做了波点、无名指却又涂了;「丰满」它理解成了整体丰满,按我的主观标准只算对一半。 第三题角色多视角一致性,女孩四宫格:首先这明显不是四宫格;第一、第四张比心的是右手,另外两张是左手;第二张草莓在右边、其他在左边,一致性都没保持。第四题落地镜自拍:镜中手机拿反了;实景里是拇指压着手机边缘,镜中却变成食指;镜中衣服前面的图案和实景背后的图案一样,衣服前后不该相同,我推断它错了。 第五题饼图:比例和颜色没问题,图不算漂亮但不是重点——重点是只让它生成饼图,却额外生成了大量文字,我怀疑可灵暗自...
GPT 6.2 Sol 测评报告!和Astra比怎么样?
上一个视频测的是 GPT 6.2 Astra,这次换成 GPT 6.2 Sol,同样是群里哥们星星帮忙做的测试,建议先看 Astra 那期做个对比。接入还是在 GPT 客户端(Codex),思考档位 Max。 第一题强约束指令遵循,句子都以 1 到 10 结尾,全部通顺且长度适中。第二题鹈鹕土星环骑车 SVG 整体很不错,但相对 Astra 还是差点,尤其是鹈鹕的嘴巴——上下喙交替着一长一短。第三题复合弓射箭整体也比 Astra 差,而且箭羽画反了。 第四题浏览器操作系统,UI 不错,但和 Astra 比仍有差距,分辨率设置偏低导致 icons 偏大、空间显得小;右上角弹窗和 Dock 栏应用都没有问题。压轴的太空射击游戏反而比 Astra 好:上下左右与 space 发射都正常,飞机做得漂亮,子弹主要从机头前方射出,还能智能定位敌人改变方向。 第五题 3D 赛车功能没问题,但没有 Astra 漂亮——Astra 那版近乎完美,这版 UI 差点,路上的障碍物也单调许多。第六题 Trello 看板 UI 同样比不过 Astra,不过相比其他模型已经不错,主要功能没有问题。 总...
GPT 6.2 Astra 测评报告!能拿满分吗?
GPT 6.2 Astra 真把“前端交付”卷到新高度?强约束造句全中、鹈鹕骑车转弯不纸片、复合弓 SVG 挑不出刺,浏览器 OS + 太空射击 + 3D 赛车一把过,Trello 看板零依赖还好看。Codex 开 Max 档,V2.2 基准下基本高分通关,只剩子弹瞄点、弓身阴影这种吹毛求疵的小遗憾。新模型前端审美和交互完成度明显脱胎换骨…… 访问入口
Neohorse-1.5-Flash Preview 测评!究竟有多能打?
昨天测试 Qwen 4 Max 的视频下面,有粉丝评论说想让我测一下基元律动新出的模型 NeoHorse-1.5-Flash Preview,还把自己的 key 提供给我测试,非常感谢。我也顺手查了下这个模型的信息:这是一个基于 Qwen 3.8 Flash 递归自我改进训练出来的模型,主模型参数 125B,激活参数 6B。Qwen 3.8 Flash 我在之前的 Benchmark 里测过,老粉应该还记得,表现不俗。测完这版之后我的感觉是,它确实比原生 Qwen 3.8 Flash 更厉害——这样的参数量能做到这个水平,有点出乎我的意料。我们赶紧在 Pi agent 中接入并打开思考,看看具体表现。 第一题是强约束指令遵循句子生成测试。句子结尾都按 1 到 10 结尾,没有问题;其他约束也都满足,整体通顺。不过我认为第二句语义上不大通顺:说一个人有信用,不应该用「说一不二」——这个词更多表达一个人的强势,比如李老板在公司说一不二,带的是「我说了算」的意思,和信用没什么关系。 第二题是鹈鹕土星环骑自行车 SVG 测试。整体没看到什么大问题,只是转弯的时候明显用了淡入淡出的方...
Sage-S2.1-Flash 测评报告!真的能打吗?
Sage-S2.1-Flash 是这期要测的新模型,320B 总参数的 MoE,中文名据说叫「书生模型」,我之前也只是在群里听过一耳朵。粉丝在 B 站私信点名想看,那就测。接入方式还是 pi agent,思考深度按文档配置到最高。 第一题强约束指令遵循,要求句子分别以 1 到 10 结尾。整体能读,但第 4 句的「不三不四」用得别扭——这个词多形容人不正派,比如「别和不三不四的人玩」,换成「九不搭八」更合适;第 7 句明显不通顺,「正月」两个字还重复了;第 10 句「以一当十」说的是人的勇猛,和做事扯不上关系;第 3 句也不太顺,只是我拿捏不准。 第二题鹈鹕土星环骑自行车 SVG:整体不错,就是转弯有点突兀,像快掉出去时猛地摆正回来。第三题复合弓射箭 SVG:大体可以,但复合弓没有画副弦——那是复合弓的标配,不画就和普通弓没有区分度;另外箭是平拉的,放手后方向直接往上飙。 第四题浏览器操作系统:右上角弹窗的 label 颜色太浅,要很辛苦才看得清,晴天没有问题,日期高亮也没用我觉得丑的椭圆;dock 栏的终端有 bug,输入 ls 报错,help 却说支持这条命令;太空射击...
Seedance 2.5 Flash 测评!打得过H3吗?
刚用我们最新的视频模型测评 Benchmark 最新 V2.0 版本测了下刚出来的 Seedance 2.5 Flash,结果可能会和大家想象中的不大一样。我是直接在 OpenRouter 上面测的,好,大家看效果吧。 第一题,多约束综合调度测试:女剑修御剑飞行。我们看下效果,整体感觉不错,不过问题也不少。首先最明显的就是提示词要求三只白鹤,它弄出了五只;第二,对联要求是听涛观海九千年、御剑凌云三万里,它这里错字很多之余还要加了些额外的错字进来,尤其左联比较严重;第三,提示词还要求有个石碑有竖排文字天工阁,这里有点模糊,但明显看出除了天工阁,上面还多余了些额外的文字;第四,额前垂着一缕醒目的银白挑染发丝,它是把人家头发全部弄白了;第五,提示词要求仅左耳垂着一只小玉坠,它是两只耳朵都有。 第二题,碰撞与动量传递测试:牛顿摆五球碰撞链。我们看下效果,这个效果明显不行——右边小球掉下来之后,左边的小球应该弹起来的。 第三题,精细动作控制测试:魔方顶层归位。这个也明显不行。首先提示词要求开始前四个侧面都是最上面一行与下面两行的颜色不同,它搞成全部一样,那哪里还需要归位呢?第二,也正...
Open Pangu 2.1 Pro测评报告!真的能用吗?
应粉丝要求,这期把华为 openPangu-2.1-Pro 也测了。此前在 pi agent 上测过上一代盘古,表现不太理想,本来没打算再测,但 B 站评论区有粉丝点名想看,那就再来一次。接入方式同样是 pi agent,查过官方说明后确认思考深度只有「关闭」和「打开」两档,下面六道题都在打开思考的状态下跑。 第一题是强约束指令遵循,要求生成的句子分别以 1 到 10 结尾。逐句核对后发现第 8 句不满足,通顺度整体还可以,基本都读得过去。不过它有点取巧——第 5 句和第 10 句、第 7 句和第 9 句用的是同一套句子结构,下个版本如果再升级提示词,得额外加一条「句子结构不能重复」的约束才行。 第二题鹈鹕骑土星环自行车 SVG 明显不行:飞到画面上方时是倒着骑的,鹈鹕没有扶着前面车把,而且斜侧面视角下车把本身也只画出一丁点;支撑车轮的钢筋只画了一半,按这个画法轮子根本撑不住。 第三题复合弓射箭 SVG 反而还行。复合弓上下轮的转动方向没问题,箭羽正常,箭也能中靶心;小毛病是平拉出去的箭会突然往上飙成抛物线,拉弓动作不太协调,复合弓画得偏简陋,小人连眼睛都没有。严格挑刺有得...
混元 Hy 4 Flash 测评报告!真的能打吗?
刚测完 Qwen 4 Max,评论区立刻有粉丝说 Hy 4 Flash 也出了,马不停蹄地赶紧满足粉丝需求。在官方和 tokenhub 上看了一下,这个模型应该是支持 high 思考深度或者关闭思考的,打开 Pi 通过 tokenhub 接入这个模型,思考深度也配置好,好那我们开测吧。 第一题,强约束指令遵循句子生成测试。很明显句子都是遵循从 1 到 10 结尾的,我们看一下是否通顺。我觉得第 2、3、4、5、6、7、8、9 都不通顺,早知道反过来说轻松点。我觉得第 1 和第 10 句通顺。 第二题,鹈鹕土星环骑自行车 SVG 测试。大家看效果,这个实现明显不大行。首先没有转弯,到了下面倒着骑,这个是最严重的;其次鹈鹕头上两只角是怎么回事;第三鹈鹕翅膀没有扶到车把上,差一点距离。 第三题,复合弓射箭 SVG 测试。我们看下效果,这个效果也不大行。首先这个弓箭只看到箭头和箭羽;其次这个箭羽明显是反的;第三这个箭的飞行方向很诡异,成波浪形,先是往上,然后往下,发现往下太多了,连忙再往上,射中靶心;第四这个小人整体结构也感觉怪怪的。 第四题,实现一个精美浏览器操作系统。我们看一下...









