MiniMax M3.1 Flash 的 Claude Code 版测评报告来了。前两个视频我们是在 PI 上测的,然后评论区直接炸了锅:不少粉丝说,同样的测试用例,怎么在 Codex、在 Claude Code 上面跑效果好这么多?看看人家 AA 上的评分,再看看人家在 Agents Last Exam 的评分,你是不是本来就不该在 PI 上测呀。

粉丝的建议,那当然是要听的。我们所有模型基于 PI 测评,主要是想避开 harness 对我们测评模型原生能力的影响。但 Minimax 的强项是 agent 的工具调用能力,所以这次准备在当前最强的 Claude Code 上面再测一次,看下效果如何。

第一题强约束指令遵循句子生成测试。先检查一下结尾是不是都是从 1 到 10 结尾的——第 6、8、10 句不是。我们再看是否通顺,我认真看了下,基本都是通顺的,没有看到什么问题。这个表现还是挺不错的,毕竟这道题基本没有几个大语言模型能做到全对。

第二题鹈鹕土星环骑自行车 SVG 测试。大方向上,这个转弯效果看上去挺不错的,但是小问题还是有的:首先这个鹈鹕身体有点奇怪,怎么中间是空的;第二,鹈鹕没有用翅膀扶着自行车。

第三题复合弓射箭 SVG 测试。这个效果看上去也不错,起码整个画面色彩、小人和复合弓看上去挺舒服。唯一我觉得不合理的是,复合弓的箭是要搭在箭台上的,不能上下移动的。它这里为了满足抛物线,弓箭没有搭在箭台上,而是往上移动了,其实正确的做法应该是复合弓整体倾斜一定角度。

第四题实现一个精美的浏览器操作系统。这个 UI 走的是简约风,好,我们看下右上角弹窗,功能没有什么问题。我们再看一下 Dock 栏应用,这个计算器下方等于号的 UI 设计不大好,应该跟上面同样蓝色的功能按钮对齐。其他功能没有看到什么问题,看下压轴的太空射击游戏吧,玩下来还可以了,没有看到有什么大问题。

第五题实现一个 3D 赛车游戏测试。整体效果还可以,唯一一个问题是车辆撞一次就挂了,一般赛车应该都有多次机会的,不过这个也只是个实现偏好的问题,不是功能性问题。

第六题,无第三方库实现一个高颜值 Trello 看板。整个 UI 看上去挺简洁的,我们看一下基本功能。这个卡片的拖动和上次一样是同样问题,卡片没有跟上拖动时的鼠标,上次想拖动到第二列时,卡片飞到左上角了,这次又飞到右下角了,不过最终鼠标放开后能正常拖到第二列。列表的拖动倒没有出现上次不能拖动的问题。所以这一题的表现也还是挺不错的,没有出现什么硬伤。

整个测评下来吧,这次的效果比上次测得确实好了很多,大家怎么看呢?