闭源 API 按毫秒卖钱的决策模型,有老哥自己烧卡训了个 0.8B 的开源平替:二十几毫秒出结果,还分文不收。这就是 Jeff,上线 10 天 GitHub 就攒了 1400 多颗星。

它对标的就是最近大火的 TypeSafe 那个闭源收费的 Jev——参数不公开,官方演示一次调用要 100 多毫秒。而 Jeff 连请求格式都跟 Jev 对齐,当平替接过去就能用,不用改客户端。

玩法是把大模型留着干重活,杂活全丢给它:比如这条评论是不是垃圾、客户这句话想干嘛、Agent 该调哪个工具。它直接给带概率的答案,没把握就转给大模型,最多能吃 254 个选项。

消费级显卡、自己电脑就能跑。相对于之前跟大家介绍过的拉雅(Laya),它不会选项一多就掉链子。想省推理成本的,可以先挑业务里最烧钱的那类高频判断换上去试一试。