详细介绍
产品定位
Laya 是 Convai Innovations 推出的非自回归 System One 决策模型,采用 Apache 2.0 开源协议,被广泛视为闭源 Jev 的自托管开源平替。它不生成任何文本,而是对预设问题类型一次性输出带校准概率的决策,因此没有可解析的文本输出,也不存在文本幻觉。作者 NandhaKishor M 在 Jev 走红前一年就已做出同类方案,适合希望把高频判断留在本机、降低调用成本并掌握数据控制权的团队。
核心功能
Laya 只支持三种决策原语。choice 从预设选项中选一个,并给出各选项概率分布;score 按有序量表给出期望值;noul 返回 0 到 1 的校准概率。模型输出的是概率化判断,而不是自然语言答案。仓库提供三个检查点:laya 以 ModernBERT-large 为骨干,421M 参数、512 上下文,面向英文;laya-multilingual 以 mmBERT-base 为骨干,322M 参数、1024 上下文,覆盖一百多种语言且速度约快一倍;laya-typed-decisions 为 421M、1024 上下文,针对业务工作流微调。内置纯 Python 路由器可在亚毫秒内按 Unicode 脚本自动选择合适的检查点。
技术特点
架构上,Laya 以 ModernBERT-large 为骨干,总参数 421M,由编码器加从零训练的决策头构成。它一次前向即可完成推理,官方在 T4 上实测单个问题约 33 毫秒,批处理 10 条时摊薄到每条约 7.2 毫秒,对比 Jev 官方公布的 236 至 276 毫秒中位延迟快约 7.8 倍。训练方法为 RLCD,即面向校准决策的强化学习,用严格适当的评分规则做奖励,目标是让报出的概率与真实正确率对齐。
适用场景
它适合客服工单路由与分诊、邮件与工单分类打标、垃圾邮件与钓鱼检测、按评分标准给记录评级,以及大模型抽取字段后的类型化复核等高频判断场景。这些任务通常不需要生成长文本,而是需要快速、稳定、可校准地做出选择、打分或概率判断,因此 Laya 的决策原语和低延迟特性比较契合。
部署与注意
使用方式为 pip install laya,可跑在消费级显卡、Mac MPS 甚至纯 CPU 上。权重托管在 Hugging Face,数据完全不出本机,自托管成本为零。需要注意,官方宣传的准确率优势来自在训练集划分上微调后的检查点,零样本表现较弱,且出厂时存在过度自信问题,需要针对自己的问题类型重新拟合温度校准后再上生产。








