详细介绍
产品定位
Underdog-Saluki-27B 是 Underdog AI 团队于 2026 年 10 月 8 日发布在 Hugging Face 的开源模型,仓库名为 ConwayResearch/Underdog-Saluki-27B-1.0,采用 Apache 2.0 许可。它面向只有一张消费级显卡、希望在本地运行 Agent 与工具调用工作流的开发者,定位是在极低资源占用下尽量保留 Qwen3.8-27B 的实用能力,而不是追求完整精度下的全能表现。
核心功能
该模型是阿里 Qwen3.8-27B 的 2-bit 量化版本,具体为 IQ2-mix GGUF,文件仅 7.89GB,而原版全精度约 54GB,压缩到约七分之一。它可用标准 llama.cpp 直接运行,无需自定义编译,主文件为 Underdog-Saluki-27B-1.0-IQ2-mix.gguf,并提供可选视觉模块 mmproj-F16.gguf 或 mmproj-Q8_0.gguf。启动命令可写成 llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768,默认开启思考,也可通过 chat_template_kwargs 的 enable_thinking 关闭以加速。
技术特点
构建链路为 Qwen3.8-27B 到 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO-GGUF,再到 Underdog 的工具调用保真处理。官方强调工具调用能力被刻意保留甚至增强:Underdog Bench 120 道 BFCL v4 函数调用题通过 88 道,全量 Qwen3.8-27B 为 84 道;100 道并行工具调用题通过 42 道,全量为 35 道;九项基准平均保留约 96%。能力下降方面,AIME 2026 数学竞赛为 80.0,全量 94.6;MuSR 推理为 67.5,全量 79.6;MBPP+ 编码为 78.0,全量 83.9;SWE-bench 为 30,全量 33。字符级谜题如回文字母顺序和元音规则表现较差,约五分之一并行调用响应存在格式瑕疵,官方未公布 tokens/s 与内存占用数据,且所有基准数字均为官方自报。
适用场景
它适合只有一张消费级显卡、想在本地搭建 Agent、函数调用和轻量自动化流程的开发者,尤其适合需要模型理解工具 schema、发起并行调用、在较低资源下长期运行的场景。它也适合做本地助手、检索增强生成中的调度器、多工具编排试验台,以及需要视觉输入的可选多模态实验。不过,如果任务对数学竞赛、复杂推理、编码修复和字符级谜题要求很高,应谨慎评估其量化损失;在生产使用前,也建议针对自己的工具调用格式做回归测试。










