老粉或者玩过本地大语言模型的,肯定都知道 Ollama 吧?但你们是不是也跟我一样,受够了它那 5 秒起步的加载速度,还有动不动就 200 多 MB 的内存占用?更别说那些些总也记不住的配置命令了。

今天给你们安利个新选择 ——Shimmy,这玩意儿才 5.1MB 大小,启动快到几乎无感,不到 100 毫秒就 ready,内存占用连 Ollama 的零头都不到。最绝的是它不用你瞎配置,自动就能扫到你电脑里的 Hugging Face 缓存和 Ollama 模型库,接上 VSCode 直接能用,连端口冲突都能自己避开。而且它跟 OpenAI 接口完全兼容,你一行代码都不用改。作者还拍胸脯保证,永久免费,MIT 许可,商用也没问题。从 Phi 3 到 Llama3,本地模型想跑得多丝滑,现在有答案了!