AI产品狙击手

之前一直没搞明白，我的 Claude 账号到底为什么会被没收。刚刚去 Fuck Claude 上扫了一遍，好像终于找到答案了。 这个工具做的事很具体：检测你的 Claude Code 会不会把你标记成一个「非支持区域」的用户。我扫出来的结果里，红色的那三条就是主要的罪魁祸首——分别是我的时区、浏览器语言，以及系统里用的文字，这几项它都会检测。 如果你正准备开始用 Claude，或者已经在用、却一直担心不知道哪天会被没收，那建议也去检测一下：该补的补，该修的修。 访问入口

这一节继续讲大语言模型的基础知识——MoE（混合专家）。先回顾一下上几节的内容：之前学过 Transformer 里的 self-attention，它让我们拿到了带有上下文信息的向量。 这个向量接下来会做残差连接和归一化，然后进入下一层——FFN（前馈网络）。为什么要加 FFN？因为在 self-attention 里，算 Q、K、V 的本质都是一些线性变换，学不到很深的东西。学过深度学习的都知道，网络里需要有激活函数（比如 ReLU、GELU）来做非线性变换，模型才能学到更丰富的知识。FFN 干的正是这件事——它相当于一个全连接的深度神经网络。 但这里有个问题：如果我们只有一个大的 FFN，那么所有从 self-attention 出来的向量都会丢进同一个 FFN——写代码的、写作文的、做其他事情的，全都经过同一个网络。有没有更好的办法，既能加速这一层，又能让它更专业？MoE 就是答案。 MoE 的思路是：把一个大的 FFN 拆成一个个小参数的 FFN，然后在上面再搭一个「路由」（router）。每个从 self-attention 出来的向量先经过 router，由它...

马斯克的 Grok Bot 还没玩上的朋友，先不用羡慕别人了——DeepSeek Harness 版的 Grok Bot 来了。说的就是 GitHub 上这个叫 DeepSeek Bot 的社区项目，刚出来几个小时，就已经涨了 800 多颗星。 用法很简单：先装好 DeepSeek Harness，再在插件里搜 ds-bot 装上并启用，剩下的事不用自己折腾。跟主 Bot 说一句话，它就把其他 Bot 和群聊全给你搭好。比如让它安排一个管写作的、一个管写代码的，再拉个群把活分下去。 主 Bot 就像个部门主管，你只跟它对接；群里默认由管理员接话，需要谁介入就把谁拉进来。Bot 还带记忆，你说过什么喜好它都记得，下次干活不用从头交代。每个 Bot 配什么模型也随你挑，token 花了多少能按 Bot、按模型查账，而且所有数据都留在你自己的电脑上。 代码采用 Apache 2.0 协议，允许按协议商用。玩 DeepSeek Harness 的兄弟建议收藏：先装上跟 Chief 聊两句，让它给你配一个自己的小班子。顺带提一句，这是独立社区作品，不是 DeepSeek 官方出的。 ...

一个只会做选择题的 AI，让微软和硅谷创业公司当场翻了脸。事情得从上周说起：硅谷创业公司 TypeSafe AI 靠一个只拍板、不聊天的决策模型 Jev，三周估值干到了 75 亿美元。微软转头就发布了自己的版本，叫 Microsoft Decision-1。 它的用法很直接：把业务场景和几个备选方案一起喂进去，它直接吐出每个方案的得分和概率，该自动执行还是转人工，一眼就能定。速度是 GPT-6 Sol 的 35 倍，36 项盲测的准确率全部排在第一。像客服工单该派给谁处理、用户咨询该路由到哪个组、内容该不该打风险标这类每天成千上万次的小判断，它都是毫秒级出结果，而且不太会抽风——同一句话换个说法再问，结论翻转率只有 1.3%。 价格也很狠：输入每百万 token 只要 4 美分，输出不要钱。微软内部拿 Xbox 的反馈处理跑过一轮，质量跟 GPT-6 Sol 打平，成本却砍到了 1/200。现在在微软 Foundry 上就能调用，OpenRouter 也已经接进去了。 最让国内开发者破防的是它的底座是阿里的 Qwen 3.5 9B。做智能体、做工作流、做自动化的兄...

这一期用最直白的方式把大语言模型里的自注意力讲一遍，不做很深入的解析，目标是普通人看完也能大概明白 self-attention 到底是怎么回事。 以「我喜欢吃」为例。输入进入大语言模型之后，先走 tokenizer，再配合 word embeddings，得到这四个分词各自对应的向量；这些向量组成一个矩阵，跟着被送进 Transformer，而 Transformer 的第一层就是 self-attention。self-attention 内部有三个已经训练好的矩阵 Wq、Wk、Wv，作用就是算出每一个向量自己的 query、key 和 value。其中 query 是用来去问「我要找前面哪些词跟我相关」的，它需要跟前面其他词的 key 相乘；key 是这个向量的特征值；value 才是这个向量真正携带的信息。 每个向量分别乘上 Wq、Wk、Wv，就都得到了自己的 Q、K、V。轮到「吃」这个词时，就用它的 query 去乘第一个词「我」的 key。向量相乘就是点积，也就是一个向量的长度乘以另一个向量在它方向上的投影——两个向量方向越一致，说明越接近，乘出来的数字就越大。...

一个做 PPT 的开源项目，凭什么能在 GitHub 上拿到快 6 万颗星？这可能是我见过的开源 PPT 项目拿过的最多星数了。 答案就一句话：别人家的 AI PPT 导出来是贴图，它导出来的是真的 PowerPoint 图表。右键能编辑数据公式，双击就能改形状，自带调节手柄随便拖，模板版式都是正经继承的。你在 PowerPoint 里手工能做到的，它生成出来就能接着做。 用法一点不复杂：装好 Python，开一个带 agent 的 AI 工具（Claude Code、Cursor、Codex 都行），把 PDF 报告丢进文件夹，在聊天框说句「做套 PPT」，它会先把论点捋顺了，再动手排设计。还有个狠活——把你们公司现有的 PPT 喂给它，它能提炼出品牌模板，以后每套片子自动长成公司的样子。 转场动画和演讲配音也能加，小红书图文、微信封面这类尺寸也能出。全程跑在你自己电脑上，资料不用上传。经常被 PPT 格式折磨的朋友，去它的示例页下载个 PPTX 亲手拖两下，就知道这星数没有一颗是白给的。 访问入口

这集接着讲 RAG 里最核心的一步——余弦相似度，它到底是怎么算的。 RAG 的一个核心功能，是把我们的输入向量化，映射到向量空间里，再去向量数据库中找到跟这个输入向量相似的那部分内容取回来，交给大语言模型。那它是怎么找到「相近」的内容的？用的就是余弦相似度。 上一集讲 self-attention 的 Q、K、V 时提过，核心就是两个向量的点积。一个向量乘以另一个向量，结果等于这个向量的长度，乘以另一个向量在它方向上的投影。写成公式就是：a 向量乘以 b 向量，等于 a 的长度乘以 b 的长度，再乘以它们夹角的 cosine。 余弦相似度的公式则是：a 和 b 的点积，除以 a 的长度乘以 b 的长度。而点积本身就等于 a 的长度乘 b 的长度再乘 cos Theta，上下约分一约掉，结果就只剩下 cos Theta。 所以余弦相似度的意思其实就是两个向量的夹角：夹角是 0，说明两个向量基本完全一样；夹角越小代表越相似；离得越远、甚至方向相反，就代表越没有关系。 RAG 正是靠这个来工作的：拿我们输入的向量去和向量库里每个目标向量算余弦相似度，比一比 Theta 夹角的大...

上期聊了 DeepSeek 的投机解码，有粉丝接着问了个更基础的问题：self-attention 到底是怎么知道一个词跟哪个词相关的？公式先放一边，把「两个向量相乘」弄明白就够了。 每个词先被切成 token、转成向量，进入 self-attention 之后，每个向量都有自己的 Q、K、V（这三个值具体怎么算出来的，可以留到以后再讲）。要判断「吃」和「我」有多相关，就拿「吃」的 query 去乘「我」的 key；要判断「吃」和「喜欢」的关系，就拿「吃」的 q 去乘「喜欢」的 k。注意力就是靠这种向量相乘算出来的。 为什么两个向量相乘能表示相似度？点积的意义是：一个向量的长度，乘以另一个向量在它方向上的投影。方向基本一致、几乎没有夹角时，投影接近满值，长度乘得多，数字就快速变大；夹角是 90 度时投影为 0，乘出来也是 0，代表这两个向量没有任何关系；如果方向相反，结果就是负数，代表两个向量想表达的意思刚好是相反的。 回到「吃」这个例子：「吃」的 query 乘「我」的 k，如果两个向量方向基本一样，得到的数就比较大，说明它们比较相关；如果乘出来是 0 或者负数，就说明它...

Underdog 团队开源的 Underdog-Saluki-27B-1.0，把 27B 参数的 Qwen3.8-27B 压进了 8 个 G 以内，工具调用的能力还基本留着。它在 Hugging Face 上线 3 天就快 6 万次下载，热度来得很直接。 原版 Qwen3.8-27B 全精度要 54 个 G，普通显卡根本放不下。Saluki 这份 2 比特量化的文件只有 7.89 个 G，用标准的 llama.cpp 就能跑：下载完一条 llama-server 命令把服务起起来，8080 端口上就是 OpenAI 那套接口，你手上现成的代码改个地址就能指过来。工具调用和思考都走 Qwen3.8 原生的模板。 量化最容易砸的就是工具调用，而他们是专门往保住这块调的。官方拿 120 道函数调用题测，它过了 88 道，全量版本反而只有 84；100 道并行调用的题它过了 42 道，全量 35 道；9 项基准平均保住了 96%。 想让它响应快点，把思考关掉、温度设成零，一次调用就完事；想让它在难题上多想想也行，默认就是开着的。需要看图，就再下个 600 多兆的视觉文件，启动时挂上...

今天有粉丝在 B 站私信问：大语言模型里的投机解码（Speculative Decoding）到底是怎么一回事？要把它讲清楚，得先从最基础的 Transformer 说起。 先看一个最简单的大语言模型——只有一层 Transformer、不涉及 MoE 的那种——是怎么工作的。我们输入一段提示词（prompt），第一步是 tokenization：tokenizer 把中文这类文字切成一个个 token。拿到 token 之后，还要去查 word embeddings 这张表，把每个 token 变成对应的向量。向量有了，就往下走 self attention 那一层，算出各个 token 与上下文之间的关系，接着过 FFN。顺带一提，现在常说的 MoE 其实就是在上层加一个路由、用专家池取代传统的 FFN，听不懂也不影响理解后面的内容。 FFN 出来之后还有一个 LM head。它本身很简单，就是一个线性变换：把主干 Transformer 最后输出的隐藏向量作为输入，做一次线性变换，再走一个 softmax 算出概率，判断词表里哪个 token 应该是下一个词。整条链路...