大模型首Token为什么慢?KV Cache是什么鬼?
发表于|更新于|免费AI工具
本期视频深入浅出地讲解大语言模型首 Token 延迟的根本原因——KV Cache 的工作原理。为什么有时候模型要”想”半天才说出第一个字?KV Cache 如何影响推理速度和显存占用?看完这期你将彻底理解 Transformer 推理的底层机制,以及为什么 KV Cache 是大模型推理优化中最核心的技术之一。适合对大模型原理感兴趣的开发者与 AI 爱好者。
相关推荐
2025-06-25
一键移除图片物体!即梦隐藏功能揭秘!
99%的朋友可能不知道这个技巧,其实即梦一直有提供移除图片或者视频中不想要的对象的方法的。只是隐藏比较深,很多人没有注意到而已 访问入口

2026-07-30
千问办公入门(二)!大语言模型怎么选择?
千问办公简化模型仅分基础、高级两档,移除繁杂型号方便职场新手快速选择,支持自定义上下文窗口,默认百万上下文适配长文档处理。 实测统一约统指令对比差距明显: 基础模型输出语序混乱、大量不符合规则,需要反复修改 高级模型精准满足全部条件,行文顺畅无需返工 简单写文案、制作表格 PPT 选基础更省资源,深度调研、复杂推理、多文件整合等高难度办公任务建议用高级,一次出稿减少重复消耗。 刚上手千问办公不知道模型怎么选,可以直接参考这套实操选型方案。 访问入口

2026-03-05
Mercury 2 自回归模型终结者?真实测评报告!
如果是老粉的话应该记得我一年前给大家分享过Mercury大语言模型,它是个diffusion model,也就是扩散模型的大语言模型,区别于我们常见的自回归大语言模型。至于他们详尽的区别,大家可以搜下我以前关于自回归和diffusion model原理的视频,这里最直接的区分就是,自回归是一个字一个字蹦出来的,而扩散模型是类似stable diffusion画图一样,一步步全部生成出来的,所以它的特点就是一个字,快!展开更多 访问入口
2025-10-31
安息吧!码农们!动下鼠标就能编程的时代到了!
编程从未如此简单,通过简单的圈圈点点,拖拖拽拽,加个评论,就能对UI进行修改。是不是又开始焦虑,我们程序员的末日又要到了吗? 这就是之前介绍过的免费的AI Studio再次出的新功能。被不被AI取代的先不说,赶紧跟大家demo下… 访问入口

2026-09-19
Jev模型究竟是个什么鬼?凭什么海外爆火?
Jev 最近红透半边天——不止海外火了,国内也火得一塌糊涂。它到底是个什么鬼?简单说,它不是聊天模型。用法非常朴素:丢一段文本进去,再给一组带类型的问题,它一个字都不写,直接回概率。问题只有三种:choice 给几个选项让它挑一个,score 按你的量表打分,布尔判断则返回「是」的概率。 这恰恰是我们过去一直用 JSON 硬凑的东西。大模型吐出的那个 0.9 只是个字符,不是真概率;而 Jev 给的是校准过的真概率——它说 90%,就真有九成概率会答对。这让人想起几年前跟着吴恩达学深度学习时最早学的监督学习:训练一个分类器,分辨哪些邮件是垃圾邮件、哪些评论是负面评论。区别在于,传统分类器每换一个任务就得重新训练,标签也是焊死的;Jev 一个模型通吃,工单归哪类、评论正不正、消息急不急,同一套接口全扔给它,还不用人标数据训模型。 速度和成本是它爆火的直接原因。实测走 OpenRouter,输入每百万 token 4.2 美分,输出免费——因为根本没有逐字生成这回事。官方给出的端到端延迟是 70 到 500 毫秒。有开发者把 20 个任务串起来跑完,成本刚过一美分的十二分之一。...
2025-06-25
AI智能体和应用!究竟有什么区别?
非程序员扣子入门第四集!智能体和应用有什么区别?我们在扣子的工作空间中进行创建的时候,会有两个选项,一个是智能体,一个是应用,那么他们两者有什么区别呢? 访问入口
公告





