我先查 FlashStates 混合状态缓存的技术细节与数据来源。
FlashStates 重新设计混合状态缓存:Agent 预填充吞吐最高提升 3.14 倍
混合架构模型跑 Agent 时,浪费往往不是显存不够,而是前缀没有可用的 “完整混合状态”:attention 层要该前缀的 KV,循环层还要一个精确落在该位置的循环状态快照,少一样就复用不了。FlashStates 做两件事:把这个快照存到 “上一轮真正结束的那个 token” 上,而不是只存在 KV block 边界;再把 “快照 + 它独占的 KV” 当成一个整体来定价、准入与淘汰。在 48 个并发会话、GLM-5.3-Flash NVFP4、1M 上下文、每引擎两块 B200 的条件下,GPU 单卡预填充吞吐从 vLLM 的 1.48M tokens/min 提到 4.66M,是 3.14 倍(对 SGLang 是 3.88 倍),p90 首 token 延迟从 20.4 秒降到 2.36 秒、降幅 88.4%;中位未缓存 token 从 24.7K 降到 1.03K。
浪费从哪来:Agent 每一轮都在重发全文
编码类 Agent 的典型节奏是:模型输出一段、调用一次工具、把整段累积对话加上工具结果再发回来。也就是说,第 N 轮请求的 prompt,绝大部分是第 N-1 轮已经算过的前缀。理想情况下引擎只该算 “新增的那一点”,任何更早的 token 被重算,都是冗余预填充。
| 环节 | 理想行为 | 实际常见行为 |
|---|---|---|
| 第 N 轮请求到达 | 从第 N-1 轮结束的位置直接续算 | 从更早的检查点重算一段 |
| 前缀复用 | 命中率接近 100% | 并发一高就掉到 60% 出头 |
| 首 token 延迟 | 亚秒级 | 高并发下几十秒 |
这不是理论担忧。HelixML 在生产环境里遇到过更极端的情况:一台副本的 500,000 token KV 缓存只用了 72%,但某个 prompt 回来时 “一个 token 都没复用”,因为保存循环状态的槽位被一个 31.3 万 token 的长 prompt 全部挤掉了 ——KV 还在,快照没了,等于缓存全废。
混合模型为什么不能像纯注意力那样复用
纯 attention 模型里,每个 token 都留一份 KV,任意位置都能接着算,甚至长前缀的 KV 可以裁成短前缀的 KV。混合模型不行:循环层每读一个 token 就覆盖式更新一个固定大小的状态,它只有 “当前”,没有 “历史”。
所以复用一段前缀,需要两样东西同时在场:
- 该前缀全部 token 的 attention KV
- 精确落在该前缀末尾的循环状态快照(论文叫 recurrent checkpoint,还要算上卷积缓冲这类模型专属辅助状态)
两者合起来,才是这段前缀的 “混合状态”。关键限制是:后面位置的快照不能 “倒带” 成前面位置的快照,位置错了就是没用。
现有引擎的失分可以拆成三类:
| Miss 类型 | 含义 | 实测表现 |
|---|---|---|
| 放置 miss | 检查点只落在 KV block 边界,落在轮次结束点之前 | vLLM 每请求约 2.5–3K token 被重算;SGLang 约 0.2K |
| 依赖 miss | KV 还在,但配套的快照被淘汰了 | vLLM 从 40 会话起增长,64 会话达每请求 8.5K token,命中率掉到 62.4% |
| 容量 miss | 快照和 KV 都没了 | 约 40 会话起两家都开始出现 |
一个反直觉的点:把检查点打得更密并不解决问题。SGLang 每 256 token 存一次,放置 miss 确实小了,但 32 会话时它每请求保留的检查点数量是 vLLM 的 4.2 倍,这些检查点抢同一个固定大小的状态池,结果变成依赖 miss。
第一步:在 “轮次真正结束的位置” 落点
FlashStates 的核心技术叫任意位置状态检查点(Arbitrary State Checkpointing,ASC),它把检查点的位置从 KV block 网格上解耦出来。
- 请求结束时,就地捕获该请求的混合状态,捕获动作本身不拷贝模型数据。
- 如果结束位置落在某个 KV block 内部,保留整个末端 block,但只把 “到结束位置为止” 的 token 标记为对该前缀有效。
- 如果位置落在一次 prefill 调用内部,内核把循环检查点作为 “副产物” 导出,原调用继续跑完,不切分调用。
- KV block 大小与 prefill chunk 大小都不变,输出保持逐位一致。
论文为 KDA 和 GDN 两类内核实现了这套导出契约。KDA 的导出栅格与计算 tile 对齐,可以直接序列化 tile 边界上已有的活跃状态;GDN 的 tile 更大,内部位置的状态没有被直接物化,内核用该 tile 已算出的操作数做一次有界的前缀更新拿到快照,再继续原来的整块计算。
打个比方:老引擎是 “只能在固定存档点保存” 的游戏,你在两关之间退出,下次只能从上一个存档点重打;ASC 相当于允许在任意时刻存档。
第二步:快照和 KV 必须同生共死
只做精确落点还不够。一个循环检查点离开它前面的 KV 就没用,那段 KV 离开检查点也续不了请求。所以 FlashStates 把每个混合状态当作一个单位来保留或淘汰:它自己的检查点,加上只有它需要的 KV 页。与其他状态共享的 KV 页,要等最后一个需要它的状态离开时才释放。
在此基础上,用一套成本感知的优先级同时驱动准入与淘汰:对每个混合状态估算 “淘汰它会让后续请求多算多少预填充时间”,再除以 “淘汰它实际能回收多少缓存容量”。除法这一步很关键 —— 与其他状态共享的 KV 不会真的被释放,不能算进收益。整体是对 GreedyDual-Size 的改造,用一个水位线跟踪不断变化的淘汰优先级,最近使用历史和每块可回收容量的恢复成本共同决定优先级。
好处是不用按工作负载调参:论文特意对比了 Marconi,后者用可调系数 α 权衡 “新旧” 和 “每字节省下的算力”,而 α 的选择会让吞吐波动最多 16%。FlashStates 去掉了这个系数,代价是预填充成本模型仍需按模型拟合一次。
数字:三个混合模型、48 会话
| 模型 | 循环层 | 上下文 | 预填充吞吐(相对 vLLM) | p90 TTFT 降幅 |
|---|---|---|---|---|
| GLM-5.3-Flash(NVFP4) | Kimi Delta Attention | 1M | 3.14 倍 | 88.4% |
| Nemotron 3 Super(FP8) | Mamba-2 | 1M | 2.27 倍 | 77.1% |
| Qwen3.8-Flash-Next(FP8) | Gated DeltaNet | 512K | 1.54 倍 | 79.0% |
同一组 GLM-5.3-Flash 条件下的细节更能说明问题:
| 指标 | vLLM | SGLang | FlashStates |
|---|---|---|---|
| 预填充 TPM/GPU | 1.48M | 1.20M | 4.66M |
| 中位未缓存 token | 24.7K | 74.4K | 1.03K |
| p90 TTFT | 20.4 秒 | 69.7 秒 | 2.36 秒 |
| 解码吞吐(最高) | 基准 | — | 3.02 倍 |
项目主页给的另一组汇总口径是:每分钟输出 token 22.0k → 61.7k(2.8 倍),P50 端到端请求延迟 46.1 秒 → 12.4 秒(低 3.7 倍),P50 首 token 延迟 3.30 秒 → 0.20 秒(低 16.3 倍)。
配上 Mooncake 做外部分层缓存时,512GiB 主机内存、GLM-5.3-Flash 开 MTP 的条件下,峰值输入吞吐提升 26%,同等并发下 p90 TTFT 最多降 73%。
消融:只做 “精确落点” 反而可能更慢
这是全文最值得记的一段。Qwen3.8-Flash-Next、512K 上下文下的输出 TPM/GPU:
| 配置 | 32 会话 | 48 会话 |
|---|---|---|
| vLLM | 30.1K | 24.1K |
| 仅加 ASC | 26.0K(比 vLLM 低 14%) | 34.2K(+42%) |
| 再加依赖感知准入 | — | 36.8K(+53%) |
| 完整系统 | 30.4K | 38.8K(+61%) |
低并发时 ASC 单独上反而退步,作者的解释是:在 LRU 淘汰下把每个检查点都留下,会挤掉其他有用的上下文。也就是说,精确的落点只有在 “准入和淘汰也选对了保留什么” 时才稳定兑现收益。这个解释是作者的解读,图表本身没有把因果隔离出来。
它在生态里的位置
| 方案 | 做法 | 与 FlashStates 的关系 |
|---|---|---|
| vLLM 原生 | 只在 KV block 边界存检查点 | 主要对照组;其自身也在为 Kimi K3 重做混合前缀缓存 |
| SGLang | 密检查点 + 固定状态池 | 状态池争抢导致依赖 miss |
| Marconi | 选择性检查点 + 可调 α | FlashStates 去掉 α,避免 16% 的吞吐波动 |
| HiState | 内存分层 + 自适应检查点间隔 | 路线相近,论文未做正面对比 |
| LinearKV | 位置无关缓存迁移到混合模型 | 解决的是 “块可以放在任意位置”,与 FlashStates 互补 |
| AVMP | 统一虚拟地址 + 动态池再平衡 | 解决显存分配,不解决复用粒度 |
顺带一提,vLLM 自己在 2026 年 7 月为 Kimi K3 做混合前缀缓存时,走的也是 “把大的物理 KDA 状态块与细粒度前缀匹配解耦,在块内注册状态快照、扩展前先拷贝” 的路子,并明确说这套机制 “现在对所有类似的混合模型都生效”。这说明问题不是某一家引擎的实现细节,而是混合架构的共性。
该不该用:先问四个问题
- 并发 Agent 会话数是否已经逼近缓存容量?收益最大的一段就在命中率开始崩的地方,低并发时差距只有几个百分点。
- 你们用的是哪一类混合模型?三类循环层(KDA、GDN、Mamba-2)都验证过,但预填充成本系数要按模型重测。
- 对照的是哪个版本的 vLLM?如果上游已经合并了 “解码结束处存检查点” 的改动,基线会变强,增益区间也会移动。
- 上下文会不会被频繁编辑?理论分析假设 “精确续写”,Agent 如果经常改写中间内容,这个假设就破了。
还有几条明确的局限:论文只测了 B200(部分 GB300),每个数据点一到两次运行;实验是 Claude Code 轨迹回放,输出长度按记录固定、忽略结束 token、工具等待取记录值(最长 300 秒),真实服务的分布并不长这样;有些点上 p90 TTFT 反而上升(GLM-5.3-Flash 24 会话 +22%,Qwen3.8-Flash-Next 32 会话 +54%)。代码是 vLLM v0.33.0 加 Mooncake 0.3.13.post1 的 fork,Apache-2.0,所有功能默认关闭,作者自己定位为研究用代码。
【相关 FAQ】
问题 1:FlashStates 的混合状态缓存到底缓存了什么?
回答 1:缓存的是 “一段前缀的完整混合状态”,包含该前缀全部 token 的 attention KV,以及精确落在该前缀末尾的循环状态快照(外加卷积缓冲等模型专属辅助状态)。FlashStates 的混合状态缓存之所以不能只缓存 KV,是因为循环层每读一个 token 就覆盖式更新状态,没有历史可回放,位置错一点的快照就用不了。
问题 2:FlashStates 把预填充吞吐提升 3 倍,是在什么条件下测出来的?
回答 2:在 GLM-5.3-Flash NVFP4、1M 上下文、48 个并发 Agent 会话、每引擎两块 B200 的条件下,FlashStates 的预填充吞吐是 vLLM 的 3.14 倍(1.48M → 4.66M tokens/min/GPU),对 SGLang 是 3.88 倍。换成 Nemotron 3 Super 是 2.27 倍、Qwen3.8-Flash-Next 是 1.54 倍,说明预填充吞吐的增益依模型和循环层类型而变。
问题 3:为什么混合架构模型原先的预填充吞吐上不去?
回答 3:因为三类缓存未命中在叠加。检查点只落在 KV block 边界,轮次结束点到边界之间那段被重算;快照被淘汰而 KV 还在,这段前缀等于作废;并发上来后容量不够,两者一起丢。FlashStates 的思路是把检查点位置从 block 网格上解耦,同时把快照与它独占的 KV 作为一个单位管理,从根上减少预填充吞吐的浪费。
问题 4:只把检查点打得更密,能不能解决问题?
回答 4:不能,反而可能更糟。SGLang 每 256 token 存一次检查点,放置未命中确实小了,但 32 会话时每请求保留的检查点数量是 vLLM 的 4.2 倍,挤在同一个固定状态池里,结果变成依赖未命中。FlashStates 的消融也显示:只上 ASC 加 LRU 淘汰,48 会话比 vLLM 高 42%,32 会话反而低 14%。所以预填充吞吐能不能提上去,取决于 “留什么” 而不只是 “存哪里”。
问题 5:FlashStates 和 Marconi、HiState 有什么区别?
回答 5:Marconi 也做选择性检查点,但优先级里有一个可调系数 α,权衡新旧与每字节省下的算力,论文报告其吞吐随 α 变化最多 16%;FlashStates 用同一套成本感知优先级同时驱动准入和淘汰,不需要按负载调参。HiState 走的是内存分层加自适应检查点间隔的相邻路线,FlashStates 论文没有与它做正面对比。
问题 6:普通对话业务需要上 FlashStates 吗?
回答 6:多数不需要。预填充吞吐的收益集中在 “并发会话数逼近缓存容量、命中率开始崩” 的区间,低并发时差距只有几个百分点,个别点上 p90 首 token 延迟还会变差。真正该关注的是跑长上下文编码 Agent、单会话动辄几十万 token、并发几十路的团队 —— 那正是混合状态缓存最吃紧的场景。
【参考资料】
- [2026-11-14](FlashStates:混合 LLM Agent 服务中减少 Prefix Cache 重算的状态管理研究与 vLLM 扩展)PyTorchKR
- [2026-11-10](FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference)alphaXiv
- [2026-11-10](FlashStates 项目主页与评测数据)FlashStates
- [2026-11-08](LinearKV: One Cached State Suffices for Position-Independent Caching in Hybrid LLMs)arXiv
- [2026-10-27](Asymmetric Virtual Memory Paging for Hybrid Mamba-Transformer Inference)arXiv
- [2026-09-26](GLM-5.3-Flash Ran Out of Cache Snapshots, Not Cache Tokens)HelixML
- [2026-07-27](Kimi K3 Is Here: Efficient Day-0 Support on vLLM)vLLM Blog
- [2026-07-03](Why Prefix Caching Silently Dies on Mamba-Hybrid Models: The 528-Token Cliff)dreaming.press
【免责声明】
本文依据 FlashStates 项目主页与 alphaXiv 论文页、PyTorchKR 解读、vLLM 官方博客、HelixML 生产案例,以及 arXiv 上 LinearKV、AVMP 等相关论文整理,信息截至 2026 年 11 月 16 日。文中倍数与延迟数据均来自论文与项目方公开评测,测试环境为 NVIDIA B200(部分 GB300)、Claude Code 轨迹回放,与自有业务的实际负载可能存在差异,部署前应以自身并发量、上下文长度与缓存预算复测。代码为研究性质的开源 fork,功能默认关闭,生产使用需自行评估稳定性与合规性。本文仅作技术解读,不构成选型建议或性能承诺。
本文来自作者[光轨编译]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/jqr/202611/2122.html
评论列表(4条)
我是环球科技潮的签约作者“光轨编译”!
希望本篇文章《混合架构模型跑Agent,预填充吞吐再提升3倍FlashStates重新设计混合状态缓存》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:我先查 FlashStates 混合状态缓存的技术细节与数据来源。