混合架构模型跑Agent,预填充吞吐再提升3倍FlashStates重新设计混合状态缓存

我先查 FlashStates 混合状态缓存的技术细节与数据来源。

FlashStates 重新设计混合状态缓存:Agent 预填充吞吐最高提升 3.14 倍

混合架构模型跑 Agent 时,浪费往往不是显存不够,而是前缀没有可用的 “完整混合状态”:attention 层要该前缀的 KV,循环层还要一个精确落在该位置的循环状态快照,少一样就复用不了。FlashStates 做两件事:把这个快照存到 “上一轮真正结束的那个 token” 上,而不是只存在 KV block 边界;再把 “快照 + 它独占的 KV” 当成一个整体来定价、准入与淘汰。在 48 个并发会话、GLM-5.3-Flash NVFP4、1M 上下文、每引擎两块 B200 的条件下,GPU 单卡预填充吞吐从 vLLM 的 1.48M tokens/min 提到 4.66M,是 3.14 倍(对 SGLang 是 3.88 倍),p90 首 token 延迟从 20.4 秒降到 2.36 秒、降幅 88.4%;中位未缓存 token 从 24.7K 降到 1.03K。

浪费从哪来:Agent 每一轮都在重发全文

编码类 Agent 的典型节奏是:模型输出一段、调用一次工具、把整段累积对话加上工具结果再发回来。也就是说,第 N 轮请求的 prompt,绝大部分是第 N-1 轮已经算过的前缀。理想情况下引擎只该算 “新增的那一点”,任何更早的 token 被重算,都是冗余预填充。

环节理想行为实际常见行为
第 N 轮请求到达从第 N-1 轮结束的位置直接续算从更早的检查点重算一段
前缀复用命中率接近 100%并发一高就掉到 60% 出头
首 token 延迟亚秒级高并发下几十秒

这不是理论担忧。HelixML 在生产环境里遇到过更极端的情况:一台副本的 500,000 token KV 缓存只用了 72%,但某个 prompt 回来时 “一个 token 都没复用”,因为保存循环状态的槽位被一个 31.3 万 token 的长 prompt 全部挤掉了 ——KV 还在,快照没了,等于缓存全废。

混合模型为什么不能像纯注意力那样复用

纯 attention 模型里,每个 token 都留一份 KV,任意位置都能接着算,甚至长前缀的 KV 可以裁成短前缀的 KV。混合模型不行:循环层每读一个 token 就覆盖式更新一个固定大小的状态,它只有 “当前”,没有 “历史”。

所以复用一段前缀,需要两样东西同时在场:

  • 该前缀全部 token 的 attention KV
  • 精确落在该前缀末尾的循环状态快照(论文叫 recurrent checkpoint,还要算上卷积缓冲这类模型专属辅助状态)

两者合起来,才是这段前缀的 “混合状态”。关键限制是:后面位置的快照不能 “倒带” 成前面位置的快照,位置错了就是没用。

现有引擎的失分可以拆成三类:

Miss 类型含义实测表现
放置 miss检查点只落在 KV block 边界,落在轮次结束点之前vLLM 每请求约 2.5–3K token 被重算;SGLang 约 0.2K
依赖 missKV 还在,但配套的快照被淘汰了vLLM 从 40 会话起增长,64 会话达每请求 8.5K token,命中率掉到 62.4%
容量 miss快照和 KV 都没了约 40 会话起两家都开始出现

一个反直觉的点:把检查点打得更密并不解决问题。SGLang 每 256 token 存一次,放置 miss 确实小了,但 32 会话时它每请求保留的检查点数量是 vLLM 的 4.2 倍,这些检查点抢同一个固定大小的状态池,结果变成依赖 miss。

第一步:在 “轮次真正结束的位置” 落点

FlashStates 的核心技术叫任意位置状态检查点(Arbitrary State Checkpointing,ASC),它把检查点的位置从 KV block 网格上解耦出来。

  • 请求结束时,就地捕获该请求的混合状态,捕获动作本身不拷贝模型数据。
  • 如果结束位置落在某个 KV block 内部,保留整个末端 block,但只把 “到结束位置为止” 的 token 标记为对该前缀有效。
  • 如果位置落在一次 prefill 调用内部,内核把循环检查点作为 “副产物” 导出,原调用继续跑完,不切分调用。
  • KV block 大小与 prefill chunk 大小都不变,输出保持逐位一致。

论文为 KDA 和 GDN 两类内核实现了这套导出契约。KDA 的导出栅格与计算 tile 对齐,可以直接序列化 tile 边界上已有的活跃状态;GDN 的 tile 更大,内部位置的状态没有被直接物化,内核用该 tile 已算出的操作数做一次有界的前缀更新拿到快照,再继续原来的整块计算。

打个比方:老引擎是 “只能在固定存档点保存” 的游戏,你在两关之间退出,下次只能从上一个存档点重打;ASC 相当于允许在任意时刻存档。

第二步:快照和 KV 必须同生共死

只做精确落点还不够。一个循环检查点离开它前面的 KV 就没用,那段 KV 离开检查点也续不了请求。所以 FlashStates 把每个混合状态当作一个单位来保留或淘汰:它自己的检查点,加上只有它需要的 KV 页。与其他状态共享的 KV 页,要等最后一个需要它的状态离开时才释放。

在此基础上,用一套成本感知的优先级同时驱动准入与淘汰:对每个混合状态估算 “淘汰它会让后续请求多算多少预填充时间”,再除以 “淘汰它实际能回收多少缓存容量”。除法这一步很关键 —— 与其他状态共享的 KV 不会真的被释放,不能算进收益。整体是对 GreedyDual-Size 的改造,用一个水位线跟踪不断变化的淘汰优先级,最近使用历史和每块可回收容量的恢复成本共同决定优先级。

好处是不用按工作负载调参:论文特意对比了 Marconi,后者用可调系数 α 权衡 “新旧” 和 “每字节省下的算力”,而 α 的选择会让吞吐波动最多 16%。FlashStates 去掉了这个系数,代价是预填充成本模型仍需按模型拟合一次。

数字:三个混合模型、48 会话

模型循环层上下文预填充吞吐(相对 vLLM)p90 TTFT 降幅
GLM-5.3-Flash(NVFP4)Kimi Delta Attention1M3.14 倍88.4%
Nemotron 3 Super(FP8)Mamba-21M2.27 倍77.1%
Qwen3.8-Flash-Next(FP8)Gated DeltaNet512K1.54 倍79.0%

同一组 GLM-5.3-Flash 条件下的细节更能说明问题:

指标vLLMSGLangFlashStates
预填充 TPM/GPU1.48M1.20M4.66M
中位未缓存 token24.7K74.4K1.03K
p90 TTFT20.4 秒69.7 秒2.36 秒
解码吞吐(最高)基准—3.02 倍

项目主页给的另一组汇总口径是:每分钟输出 token 22.0k → 61.7k(2.8 倍),P50 端到端请求延迟 46.1 秒 → 12.4 秒(低 3.7 倍),P50 首 token 延迟 3.30 秒 → 0.20 秒(低 16.3 倍)。

配上 Mooncake 做外部分层缓存时,512GiB 主机内存、GLM-5.3-Flash 开 MTP 的条件下,峰值输入吞吐提升 26%,同等并发下 p90 TTFT 最多降 73%。

消融:只做 “精确落点” 反而可能更慢

这是全文最值得记的一段。Qwen3.8-Flash-Next、512K 上下文下的输出 TPM/GPU:

配置32 会话48 会话
vLLM30.1K24.1K
仅加 ASC26.0K(比 vLLM 低 14%)34.2K(+42%)
再加依赖感知准入—36.8K(+53%)
完整系统30.4K38.8K(+61%)

低并发时 ASC 单独上反而退步,作者的解释是:在 LRU 淘汰下把每个检查点都留下,会挤掉其他有用的上下文。也就是说,精确的落点只有在 “准入和淘汰也选对了保留什么” 时才稳定兑现收益。这个解释是作者的解读,图表本身没有把因果隔离出来。

它在生态里的位置

方案做法与 FlashStates 的关系
vLLM 原生只在 KV block 边界存检查点主要对照组;其自身也在为 Kimi K3 重做混合前缀缓存
SGLang密检查点 + 固定状态池状态池争抢导致依赖 miss
Marconi选择性检查点 + 可调 αFlashStates 去掉 α,避免 16% 的吞吐波动
HiState内存分层 + 自适应检查点间隔路线相近,论文未做正面对比
LinearKV位置无关缓存迁移到混合模型解决的是 “块可以放在任意位置”,与 FlashStates 互补
AVMP统一虚拟地址 + 动态池再平衡解决显存分配,不解决复用粒度

顺带一提,vLLM 自己在 2026 年 7 月为 Kimi K3 做混合前缀缓存时,走的也是 “把大的物理 KDA 状态块与细粒度前缀匹配解耦,在块内注册状态快照、扩展前先拷贝” 的路子,并明确说这套机制 “现在对所有类似的混合模型都生效”。这说明问题不是某一家引擎的实现细节,而是混合架构的共性。

该不该用:先问四个问题

  • 并发 Agent 会话数是否已经逼近缓存容量?收益最大的一段就在命中率开始崩的地方,低并发时差距只有几个百分点。
  • 你们用的是哪一类混合模型?三类循环层(KDA、GDN、Mamba-2)都验证过,但预填充成本系数要按模型重测。
  • 对照的是哪个版本的 vLLM?如果上游已经合并了 “解码结束处存检查点” 的改动,基线会变强,增益区间也会移动。
  • 上下文会不会被频繁编辑?理论分析假设 “精确续写”,Agent 如果经常改写中间内容,这个假设就破了。

还有几条明确的局限:论文只测了 B200(部分 GB300),每个数据点一到两次运行;实验是 Claude Code 轨迹回放,输出长度按记录固定、忽略结束 token、工具等待取记录值(最长 300 秒),真实服务的分布并不长这样;有些点上 p90 TTFT 反而上升(GLM-5.3-Flash 24 会话 +22%,Qwen3.8-Flash-Next 32 会话 +54%)。代码是 vLLM v0.33.0 加 Mooncake 0.3.13.post1 的 fork,Apache-2.0,所有功能默认关闭,作者自己定位为研究用代码。

【相关 FAQ】

问题 1:FlashStates 的混合状态缓存到底缓存了什么?

回答 1:缓存的是 “一段前缀的完整混合状态”,包含该前缀全部 token 的 attention KV,以及精确落在该前缀末尾的循环状态快照(外加卷积缓冲等模型专属辅助状态)。FlashStates 的混合状态缓存之所以不能只缓存 KV,是因为循环层每读一个 token 就覆盖式更新状态,没有历史可回放,位置错一点的快照就用不了。

问题 2:FlashStates 把预填充吞吐提升 3 倍,是在什么条件下测出来的?

回答 2:在 GLM-5.3-Flash NVFP4、1M 上下文、48 个并发 Agent 会话、每引擎两块 B200 的条件下,FlashStates 的预填充吞吐是 vLLM 的 3.14 倍(1.48M → 4.66M tokens/min/GPU),对 SGLang 是 3.88 倍。换成 Nemotron 3 Super 是 2.27 倍、Qwen3.8-Flash-Next 是 1.54 倍,说明预填充吞吐的增益依模型和循环层类型而变。

问题 3:为什么混合架构模型原先的预填充吞吐上不去?

回答 3:因为三类缓存未命中在叠加。检查点只落在 KV block 边界,轮次结束点到边界之间那段被重算;快照被淘汰而 KV 还在,这段前缀等于作废;并发上来后容量不够,两者一起丢。FlashStates 的思路是把检查点位置从 block 网格上解耦,同时把快照与它独占的 KV 作为一个单位管理,从根上减少预填充吞吐的浪费。

问题 4:只把检查点打得更密,能不能解决问题?

回答 4:不能,反而可能更糟。SGLang 每 256 token 存一次检查点,放置未命中确实小了,但 32 会话时每请求保留的检查点数量是 vLLM 的 4.2 倍,挤在同一个固定状态池里,结果变成依赖未命中。FlashStates 的消融也显示:只上 ASC 加 LRU 淘汰,48 会话比 vLLM 高 42%,32 会话反而低 14%。所以预填充吞吐能不能提上去,取决于 “留什么” 而不只是 “存哪里”。

问题 5:FlashStates 和 Marconi、HiState 有什么区别?

回答 5:Marconi 也做选择性检查点,但优先级里有一个可调系数 α,权衡新旧与每字节省下的算力,论文报告其吞吐随 α 变化最多 16%;FlashStates 用同一套成本感知优先级同时驱动准入和淘汰,不需要按负载调参。HiState 走的是内存分层加自适应检查点间隔的相邻路线,FlashStates 论文没有与它做正面对比。

问题 6:普通对话业务需要上 FlashStates 吗?

回答 6:多数不需要。预填充吞吐的收益集中在 “并发会话数逼近缓存容量、命中率开始崩” 的区间,低并发时差距只有几个百分点,个别点上 p90 首 token 延迟还会变差。真正该关注的是跑长上下文编码 Agent、单会话动辄几十万 token、并发几十路的团队 —— 那正是混合状态缓存最吃紧的场景。

【参考资料】

  • [2026-11-14](FlashStates:混合 LLM Agent 服务中减少 Prefix Cache 重算的状态管理研究与 vLLM 扩展)PyTorchKR
  • [2026-11-10](FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference)alphaXiv
  • [2026-11-10](FlashStates 项目主页与评测数据)FlashStates
  • [2026-11-08](LinearKV: One Cached State Suffices for Position-Independent Caching in Hybrid LLMs)arXiv
  • [2026-10-27](Asymmetric Virtual Memory Paging for Hybrid Mamba-Transformer Inference)arXiv
  • [2026-09-26](GLM-5.3-Flash Ran Out of Cache Snapshots, Not Cache Tokens)HelixML
  • [2026-07-27](Kimi K3 Is Here: Efficient Day-0 Support on vLLM)vLLM Blog
  • [2026-07-03](Why Prefix Caching Silently Dies on Mamba-Hybrid Models: The 528-Token Cliff)dreaming.press

【免责声明】

本文依据 FlashStates 项目主页与 alphaXiv 论文页、PyTorchKR 解读、vLLM 官方博客、HelixML 生产案例,以及 arXiv 上 LinearKV、AVMP 等相关论文整理,信息截至 2026 年 11 月 16 日。文中倍数与延迟数据均来自论文与项目方公开评测,测试环境为 NVIDIA B200(部分 GB300)、Claude Code 轨迹回放,与自有业务的实际负载可能存在差异,部署前应以自身并发量、上下文长度与缓存预算复测。代码为研究性质的开源 fork,功能默认关闭,生产使用需自行评估稳定性与合规性。本文仅作技术解读,不构成选型建议或性能承诺。

本文来自作者[光轨编译]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/jqr/202611/2122.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 光轨编译
    光轨编译 2026年11月16日

    我是环球科技潮的签约作者“光轨编译”!

  • 光轨编译
    光轨编译 2026年11月16日

    希望本篇文章《混合架构模型跑Agent,预填充吞吐再提升3倍FlashStates重新设计混合状态缓存》能对你有所帮助!

  • 光轨编译
    光轨编译 2026年11月16日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 光轨编译
    光轨编译 2026年11月16日

    本文概览:我先查 FlashStates 混合状态缓存的技术细节与数据来源。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们