FlashStates 重构混合状态缓存,混合架构 LLM 跑 Agent,预填充吞吐最高提升 3.14 倍

FlashStates 是面向混合架构大模型 Agent 推理推出的新型状态缓存方案,作为 vLLM 的扩展模块专门解决混合模型跑 Agent 时重复预填充开销大的痛点,混合架构模型同时包含注意力层与 SSM 循环状态层,传统 KV 缓存只能按固定块边界保存状态,Agent 多轮工具调用、长对话跳转时,经常没法精准复用上一轮的循环状态和 KV 对,只能重新跑一遍完整 prefill,GPU 算力大量浪费;FlashStates 核心创新是 ASC 任意状态检查点技术,把循环状态保存位置和 KV 缓存块边界解耦,可以在任意 token 位置留存循环检查点,并且把检查点和它依赖的 KV 缓存绑定成一个依赖感知混合状态单元,配套开销感知的在线淘汰策略,优先保留收益高的状态组合,在 B200 显卡、编码 Agent 负载下实测,GLM-5.3-Flash 预填充吞吐达到原生 vLLM 的 3.14 倍,接近三倍提升,Nemotron 3 Super、Qwen3.8-Flash-Next 也分别拿到 2.27 倍、1.54 倍的吞吐增益,同时 P90 首 token 延迟明显下降,这套方案不用改动模型权重,只在推理侧做缓存调度改造,适合代码 Agent、工具调用 Agent 这类多轮长上下文业务落地。

一、FlashStates 实测性能数据汇总表

测试模型测试负载对比基线预填充吞吐提升倍数
GLM-5.3-Flash编码 Agent 轨迹回放原生 vLLM3.14×
Nemotron 3 Super编码 Agent 轨迹回放原生 vLLM2.27×
Qwen3.8-Flash-Next编码 Agent 轨迹回放原生 vLLM1.54×

二、FlashStates 两大核心技术清单

  1. ASC 任意状态检查点(Arbitrary State Checkpointing):不再强制对齐 KV 块边界,在任意 token 断点保存 SSM 循环状态,Agent 多轮恢复时直接读取检查点,不用从头重算前缀;内核输出保持和原版完全一致,不会破坏模型输出确定性。
  2. 依赖感知混合状态管理:循环检查点和它依赖的 KV 页面绑定为一组,淘汰时只释放当前状态独占资源,共享 KV 页面会等到所有依赖它的状态都释放之后才回收,配合开销感知调度策略,在显存上限内最大化减少重复 prefill。

三、传统 KV 缓存方案在混合模型 Agent 场景的短板

固定块对齐检查点

检查点只能落在 KV 块边界,Agent 一轮结束位置大概率落在块中间,无法保存有效状态,下一轮只能全量 prefill。

状态和 KV 分离管理

循环状态、KV 缓存独立淘汰,很容易出现 KV 还在、状态丢了,或者状态保留、依赖 KV 被清掉的情况,缓存失效。

淘汰策略只看 LRU

不区分一次缓存命中能省下多少 prefill 算力,高价值 Agent 状态和普通短请求状态同等对待,资源利用差。

四、FlashStates 处理 Agent 多轮请求完整流程

  1. 第一轮推理:正常 prefill+decode,在本轮结束的精确 token 位置,通过 ASC 保存循环检查点,绑定对应 KV 页面;
  2. 状态注册:混合状态单元登记依赖关系,进入缓存池,调度器记录这个状态的 prefill 节省收益;
  3. Agent 发起下一轮:匹配已有混合状态,命中就直接加载检查点 + KV,跳过前缀重复预填充;
  4. 缓存淘汰:显存不足时,按 “单次命中节省 prefill 开销” 排序,优先驱逐收益最低的状态单元;
  5. 持续迭代:Agent 反复调用工具、追加上下文,持续新增、复用、淘汰混合状态。

五、高频认知误区梳理

误区 1:FlashStates 需要修改混合模型网络结构

FlashStates 属于推理侧调度层优化,不需要修改模型权重、前向逻辑,是 vLLM 扩展插件。

误区 2:所有模型都能拿到 3 倍左右吞吐提升

3.14 倍是 GLM-5.3-Flash 在编码 Agent 负载下的最优结果,不同模型、不同 Agent 业务增益差距很大。

误区 3:ASC 检查点会改变模型输出结果

论文明确说明,检查点方案保证输出比特一致,不会改变模型生成内容。

误区 4:FlashStates 只优化 prefill,decode 速度没有收益

核心收益是减少重复 prefill,同时因为状态复用减少排队,首 token 延迟 P90 同步下降,decode 本身算子不变。

【相关 FAQ】

问题 1:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 是什么?

回答 1:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 是面向混合架构 LLM Agent 推理、基于 vLLM 扩展的混合状态缓存系统,核心是 ASC 任意状态检查点技术。

问题 2:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 为什么适合混合架构 Agent?

回答 2:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,混合模型同时有注意力 KV 和 SSM 循环状态,传统缓存只能按块边界保存,FlashStates 可以在任意位置保存检查点,减少 Agent 多轮重复预填充。

问题 3:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 最高预填充吞吐提升多少?

回答 3:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,GLM-5.3-Flash 搭配编码 Agent 负载,相比原生 vLLM 预填充吞吐最高提升 3.14 倍。

问题 4:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 的 ASC 技术作用是什么?

回答 4:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,ASC 任意状态检查点把循环状态保存位置和 KV 缓存块边界解耦,在任意 token 断点保存 SSM 循环状态,支持 Agent 精准恢复上下文。

【参考资料】

[2026-11-14](FlashStates:混合 LLM Agent 推理,重构混合状态缓存)机器之心

[2026-11-10](FlashState: Unlocking Flexible Hybrid State Management for Agentic LLM Serving)alphaXiv

[2026-11-10](FlashStates 项目官网介绍,vLLM 混合状态缓存扩展)flashstates.ai

[2026-11-09](混合架构 SSM+Attention 模型 Agent 推理缓存痛点解析)HuggingFace 社区

[2026-11-09](FlashStates 论文解读,编码 Agent 负载性能实测)PyTorchKR 社区

【免责声明】

本文仅整理 FlashStates 混合状态缓存相关论文与公开测试资讯,3 倍吞吐提升为特定模型、特定 Agent 负载、B200 环境下的实验数据;实际业务吞吐、延迟收益受模型类型、Agent 调用链路、并发规模、显存配置影响,FlashStates 为研究原型方案,生产落地稳定性、兼容性需要自行验证,不构成线上部署建议。

本文来自作者[磁核存序官]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/2278.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 磁核存序官
    磁核存序官 2026年11月17日

    我是环球科技潮的签约作者“磁核存序官”!

  • 磁核存序官
    磁核存序官 2026年11月17日

    希望本篇文章《FlashStates 重构混合状态缓存,混合架构 LLM 跑 Agent,预填充吞吐最高提升 3.14 倍》能对你有所帮助!

  • 磁核存序官
    磁核存序官 2026年11月17日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 磁核存序官
    磁核存序官 2026年11月17日

    本文概览:FlashStates 是面向混合架构大模型 Agent 推理推出的新型状态缓存方案,作为 vLLM 的扩展模块专门解决混合模型跑 Agent 时重复预填充开销大的痛点,混合架构模型同时包含注意力层与 SSM 循环状态层,传统 KV 缓存只能按固定块边界保存状态,Agent 多轮工具调用、长对话跳转时,经常没法精准复用上一轮的循环状态和 KV 对,只能重新跑一遍完整 prefill,GPU 算力大量浪费;FlashStates 核心创新是 ASC 任意状态检查点技术,把循环状态保存位置和 KV 缓存块边界解耦,可以在任意 token 位置留存循环检查点,并且把检查点和它依赖的 KV 缓存绑定成一个依赖感知混合状态单元,配套开销感知的在线淘汰策略,优先保留收益高的状态组合,在 B200 显卡、编码 Agent 负载下实测,GLM-5.3-Flash 预填充吞吐达到原生 vLLM 的 3.14 倍,接近三倍提升,Nemotron 3 Super、Qwen3.8-Flash-Next 也分别拿到 2.27 倍、1.54 倍的吞吐增益,同时 P90 首 token 延迟明显下降,这套方案不用改动模型权重,只在推理侧做缓存调度改造,适合代码 Agent、工具调用 Agent 这类多轮长上下文业务落地。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们