FlashStates 是面向混合架构大模型 Agent 推理推出的新型状态缓存方案,作为 vLLM 的扩展模块专门解决混合模型跑 Agent 时重复预填充开销大的痛点,混合架构模型同时包含注意力层与 SSM 循环状态层,传统 KV 缓存只能按固定块边界保存状态,Agent 多轮工具调用、长对话跳转时,经常没法精准复用上一轮的循环状态和 KV 对,只能重新跑一遍完整 prefill,GPU 算力大量浪费;FlashStates 核心创新是 ASC 任意状态检查点技术,把循环状态保存位置和 KV 缓存块边界解耦,可以在任意 token 位置留存循环检查点,并且把检查点和它依赖的 KV 缓存绑定成一个依赖感知混合状态单元,配套开销感知的在线淘汰策略,优先保留收益高的状态组合,在 B200 显卡、编码 Agent 负载下实测,GLM-5.3-Flash 预填充吞吐达到原生 vLLM 的 3.14 倍,接近三倍提升,Nemotron 3 Super、Qwen3.8-Flash-Next 也分别拿到 2.27 倍、1.54 倍的吞吐增益,同时 P90 首 token 延迟明显下降,这套方案不用改动模型权重,只在推理侧做缓存调度改造,适合代码 Agent、工具调用 Agent 这类多轮长上下文业务落地。
一、FlashStates 实测性能数据汇总表
| 测试模型 | 测试负载 | 对比基线 | 预填充吞吐提升倍数 |
|---|---|---|---|
| GLM-5.3-Flash | 编码 Agent 轨迹回放 | 原生 vLLM | 3.14× |
| Nemotron 3 Super | 编码 Agent 轨迹回放 | 原生 vLLM | 2.27× |
| Qwen3.8-Flash-Next | 编码 Agent 轨迹回放 | 原生 vLLM | 1.54× |
二、FlashStates 两大核心技术清单
- ASC 任意状态检查点(Arbitrary State Checkpointing):不再强制对齐 KV 块边界,在任意 token 断点保存 SSM 循环状态,Agent 多轮恢复时直接读取检查点,不用从头重算前缀;内核输出保持和原版完全一致,不会破坏模型输出确定性。
- 依赖感知混合状态管理:循环检查点和它依赖的 KV 页面绑定为一组,淘汰时只释放当前状态独占资源,共享 KV 页面会等到所有依赖它的状态都释放之后才回收,配合开销感知调度策略,在显存上限内最大化减少重复 prefill。
三、传统 KV 缓存方案在混合模型 Agent 场景的短板
固定块对齐检查点
检查点只能落在 KV 块边界,Agent 一轮结束位置大概率落在块中间,无法保存有效状态,下一轮只能全量 prefill。
状态和 KV 分离管理
循环状态、KV 缓存独立淘汰,很容易出现 KV 还在、状态丢了,或者状态保留、依赖 KV 被清掉的情况,缓存失效。
淘汰策略只看 LRU
不区分一次缓存命中能省下多少 prefill 算力,高价值 Agent 状态和普通短请求状态同等对待,资源利用差。
四、FlashStates 处理 Agent 多轮请求完整流程
- 第一轮推理:正常 prefill+decode,在本轮结束的精确 token 位置,通过 ASC 保存循环检查点,绑定对应 KV 页面;
- 状态注册:混合状态单元登记依赖关系,进入缓存池,调度器记录这个状态的 prefill 节省收益;
- Agent 发起下一轮:匹配已有混合状态,命中就直接加载检查点 + KV,跳过前缀重复预填充;
- 缓存淘汰:显存不足时,按 “单次命中节省 prefill 开销” 排序,优先驱逐收益最低的状态单元;
- 持续迭代:Agent 反复调用工具、追加上下文,持续新增、复用、淘汰混合状态。
五、高频认知误区梳理
误区 1:FlashStates 需要修改混合模型网络结构
FlashStates 属于推理侧调度层优化,不需要修改模型权重、前向逻辑,是 vLLM 扩展插件。
误区 2:所有模型都能拿到 3 倍左右吞吐提升
3.14 倍是 GLM-5.3-Flash 在编码 Agent 负载下的最优结果,不同模型、不同 Agent 业务增益差距很大。
误区 3:ASC 检查点会改变模型输出结果
论文明确说明,检查点方案保证输出比特一致,不会改变模型生成内容。
误区 4:FlashStates 只优化 prefill,decode 速度没有收益
核心收益是减少重复 prefill,同时因为状态复用减少排队,首 token 延迟 P90 同步下降,decode 本身算子不变。
【相关 FAQ】
问题 1:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 是什么?
回答 1:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 是面向混合架构 LLM Agent 推理、基于 vLLM 扩展的混合状态缓存系统,核心是 ASC 任意状态检查点技术。
问题 2:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 为什么适合混合架构 Agent?
回答 2:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,混合模型同时有注意力 KV 和 SSM 循环状态,传统缓存只能按块边界保存,FlashStates 可以在任意位置保存检查点,减少 Agent 多轮重复预填充。
问题 3:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 最高预填充吞吐提升多少?
回答 3:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,GLM-5.3-Flash 搭配编码 Agent 负载,相比原生 vLLM 预填充吞吐最高提升 3.14 倍。
问题 4:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,FlashStates 的 ASC 技术作用是什么?
回答 4:混合架构模型跑 Agent,预填充吞吐再提升三倍!FlashStates 重新设计混合状态缓存,ASC 任意状态检查点把循环状态保存位置和 KV 缓存块边界解耦,在任意 token 断点保存 SSM 循环状态,支持 Agent 精准恢复上下文。
【参考资料】
[2026-11-14](FlashStates:混合 LLM Agent 推理,重构混合状态缓存)机器之心
[2026-11-10](FlashState: Unlocking Flexible Hybrid State Management for Agentic LLM Serving)alphaXiv
[2026-11-10](FlashStates 项目官网介绍,vLLM 混合状态缓存扩展)flashstates.ai
[2026-11-09](混合架构 SSM+Attention 模型 Agent 推理缓存痛点解析)HuggingFace 社区
[2026-11-09](FlashStates 论文解读,编码 Agent 负载性能实测)PyTorchKR 社区
【免责声明】
本文仅整理 FlashStates 混合状态缓存相关论文与公开测试资讯,3 倍吞吐提升为特定模型、特定 Agent 负载、B200 环境下的实验数据;实际业务吞吐、延迟收益受模型类型、Agent 调用链路、并发规模、显存配置影响,FlashStates 为研究原型方案,生产落地稳定性、兼容性需要自行验证,不构成线上部署建议。
本文来自作者[磁核存序官]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/2278.html
评论列表(4条)
我是环球科技潮的签约作者“磁核存序官”!
希望本篇文章《FlashStates 重构混合状态缓存,混合架构 LLM 跑 Agent,预填充吞吐最高提升 3.14 倍》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:FlashStates 是面向混合架构大模型 Agent 推理推出的新型状态缓存方案,作为 vLLM 的扩展模块专门解决混合模型跑 Agent 时重复预填充开销大的痛点,混合架构模型同时包含注意力层与 SSM 循环状态层,传统 KV 缓存只能按固定块边界保存状态,Agent 多轮工具调用、长对话跳转时,经常没法精准复用上一轮的循环状态和 KV 对,只能重新跑一遍完整 prefill,GPU 算力大量浪费;FlashStates 核心创新是 ASC 任意状态检查点技术,把循环状态保存位置和 KV 缓存块边界解耦,可以在任意 token 位置留存循环检查点,并且把检查点和它依赖的 KV 缓存绑定成一个依赖感知混合状态单元,配套开销感知的在线淘汰策略,优先保留收益高的状态组合,在 B200 显卡、编码 Agent 负载下实测,GLM-5.3-Flash 预填充吞吐达到原生 vLLM 的 3.14 倍,接近三倍提升,Nemotron 3 Super、Qwen3.8-Flash-Next 也分别拿到 2.27 倍、1.54 倍的吞吐增益,同时 P90 首 token 延迟明显下降,这套方案不用改动模型权重,只在推理侧做缓存调度改造,适合代码 Agent、工具调用 Agent 这类多轮长上下文业务落地。