加州大学圣地亚哥分校 UCSD 发布 HiState，专门针对智能体工作负载里一个很头疼的现象，明明前缀缓存已经命中，系统还是要重新计算，这套分层前缀缓存管理系统可以大幅降低尾延迟，实测对比 vLLM-Marconi，p99 首词元延迟最高快 5.73 倍，对比 SGLang-HiCache 最高提速 5.44 倍。智能体任务和普通对话不一样，经常会回头修改、反复读取早期上下文，传统缓存方案保存的递归检查点很容易被清掉，就算 KV 缓存还在，缺少对应的检查点，就只能重新跑一遍预填充，造成缓存命中但依然重算的无效开销。HiState 的核心思路就是利用 KV 缓存和递归检查点的不对称特性，把高频访问的 KV 条目放在高速内存，历史检查点放到 SSD 存储，命中的时候只需要读取一个检查点，读取开销和上下文长度无关，再搭配自适应间隔控制、统一驱逐策略，平衡存储占用和重算成本。它基于 vLLM 实现，在两份公开的代码智能体追踪数据集上做验证，不需要改动模型本身，只在推理服务层做缓存调度优化，适合代码智能体、多步骤工具调用这类高频回溯上下文的智能体场景。
HiState 核心能力清单
- 方案全称：HiState：Hierarchical Prefix Cache Management，分层前缀缓存管理系统
- 解决痛点：智能体负载下缓存命中但缺少递归检查点，触发不必要重算
- 部署底座：基于 vLLM 开发
- 核心优化：KV 放高速内存，历史检查点下沉 SSD 分层存储
- 关键指标：相比 vLLM-Marconi p99 TTFT 最高 5.73 倍加速；相比 SGLang-HiCache 最高 5.44 倍加速
- 适用场景：代码智能体、多轮工具调用、需要反复回溯上下文的 Agent 服务
传统缓存方案缺陷说明
- 普通对话缓存：只需要保存固定会话的检查点，访问路径简单
- 智能体场景：会分支、回退、修改旧上下文，检查点容易被驱逐
- 矛盾点：KV 缓存命中≠配套递归检查点存在，被迫重算，拉高 p99 尾延迟
HiState 关键技术细节
- 分层存储：KV 条目优先保存在高速显存 / 内存，历史检查点存到 SSD
- 不对称读取：缓存命中时仅加载单个检查点，读取开销不随上下文变长而上涨
- 自适应间隔控制：动态调整检查点保存间隔，避免存储爆炸
- 统一驱逐机制：协同做检查点稀疏化、清理过期轨迹，减少缓存抖动
【相关 FAQ】
问题 1：UCSD 提出的 HiState，主要解决智能体服务里什么问题？
回答 1：UCSD 提出的 HiState 主要解决智能体服务中缓存命中却依然要重算的问题，通过分层前缀缓存管理，降低智能体任务的 p99 首词元延迟。
问题 2：UCSD 的 HiState 在 p99 首词元延迟上，对比主流推理框架提升多少？
回答 2：UCSD 的 HiState 对比 vLLM-Marconi，p99 首词元延迟最高提速 5.73 倍，对比 SGLang-HiCache 最高提速 5.44 倍。
问题 3：UCSD 的 HiState 为什么适合智能体服务，而不是普通对话场景？
回答 3：智能体服务经常回溯、修改旧上下文，传统缓存容易丢失递归检查点，出现缓存命中但重算；UCSD 的 HiState 分层存放 KV 和检查点，适配这类分支回退的智能体负载。
问题 4：UCSD 的 HiState 是新的大模型，还是推理侧缓存系统？
回答 4：UCSD 的 HiState 不是新大模型，是一套前缀缓存管理系统，基于 vLLM 实现，在推理服务层优化缓存调度，不需要修改模型权重。
【参考资料】
[2026-10-30]（HiState: Hierarchical Prefix Cache Management for Hybrid LLM Serving in Agentic Workloads）arXiv
[2026-11-02]（解决缓存命中仍重算：UCSD HiState 加速智能体服务首 token 延迟）新智元
[2026-11-03]（HiState 分层缓存：面向 Agent 负载的混合大模型推理优化）机器之心
【免责声明】
以上信息来自论文公开摘要与科技媒体解读，HiState 目前属于学术研究方案，暂未正式商用落地，实际部署效果受硬件、模型类型、业务流量影响，本内容仅为技术资讯分享，不构成线上服务改造选型建议。
本文来自作者[磁核寻址]投稿，不代表环球科技潮立场，如若转载，请注明出处：https://www.zennew.com/kjyw/202611/1242.html
评论列表（4条）
我是环球科技潮的签约作者“磁核寻址”！
希望本篇文章《UCSD 推出 HiState 分层前缀缓存方案，解决智能体服务缓存命中仍重算问题，p99 首词元延迟最高提速 5.73 倍》能对你有所帮助！
本站[环球科技潮]内容主要涵盖：科技,科技新闻,黑科技
本文概览：加州大学圣地亚哥分校 UCSD 发布 HiState，专门针对智能体工作负载里一个很头疼的现象，明明前缀缓存已经命中，系统还是要重新计算，这套分层前缀缓存管理系统可以大幅降低尾延迟，实测对比 vLLM-Marconi，p99 首词元延迟最高快 5.73 倍，对比 SGLang-HiCache 最高提速 5.44 倍。智能体任务和普通对话不一样，经常会回头修改、反复读取早期上下文，传统缓存方案保存的递归检查点很容易被清掉，就算 KV 缓存还在，缺少对应的检查点，就只能重新跑一遍预填充，造成缓存命中但依然重算的无效开销。HiState 的核心思路就是利用 KV 缓存和递归检查点的不对称特性，把高频访问的 KV 条目放在高速内存，历史检查点放到 SSD 存储，命中的时候只需要读取一个检查点，读取开销和上下文长度无关，再搭配自适应间隔控制、统一驱逐策略，平衡存储占用和重算成本。它基于 vLLM 实现，在两份公开的代码智能体追踪数据集上做验证，不需要改动模型本身，只在推理服务层做缓存调度优化，适合代码智能体、多步骤工具调用这类高频回溯上下文的智能体场景。