海光信息联合清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座

海光信息与清程极智将在 2026 世界计算大会上联合发布 PD 分离异构混推技术白皮书,推出基于海光深算 3 号 DCU 的异构混合推理方案,核心思路就是把大模型推理拆成预填充、解码两个阶段,分配给不同硬件分工计算,解决长上下文大模型推理成本高、延迟不稳的痛点,搭建一套国产自主可控、性价比突出的大模型推理算力底座。现在行业里很多长文本、Agent 智能体场景,直接用同规格 DCU 跑完整推理链路,算力资源错配严重,预填充吃算力、解码吃显存,统一部署很容易要么算力浪费,要么 Token 生成卡顿;这套异构混推方案依托清程极智自研赤兔推理引擎做全局调度,搭配海光 DTK 开发栈,通过 RDMA 高速网络跨资源池传递 KV 缓存,让不同芯片各司其职,提升整体算力利用率,降低单 Token 推理成本。本次事件信息脉络分为三步,第一步合作双方敲定方案,完成 PD 分离异构混推架构验证,整理形成正式技术白皮书;第二步选择在长沙举办的 2026 世界计算大会对外发布整套方案;第三步面向智算中心、私有化大模型部署客户开放方案对接,推进落地试点。综合来看,这套异构混推方案不是单纯堆硬件,而是靠软硬件协同调度优化资源配比,给国产大模型推理提供一条降本路线,也进一步完善海光 DCU 在推理侧的生态,适配政企私有化部署、智算集群这类信创需求场景。

一、异构混推方案核心信息清单

  • 发布主体:海光信息、清程极智
  • 发布场合:2026 世界计算大会(长沙)
  • 核心架构:PD 分离(Prefill 预填充 + Decode 解码)异构混推架构
  • 硬件载体:海光深算 3 号 DCU
  • 软件底座:清程极智赤兔推理引擎、海光 DTK 全栈开发平台
  • 核心能力:跨算力池 KV 缓存复用、RDMA 高速传输、多平面流量隔离、混合精度量化
  • 目标场景:长上下文大模型、AI 智能体、私有化企业大模型服务、智算中心推理集群
  • 核心价值:提升硬件利用率,降低长文本推理成本,稳定 Token 生成时延

二、PD 分离异构混推分工对比表

推理阶段负载特点分配硬件核心任务
Prefill 预填充高密度矩阵计算,瞬时算力需求高海光深算 3 号 DCU处理用户输入长文本,生成 KV 缓存
Decode 解码持续迭代生成 Token,对显存带宽、容量敏感专用解码算力卡读取 KV 缓存,逐 Token 输出回答内容

三、异构混推架构和传统同构推理方案对比

对比项传统同构推理(全部 DCU)海光 × 清程极智异构混推方案
资源分配统一硬件承载两个阶段,资源错配按负载特性拆分算力池,各司其职
长上下文成本显存资源容易瓶颈,算力浪费算力、显存资源匹配度更高,成本下降
通信方式卡内 / 同集群内传输RDMA 高速网络跨池传输 KV 缓存
调度能力引擎调度逻辑简单赤兔引擎全局调度、KV 缓存生命周期管理
适用场景短对话、标准问答长文档、智能体、多轮超长上下文

四、方案关键技术亮点

  1. PD 分离解耦:把预填充和解码资源池分开弹性扩缩,业务高峰可以单独扩容对应算力,不用整体扩容服务器。
  2. KV 缓存跨池复用:预填充产出的缓存通过高速 RDMA 传给解码节点,不用重复计算,减少冗余开销。
  3. 多平面组网隔离:计算、存储、业务、管理流量分开,避免网络争抢导致推理抖动。
  4. 适配国产软件栈:依托海光 DTK,兼容主流大模型框架,赤兔引擎支持 FP4/FP8 量化,进一步压低算力门槛。
  5. 信创适配:整套软硬件组合国产化,满足政企、金融行业自主可控落地要求。

五、落地相关风险提示

  1. 异构混推对集群网络环境要求高,普通以太网环境下 RDMA 优势发挥不出来。
  2. 方案效果在长上下文场景提升明显,短对话场景收益有限,不是所有业务都适合。
  3. 异构集群运维复杂度高于同构服务器集群,需要配套调度和监控系统。
  4. 白皮书为技术方案说明,规模化落地的性能、成本数据还需要更多生产环境验证。

【相关 FAQ】

问题 1:海光信息联合清程极智发布异构混推技术白皮书,异构混推是什么意思?

回答 1:海光信息联合清程极智发布异构混推技术白皮书,异构混推就是采用 PD 分离架构,把大模型预填充、解码两个推理任务分配给不同硬件算力,搭配赤兔引擎调度,实现算力资源优化,打造高性价比大模型推理算力底座。

问题 2:海光信息和清程极智这套异构混推方案,主要解决大模型推理什么痛点?

回答 2:这套异构混推方案主要解决长上下文大模型推理时算力和显存资源错配、单 Token 成本偏高、生成时延不稳定的痛点,依托海光深算 3 号 DCU,打造性价比更高的国产大模型推理算力底座。

问题 3:清程极智在海光这套异构混推、大模型推理算力底座方案里承担什么角色?

回答 3:清程极智提供自研赤兔推理引擎,负责异构算力智能调度、KV 缓存管理、量化优化,配合海光 DTK 开发栈,实现跨算力池协同,是这套异构混推大模型推理算力底座的核心软件层。

【参考资料】

[2026-11-18](PD 分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案)新浪科技

[2026-11-18](海光信息 × 清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座)财联社

[2026-11-18](海光 DCU 联动赤兔引擎,异构混推重构国产推理集群)DeepTech 深科技

[2026-11-17](清程极智赤兔推理引擎产品技术介绍)清程极智官网

[2026-11-16](海光信息深算 3 号 DCU 推理生态适配进展)上海证券报

【免责声明】

本文资讯整理自本次白皮书预告、媒体公开报道以及企业公开技术资料;异构混推方案实际推理性能、降本效果受集群网络、模型长度、业务负载影响;方案落地还需要配套服务器、网络设备调试;本文内容仅为行业技术资讯梳理,不构成算力采购、项目投资相关建议。

本文来自作者[暗波谐振]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/5gtx/202611/2917.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 暗波谐振
    暗波谐振 2026年11月18日

    我是环球科技潮的签约作者“暗波谐振”!

  • 暗波谐振
    暗波谐振 2026年11月18日

    希望本篇文章《海光信息联合清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座》能对你有所帮助!

  • 暗波谐振
    暗波谐振 2026年11月18日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 暗波谐振
    暗波谐振 2026年11月18日

    本文概览:海光信息与清程极智将在 2026 世界计算大会上联合发布 PD 分离异构混推技术白皮书,推出基于海光深算 3 号 DCU 的异构混合推理方案,核心思路就是把大模型推理拆成预填充、解码两个阶段,分配给不同硬件分工计算,解决长上下文大模型推理成本高、延迟不稳的痛点,搭建一套国产自主可控、性价比突出的大模型推理算力底座。现在行业里很多长文本、Agent 智能体场景,直接用同规格 DCU 跑完整推理链路,算力资源错配严重,预填充吃算力、解码吃显存,统一部署很容易要么算力浪费,要么 Token 生成卡顿;这套异构混推方案依托清程极智自研赤兔推理引擎做全局调度,搭配海光 DTK 开发栈,通过 RDMA 高速网络跨资源池传递 KV 缓存,让不同芯片各司其职,提升整体算力利用率,降低单 Token 推理成本。本次事件信息脉络分为三步,第一步合作双方敲定方案,完成 PD 分离异构混推架构验证,整理形成正式技术白皮书;第二步选择在长沙举办的 2026 世界计算大会对外发布整套方案;第三步面向智算中心、私有化大模型部署客户开放方案对接,推进落地试点。综合来看,这套异构混推方案不是单纯堆硬件,而是靠软硬件协同调度优化资源配比,给国产大模型推理提供一条降本路线,也进一步完善海光 DCU 在推理侧的生态,适配政企私有化部署、智算集群这类信创需求场景。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们