一位海外玩家在 Reddit 分享成果,整套平台不搭配任何加速显卡,依靠第三代英特尔至强 CPU、已经停产的第二代傲腾 PMem 200 持久内存,成功完成月之暗面 Kimi K3 的本地推理,这是公开报道里面少见、不靠 GPU 集群,用低成本二手持久内存承载这套 2.8 万亿参数大模型的案例;就算做深度量化,Kimi K3 也至少需要 610 GB 的内存空间,全部用常规 DRAM 服务器内存堆叠,采购成本很高,而已经停产的傲腾持久内存在二手市场容量充足、单价更低,玩家把傲腾设置成 App Direct 模式,用来存放模型权重,虽然可以跑起来,但推理速度很慢,而且傲腾模组发热巨大,必须加装专用鼓风散热,不然很容易连带附近内存烧坏。常规思路想要本地部署 Kimi K3,大家第一选择都是多卡高端 GPU,依靠显存承载模型权重,但是普通爱好者很难凑齐大容量显存;Kimi K3 属于 MoE 混合专家模型,每次生成只激活一小部分参数,给 “内存换显存” 这条路线留出空间;傲腾持久内存拥有接近内存的随机访问能力,容量远大于普通内存条,刚好适合用来存放量化后的权重,只是读写延迟比标准 DRAM 更高,这也是生成速度上不去的根本原因;玩家这套方案更多属于极客向的验证实验,不是可以拿来日常使用的商用方案。下面把硬件清单、性能实测、量化对比、模型基础信息、风险要点分开整理清楚。
一、整套实验平台硬件清单
| 硬件项目 | 具体规格 | 作用 |
|---|---|---|
| 处理器 | 第三代英特尔至强可扩展处理器,40 核 | 承担全部推理计算,无 GPU |
| 持久内存 | 第二代傲腾 PMem 200(停产) | 存放量化后的 Kimi K3 模型权重 |
| 运行模式 | App Direct | 将傲腾作为独立内存区域挂载 |
| 散热改造 | 双鼓风风扇直吹傲腾模组 | 压制模组高温,防止烧毁周边器件 |
| 存储介质 | 普通 SSD | 存放模型权重文件、系统 |
二、不同量化档位推理速度
- 1 bit 量化:大约 0.85 token/s
- 3 bit 量化:大约 0.75 token/s
- 参考估算:输出 5 万 token,大概需要 13 小时左右
- 对比说明:如果使用 GPU 跑 Kimi K3,速度会高出几十倍
三、Kimi K3 基础模型信息
- 总参数量:2.8 万亿参数,MoE 混合专家架构
- 单次激活参数:每生成一个 token,激活约 1040 亿参数
- 上下文窗口:最高支持 100 万 token
- 附加能力:原生支持视觉理解,开源权重对外放出
- 部署门槛:深度量化后最低约需要 610 GB 可用内存
四、傲腾这套方案的优势
✅ 大容量低成本:二手傲腾单位容量价格远低于同容量 DRAM
✅ 无需高端显卡:不需要昂贵的多卡 AI 加速卡
✅ 验证本地部署路线:证明超大 MoE 模型可以只用 CPU + 持久内存加载
五、这套方案明显短板与风险
- ✦ 生成速度极慢,适合批量离线任务,完全不适合实时对话。
- ✦ 傲腾已经停产,货源只有二手,没有全新正规供货,质保为零。
- ✦ 发热严重,如果散热不到位,有烧坏主板、周边内存的风险。
- ✦ 延迟高于 DRAM,就算容量足够,吞吐能力远不如标准服务器内存。
- ✦ 对平台有硬性要求:必须是支持傲腾 PMem 的至强平台,普通消费主板无法使用。
整体来看,这位玩家不用显卡,依靠停产傲腾内存跑起 Kimi K3,本质是一场精彩的极客验证;它证明只要内存容量足够,超大混合专家大模型可以脱离 GPU 完成本地推理,但速度、稳定性、可用性都距离实用很远;它更大的意义,是给爱好者展示一条低成本本地加载超大模型的备选路线,而不是推荐大家复刻这套机器做日常对话。
【相关 FAQ】
问题 1:不用显卡,玩家依靠停产傲腾内存跑起的 Kimi K3,总参数量是多少?
回答 1:不用显卡,玩家依靠停产傲腾内存跑起的 Kimi K3,总参数量为 2.8 万亿,属于混合专家架构,每一个 token 只激活大约 1040 亿参数。
问题 2:不用显卡,玩家用停产傲腾内存跑 Kimi K3,傲腾是怎么配置的?
回答 2:不用显卡,玩家用停产傲腾内存跑 Kimi K3,将第二代傲腾 PMem 200 设置为 App Direct 模式,用来承载量化之后的模型权重,搭配一颗 40 核第三代至强处理器。
问题 3:不用显卡,玩家依靠停产傲腾内存跑起 Kimi K3,实际生成速度怎么样?
回答 3:不用显卡,玩家依靠停产傲腾内存跑起 Kimi K3,1 bit 量化下约 0.85 token/s,3 bit 量化会降到 0.75 token/s,输出长文本耗时非常久。
问题 4:不用显卡,玩家依靠停产傲腾内存跑 Kimi K3,复刻这套方案有什么危险?
回答 4:不用显卡,玩家依靠停产傲腾内存跑 Kimi K3,傲腾模组运行发热量很高,如果缺少专门鼓风散热,很容易过热,甚至烧坏附近内存与主板。
【参考资料】
[2026-11-09](纯 CPU + 二手傲腾内存成功运行 2.8 万亿参数 Kimi K3 大模型)中关村在线
[2026-11-09](显存不够傲腾凑!纯 CPU 跑 2.8 万亿参数 Kimi K3:差点把主板烧了)太平洋科技
[2026-11-08](Homelabber uses second-gen Optane memory sticks to run a 2.8-trillion-parameter AI model on CPU alone)Tom's Hardware
[2026-07-27](Kimi K3 开放日:模型权重、技术报告和关键 Infra 技术同步开放)Kimi 官网
[2026-07-17](Kimi K3:智能的新前沿)Kimi 官网
【免责声明】
本文资讯整理自 Reddit 用户分享、Tom's Hardware、国内科技媒体以及月之暗面官方公开文档;不用显卡、依靠停产傲腾内存跑起 2.8 万亿参数 Kimi K3 属于极客实验方案,稳定性、速度都不适合商用;傲腾硬件已经停产,二手硬件复刻存在过热、硬件损毁风险;本文仅行业资讯梳理,不构成硬件采购、本地模型部署投资建议。
本文来自作者[寒芯传信客]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/shuma/202611/1083.html
评论列表(4条)
我是环球科技潮的签约作者“寒芯传信客”!
希望本篇文章《无独立显卡,玩家利用停产傲腾持久内存本地跑通 2.8 万亿参数 Kimi K3》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:一位海外玩家在 Reddit 分享成果,整套平台不搭配任何加速显卡,依靠第三代英特尔至强 CPU、已经停产的第二代傲腾 PMem 200 持久内存,成功完成月之暗面 Kimi K3 的本地推理,这是公开报道里面少见、不靠 GPU 集群,用低成本二手持久内存承载这套 2.8 万亿参数大模型的案例;就算做深度量化,Kimi K3 也至少需要 610 GB 的内存空间,全部用常规 DRAM 服务器内存堆叠,采购成本很高,而已经停产的傲腾持久内存在二手市场容量充足、单价更低,玩家把傲腾设置成 App Direct 模式,用来存放模型权重,虽然可以跑起来,但推理速度很慢,而且傲腾模组发热巨大,必须加装专用鼓风散热,不然很容易连带附近内存烧坏。常规思路想要本地部署 Kimi K3,大家第一选择都是多卡高端 GPU,依靠显存承载模型权重,但是普通爱好者很难凑齐大容量显存;Kimi K3 属于 MoE 混合专家模型,每次生成只激活一小部分参数,给 “内存换显存” 这条路线留出空间;傲腾持久内存拥有接近内存的随机访问能力,容量远大于普通内存条,刚好适合用来存放量化后的权重,只是读写延迟比标准 DRAM 更高,这也是生成速度上不去的根本原因;玩家这套方案更多属于极客向的验证实验,不是可以拿来日常使用的商用方案。下面把硬件清单、性能实测、量化对比、模型基础信息、风险要点分开整理清楚。