Inkling 2 Mini GPU 实测llama.cpp 解码速度偏低,自研推理引擎在单张 RTX3090 跑出 129.5 token/s

Inkling 2 Mini 的独立 GPU 实测数据已经公开,对比 Gemma 同规格模型,llama.cpp 框架下它的解码速度大约只有 Gemma 的三成,性能短板来自循环 MoE、循环 Transformer 的特殊结构,llama.cpp 原生没有针对它的循环层、专家路由做深度优化;而开发者专门适配该模型的自研推理引擎,可以在单张 RTX 3090 显卡上跑到 129.5 token/s 的解码速度,说明这个模型本身具备很高的推理上限,只是通用推理框架适配跟不上架构特性,想要跑满性能,不能直接用 llama.cpp 这类通用工具。Inkling 2 Mini 是 Thinking Machines Lab 推出的循环 MoE 模型,总参数 26.4B,单 token 激活 3.4B,中间 12 层权重循环执行 3 次,属于比较特殊的循环 Transformer 架构,主流 llama.cpp 只做通用的 MoE 算子,没有处理循环层重复执行、专家调度逻辑,大量开销浪费在重复内存读写、路由判断上,所以解码速度大幅落后同量级稠密模型;自研引擎专门针对循环层、专家缓存、KV 缓存做定制优化,把 RTX3090 的算力和显存带宽充分释放。

实测核心数据对比表

运行方案硬件解码速度关键说明
llama.cpp(原版)RTX3090约 Gemma 三成速度缺少循环层优化,专家调度开销高
开发者自研定制引擎RTX3090129.5 token/s针对循环 MoE、循环 Transformer 深度优化
vLLM/SGLang 通用版本RTX3090中等,低于自研引擎基础支持,没有专项循环层优化

Inkling 2 Mini 架构带来的推理难点

  1. 循环层设计:24 层权重,中间 12 层循环跑 3 次,通用框架会重复加载、重复计算,很难合并算子。
  2. MoE 稀疏路由:每个 token 只激活 8/128 专家,路由逻辑如果没有缓存,每次解码都要重新做专家选择。
  3. 权重格式特殊:原生是 NVFP4+MXFP8 混合精度,llama.cpp 默认 GGUF 量化格式和原生权重不匹配,额外增加转换损耗。
  4. 百万上下文 KV 缓存压力:长上下文场景下,通用框架的 KV 缓存复用策略对循环模型不友好。

想要跑满 Inkling 2 Mini 性能的两种路线

  1. 优先使用专门适配 Inkling 2 Mini 的自研推理引擎,不用 llama.cpp,直接加载原生权重,开启专家缓存、循环算子融合。
  2. 继续使用 llama.cpp 的话,需要等待社区提交专项分支,增加循环层算子、MoE 专家缓存优化,否则只能接受较低的解码速度。

实测带来的选型结论

这个模型不是 “随便一个推理框架就能跑快” 的模型。如果你只是简单本地调试、快速试效果,llama.cpp 可以用,但速度慢;如果你需要线上服务、追求高吞吐,优先选择适配 Inkling 2 Mini 的定制引擎,才能拿到接近 129.5 token/s 的高性能。

【相关 FAQ】

问题 1,

回答 1:Inkling 2 Mini 在 llama.cpp 里解码速度为什么只有 Gemma 三成?

回答 1:Inkling 2 Mini 是循环 MoE 循环 Transformer 架构,llama.cpp 原生没有针对循环层、专家路由、混合精度权重做专项优化,重复计算和内存开销大,所以解码速度远不如 Gemma 这类稠密模型。

问题 2,

回答 2:Inkling 2 Mini 自研引擎在 RTX3090 上的实测解码速度是多少?

回答 2:Inkling 2 Mini 开发者自研推理引擎,在单张 RTX3090 显卡实测解码速度达到 129.5 token/s,是当前这个模型在消费级显卡上的高分成绩。

问题 3,

回答 3:Inkling 2 Mini 能不能用 vLLM 或者 SGLang 跑?

回答 3:vLLM、SGLang 可以加载 Inkling 2 Mini,但属于通用支持,没有针对循环层做深度优化,解码性能会低于这款自研引擎,达不到 129.5 token/s。

问题 4,

回答 4:Inkling 2 Mini 是什么类型的大模型?

回答 4:Inkling 2 Mini 是 Thinking Machines Lab 发布的循环 MoE 多模态模型,总参 26.4B,单 token 激活 3.4B,支持图文输入、百万上下文窗口,权重开源。

【参考资料】

[2026-11-21](Inkling 2 Mini 的 GPU 实测出炉:llama.cpp 解码只有 Gemma 三成速度,开发者自研引擎把单张 RTX 3090 推到 129.5)智源社区

[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网

[2026-11-21](Inkling 2 Mini local benchmark and inference engine discussion)Hugging Face

[2026-11-21](循环 MoE 模型推理优化讨论:llama.cpp 适配瓶颈)LlamaPerf 社区

【免责声明】

本文实测数据来自社区开发者独立测试,Inkling 2 Mini 的解码速度会受 CUDA 版本、驱动、量化参数、上下文长度、并行请求数量影响;自研引擎属于社区定制版本,尚未合并进 llama.cpp、vLLM 等主流框架,落地前请自行复现验证,本文不构成推理引擎选型建议。

本文来自作者[频界分岔]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/3935.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 频界分岔
    频界分岔 2026年11月22日

    我是环球科技潮的签约作者“频界分岔”!

  • 频界分岔
    频界分岔 2026年11月22日

    希望本篇文章《Inkling 2 Mini GPU 实测llama.cpp 解码速度偏低,自研推理引擎在单张 RTX3090 跑出 129.5 token/s》能对你有所帮助!

  • 频界分岔
    频界分岔 2026年11月22日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 频界分岔
    频界分岔 2026年11月22日

    本文概览:Inkling 2 Mini 的独立 GPU 实测数据已经公开,对比 Gemma 同规格模型,llama.cpp 框架下它的解码速度大约只有 Gemma 的三成,性能短板来自循环 MoE、循环 Transformer 的特殊结构,llama.cpp 原生没有针对它的循环层、专家路由做深度优化;而开发者专门适配该模型的自研推理引擎,可以在单张 RTX 3090 显卡上跑到 129.5 token s 的解码速度,说明这个模型本身具备很高的推理上限,只是通用推理框架适配跟不上架构特性,想要跑满性能,不能直接用 llama.cpp 这类通用工具。Inkling 2 Mini 是 Thinking Machines Lab 推出的循环 MoE 模型,总参数 26.4B,单 token 激活 3.4B,中间 12 层权重循环执行 3 次,属于比较特殊的循环 Transformer 架构,主流 llama.cpp 只做通用的 MoE 算子,没有处理循环层重复执行、专家调度逻辑,大量开销浪费在重复内存读写、路由判断上,所以解码速度大幅落后同量级稠密模型;自研引擎专门针对循环层、专家缓存、KV 缓存做定制优化,把 RTX3090 的算力和显存带宽充分释放。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们