Inkling 2 Mini 的独立 GPU 实测数据已经公开,对比 Gemma 同规格模型,llama.cpp 框架下它的解码速度大约只有 Gemma 的三成,性能短板来自循环 MoE、循环 Transformer 的特殊结构,llama.cpp 原生没有针对它的循环层、专家路由做深度优化;而开发者专门适配该模型的自研推理引擎,可以在单张 RTX 3090 显卡上跑到 129.5 token/s 的解码速度,说明这个模型本身具备很高的推理上限,只是通用推理框架适配跟不上架构特性,想要跑满性能,不能直接用 llama.cpp 这类通用工具。Inkling 2 Mini 是 Thinking Machines Lab 推出的循环 MoE 模型,总参数 26.4B,单 token 激活 3.4B,中间 12 层权重循环执行 3 次,属于比较特殊的循环 Transformer 架构,主流 llama.cpp 只做通用的 MoE 算子,没有处理循环层重复执行、专家调度逻辑,大量开销浪费在重复内存读写、路由判断上,所以解码速度大幅落后同量级稠密模型;自研引擎专门针对循环层、专家缓存、KV 缓存做定制优化,把 RTX3090 的算力和显存带宽充分释放。
实测核心数据对比表
| 运行方案 | 硬件 | 解码速度 | 关键说明 |
|---|---|---|---|
| llama.cpp(原版) | RTX3090 | 约 Gemma 三成速度 | 缺少循环层优化,专家调度开销高 |
| 开发者自研定制引擎 | RTX3090 | 129.5 token/s | 针对循环 MoE、循环 Transformer 深度优化 |
| vLLM/SGLang 通用版本 | RTX3090 | 中等,低于自研引擎 | 基础支持,没有专项循环层优化 |
Inkling 2 Mini 架构带来的推理难点
- 循环层设计:24 层权重,中间 12 层循环跑 3 次,通用框架会重复加载、重复计算,很难合并算子。
- MoE 稀疏路由:每个 token 只激活 8/128 专家,路由逻辑如果没有缓存,每次解码都要重新做专家选择。
- 权重格式特殊:原生是 NVFP4+MXFP8 混合精度,llama.cpp 默认 GGUF 量化格式和原生权重不匹配,额外增加转换损耗。
- 百万上下文 KV 缓存压力:长上下文场景下,通用框架的 KV 缓存复用策略对循环模型不友好。
想要跑满 Inkling 2 Mini 性能的两种路线
- 优先使用专门适配 Inkling 2 Mini 的自研推理引擎,不用 llama.cpp,直接加载原生权重,开启专家缓存、循环算子融合。
- 继续使用 llama.cpp 的话,需要等待社区提交专项分支,增加循环层算子、MoE 专家缓存优化,否则只能接受较低的解码速度。
实测带来的选型结论
这个模型不是 “随便一个推理框架就能跑快” 的模型。如果你只是简单本地调试、快速试效果,llama.cpp 可以用,但速度慢;如果你需要线上服务、追求高吞吐,优先选择适配 Inkling 2 Mini 的定制引擎,才能拿到接近 129.5 token/s 的高性能。
【相关 FAQ】
问题 1,
回答 1:Inkling 2 Mini 在 llama.cpp 里解码速度为什么只有 Gemma 三成?
回答 1:Inkling 2 Mini 是循环 MoE 循环 Transformer 架构,llama.cpp 原生没有针对循环层、专家路由、混合精度权重做专项优化,重复计算和内存开销大,所以解码速度远不如 Gemma 这类稠密模型。
问题 2,
回答 2:Inkling 2 Mini 自研引擎在 RTX3090 上的实测解码速度是多少?
回答 2:Inkling 2 Mini 开发者自研推理引擎,在单张 RTX3090 显卡实测解码速度达到 129.5 token/s,是当前这个模型在消费级显卡上的高分成绩。
问题 3,
回答 3:Inkling 2 Mini 能不能用 vLLM 或者 SGLang 跑?
回答 3:vLLM、SGLang 可以加载 Inkling 2 Mini,但属于通用支持,没有针对循环层做深度优化,解码性能会低于这款自研引擎,达不到 129.5 token/s。
问题 4,
回答 4:Inkling 2 Mini 是什么类型的大模型?
回答 4:Inkling 2 Mini 是 Thinking Machines Lab 发布的循环 MoE 多模态模型,总参 26.4B,单 token 激活 3.4B,支持图文输入、百万上下文窗口,权重开源。
【参考资料】
[2026-11-21](Inkling 2 Mini 的 GPU 实测出炉:llama.cpp 解码只有 Gemma 三成速度,开发者自研引擎把单张 RTX 3090 推到 129.5)智源社区
[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网
[2026-11-21](Inkling 2 Mini local benchmark and inference engine discussion)Hugging Face
[2026-11-21](循环 MoE 模型推理优化讨论:llama.cpp 适配瓶颈)LlamaPerf 社区
【免责声明】
本文实测数据来自社区开发者独立测试,Inkling 2 Mini 的解码速度会受 CUDA 版本、驱动、量化参数、上下文长度、并行请求数量影响;自研引擎属于社区定制版本,尚未合并进 llama.cpp、vLLM 等主流框架,落地前请自行复现验证,本文不构成推理引擎选型建议。
本文来自作者[频界分岔]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/3935.html
评论列表(4条)
我是环球科技潮的签约作者“频界分岔”!
希望本篇文章《Inkling 2 Mini GPU 实测llama.cpp 解码速度偏低,自研推理引擎在单张 RTX3090 跑出 129.5 token/s》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:Inkling 2 Mini 的独立 GPU 实测数据已经公开,对比 Gemma 同规格模型,llama.cpp 框架下它的解码速度大约只有 Gemma 的三成,性能短板来自循环 MoE、循环 Transformer 的特殊结构,llama.cpp 原生没有针对它的循环层、专家路由做深度优化;而开发者专门适配该模型的自研推理引擎,可以在单张 RTX 3090 显卡上跑到 129.5 token s 的解码速度,说明这个模型本身具备很高的推理上限,只是通用推理框架适配跟不上架构特性,想要跑满性能,不能直接用 llama.cpp 这类通用工具。Inkling 2 Mini 是 Thinking Machines Lab 推出的循环 MoE 模型,总参数 26.4B,单 token 激活 3.4B,中间 12 层权重循环执行 3 次,属于比较特殊的循环 Transformer 架构,主流 llama.cpp 只做通用的 MoE 算子,没有处理循环层重复执行、专家调度逻辑,大量开销浪费在重复内存读写、路由判断上,所以解码速度大幅落后同量级稠密模型;自研引擎专门针对循环层、专家缓存、KV 缓存做定制优化,把 RTX3090 的算力和显存带宽充分释放。