开源项目 Garlic LLM 由开发者 Leonardo Alegria 推出,能够在已经越狱、搭载 GoldHEN 自制程序环境的 PS4 主机上离线运行 Qwen3.5-9B 大语言模型,代码生成场景下最高输出速度可达每秒 43 词元,普通对话场景速度在每秒 31 至 39 词元,全程不需要联网、不用外接电脑做算力支撑。PS4 原生没有开放通用 GPU 计算接口和机器学习框架,Garlic LLM 的解决办法是绕过系统图形驱动,直接向 AMD GCN 架构 GPU 下发底层指令,同时搭配 3 位、4 位混合量化压缩模型权重,再依靠推测解码技术提升生成效率,把模型占用控制在约 4.5GiB,适配 PS4 仅有 8GB 统一内存的硬件瓶颈,这套方案还支持 16k 上下文窗口、离线语音识别与语音合成,也可以直接运行模型生成的 Python 代码。下面分成项目核心技术方案、实测性能参数清单、硬件与环境要求、信息对比表格这几个板块。
一、Garlic LLM 核心技术方案
- 模型基座:通义千问 Qwen3.5-9B,采用 3bit/4bit 混合量化压缩
- GPU 调度方式:绕过 PS4 原生图形驱动栈,手写 GCN 底层计算算子,直接下发 PM4 指令
- 加速手段:推测解码(MTP),一次预生成、校验多个词元,拉高吞吐
- 运行环境:PS4 GoldHEN 自制系统,不依赖 Linux 系统、外接 PC
- 附加能力:离线语音转文字、语音播报、内置 MicroPython 执行环境
二、实测性能参数清单
- 普通文本对话:31~39 token/s
- 代码生成场景:最高 43 token/s
- 上下文窗口:16000 token
- 模型文件占用:约 4.5GiB,完整安装包约 5.66GB
- 语音开启后:推理速度会出现明显下降
- 兼容机型:PS4 原版、PS4 Slim,PS4 Pro 也可运行,速度区间 25~45 token/s
三、运行该项目的硬性条件
- PS4 主机已经越狱,安装 GoldHEN 自制程序
- 固件版本支持 GoldHEN 破解(测试机型为 11.52 版本)
- 硬盘预留至少 6GB 空闲空间,解压安装建议预留 12GB
- 不支持官方未破解原版 PS4,索尼官方系统无法加载该自制程序
四、项目信息对比表
| 项目 | 详情 | 局限 |
|---|---|---|
| 算力载体 | PS4 内置 AMD GCN GPU,2013 年老架构 | 相比现代 PC 显卡,平均速度偏低,仅适合趣味实验 |
| 联网需求 | 完全离线本地推理 | 无法调用云端模型、实时联网检索 |
| 定位 | 自制开源 Demo,技术向极客项目 | 不是面向普通用户的稳定 AI 产品 |
| 分发渠道 | GitHub 源码、Hugging Face 打包安装包 | 仅面向越狱主机,存在主机变砖风险 |
【相关 FAQ】
问题 1:Garlic LLM 让越狱 PS4 运行 9B 本地 AI 模型,最高每秒 43 词元是什么场景下测出来的?
回答 1:Garlic LLM 让越狱 PS4 运行 9B 本地 AI 模型,每秒最高 43 词元是代码生成场景测得的,日常对话一般只有 31 到 39 词元,开启语音功能速度还会变慢。
问题 2:Garlic LLM 在越狱 PS4 跑 9B 模型,是怎么克服 PS4 内存不足、没有 AI 计算接口问题的?
回答 2:Garlic LLM 在越狱 PS4 跑 9B 模型,一方面把 Qwen3.5-9B 做 3/4 位量化压缩减小体积,另一方面绕过 PS4 图形驱动,直接给 GCN GPU 下发底层计算指令,搭配推测解码提速。
问题 3:没有越狱的原版 PS4,能不能直接跑 Garlic LLM 实现本地 9B 模型、每秒 43 词元的 AI 推理?
回答 3:没有越狱的原版 PS4 无法运行 Garlic LLM,这个项目依赖 GoldHEN 自制环境,只有破解后的主机才能加载自制程序,官方系统不支持。
【参考资料】
[2026-11-17](每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型)IT 之家
[2026-11-17](Garlic LLM:Jailbroken PS4 runs Qwen3.5-9B offline at up to 43 tokens per second)GIGAZINE
[2026-11-17](越狱 PS4 成功运行 90 亿参数本地大模型)DoNews
[2026-11-17](PS4 离线运行 90 亿参数 Qwen3.5 大模型:Garlic LLM 实现本地语音交互突破)中关村在线
[2026-11-16](Jailbroken PS4 runs a 9-billion-parameter AI model at up to 43 tokens per second)TweakTown
【免责声明】
本文内容整理自开源项目披露信息、海外科技媒体实测报道,Garlic LLM 属于 PS4 自制极客项目,仅用于技术研究;破解、越狱 PS4 主机违反索尼用户协议,存在主机变砖、失去保修的风险。项目性能为开发者测试环境下数据,不同主机、固件版本结果存在差异,本文不构成越狱、刷机操作指导。
本文来自作者[磁核缓存]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/2696.html
评论列表(4条)
我是环球科技潮的签约作者“磁核缓存”!
希望本篇文章《Garlic LLM 项目实现突破 越狱 PS4 本地运行 9B 大模型最高每秒输出 43 词元》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:开源项目 Garlic LLM 由开发者 Leonardo Alegria 推出,能够在已经越狱、搭载 GoldHEN 自制程序环境的 PS4 主机上离线运行 Qwen3.5-9B 大语言模型,代码生成场景下最高输出速度可达每秒 43 词元,普通对话场景速度在每秒 31 至 39 词元,全程不需要联网、不用外接电脑做算力支撑。PS4 原生没有开放通用 GPU 计算接口和机器学习框架,Garlic LLM 的解决办法是绕过系统图形驱动,直接向 AMD GCN 架构 GPU 下发底层指令,同时搭配 3 位、4 位混合量化压缩模型权重,再依靠推测解码技术提升生成效率,把模型占用控制在约 4.5GiB,适配 PS4 仅有 8GB 统一内存的硬件瓶颈,这套方案还支持 16k 上下文窗口、离线语音识别与语音合成,也可以直接运行模型生成的 Python 代码。下面分成项目核心技术方案、实测性能参数清单、硬件与环境要求、信息对比表格这几个板块。