一位名叫 Nick Mermiges 的执业律师,把自己的私有 AI 服务器从 8 张卡扩到 12 张二手英伟达 Tesla V100,靠 NVLink 加 PCIe 攒出一套本地 AI 集群,专门用来离线跑 DeepSeek-V4.1-Flash。整套硬件采购价约 9,450 美元(约合 63,239 元人民币),约为 3 台 DGX Spark 组合价格的一半;实测单流代码生成最高 184 个词元 / 秒,普通文本 83–95 个词元 / 秒,法律文本 92–102 个词元 / 秒,长提示词预填充速度在 32K 以上约 4,500–4,700 tok/s,上下文配置到 524K。IT之家 按他自己的说法,单请求、单流场景下这套集群比已公开的 4 台 DGX Spark 组合还快,代码生成速度快约 15%–45%,普通文本速度也更高;但代价是整机功耗最高约 2,100W、噪音大,不适合普通办公环境。
一、这套 AI 集群为什么会被一位律师搭出来
1. 核心诉求:案卷不能出办公室
律师行业的客户材料涉密,不方便直接丢给云端大模型 API。这套本地集群的定位就是把案件档案留在办公室内处理:读案卷文件夹、抽取事实、日期和数字、生成摘要、先出一版常规文书初稿,所有产出必须经过真人复核才能对外发出。 他估计这套本地系统能接管自己 50%–60% 的既有 LLM 工作流,目前已经成为他日常默认的 DeepSeek 机器。
2. 硬件路线:二手企业级卡凑大显存池
- 显卡:12 张 NVIDIA Tesla V100 SXM2 32GB,分成 3 块 4 卡基板;
- 卡间互联:同一块基板上的 4 张卡走 NVLink 高速直连,基板之间通过主机 PCIe,经两块独立 PCIe 交换机交接;
- 迭代过程:此前是 8 卡版本(两块 4 卡板),8 张 32GB 卡总共 254GiB 显存,装不下 NVFP4 精度所需的 278.9GiB 专家数据,只能把多数专家压到 2-bit、常用的 5,949 个(约 38.7%)转 NVFP4;加第三块板后,全部 15,360 个专家才能以 4-bit NVFP4 完整留在卡上,不再进一步压缩。
3. 软件与并行结构
| 项目 | 配置 |
|---|---|
| 运行模型 | DeepSeek-V4.1-Flash |
| 量化方式 | 4-bit NVFP4,15,360 个专家全部上卡 |
| 并行策略 | 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4) |
| 层划分 | 0–13 层、14–27 层、28–39 层,分属三块基板 |
| 上下文 | 配置为 524K |
| 配套 | RAG 数据库与工具调用已接入,可通过 SSH 用 Discord 风格界面驱动 |
二、实测性能:不同上下文长度下的表现
1. 本次 12 卡集群跑分(本人实测口径)
| 上下文长度 | 首个 token(冷启动) | 预填充速度(tok/s) | 代码 | 法律 | 普通文本 | 三个代码请求合计 | 首个 token(文档已缓存) |
|---|---|---|---|---|---|---|---|
| 1K | 0.7 秒 | 1,567 | 184 | 102 | 86 | 443 | 0.2 秒 |
| 8K | 2.5 秒 | 3,267 | 176 | 93 | 90 | 421 | 0.2 秒 |
| 32K | 7.3 秒 | 4,478 | 176 | 92 | 95 | 404 | 0.3 秒 |
| 64K | 13.9 秒 | 4,697 | 157 | 93 | 83 | 364 | 0.3 秒 |
| 128K | 28.1 秒 | 4,670 | 157 | 93 | 86 | 360 | 0.4 秒 |
| 256K | 58.0 秒 | 4,518 | 153 | 92 | 85 | 344 | 0.6 秒 |
2. 与 DGX Spark 公开配置对比
| 配置 | 单请求・代码 | 单请求・普通文本 | 预填充・长提示词 | 多请求 | 上下文 |
|---|---|---|---|---|---|
| 3× DGX Spark(TP3、SGLang、MXFP4 专家) | 未发布 | 38–51 | 约 2,000 | 4 个流合计 85 | 256K |
| 4× DGX Spark(TP4,三堆叠) | 125 / 138 / 136 | 79–88 | 3,100–5,000 不等 | 32 流 290;16 流 340–570 | 1M |
| 12× V100(本次) | 153–184 | 83–95 | 4,500–4,700 | 3 个流 344–443;非批量解码引擎 | 524K |
3. 相比 8 卡旧版改了什么
- 256K 上下文下首个代码 token 从旧版升级后的 108.4 秒降到 58.0 秒,差不多快了一倍;
- 32K 以上预填充约 4,500 tok/s,是初代约 2,200 tok/s 的两倍多(功耗墙上调也贡献了一部分);
- 1K 解码快 23%,但 32K 以上解码速度没有实质增益,主要改善是首 token 等待时间缩短。
三、2018 年的 V100,为什么还能跑 Blackwell 时代的 NVFP4
1. 硬件先天短板
- V100 属于 2018 年 Volta 架构,没有 FP4、FP8 Tensor Core;每个 NVFP4 数值都要先在软件里解包、转成半精度才能参与计算;
- 紧凑专家能省显存,是因为卡上读入的字节更少,而不是计算速度变快 —— 这也是老卡能跑新格式的根本原因。
2. 散热、供电与稳定性调试
| 调优项 | 具体做法 | 备注 |
|---|---|---|
| 功耗墙 | 单卡从 150W 提到 175W | 曾试推 200W,四个长聊天并发时主机跳闸一次,判断功耗过高 |
| 时钟上限 | 从 1,522MHz 降到 1,452MHz | 压住负载尖峰,配合稳定性 |
| 板间互联 | 前两块板共享 PEX88096 交换机,第三块板在独立 PLX 8749 之后 | 第二次交接还要跨过主机 PCIe 桥,增加延迟 |
| 被关闭的优化 | 对话落盘存储、更精简的段间交接、更紧的专家打包、精确四卡求和运算 | 四项均未达到目标指标,暂时关闭 |
3. 现存边界
- 不是批量解码引擎:请求数超过流水线阶段数后,再加请求增益很小;三个 128K 请求合计代码约 360 tok/s、法律约 213 tok/s;
- 下一步计划:研究批量解码(他称为 "Sparks 有而自己想要的能力"),开启对话存储让案件文档在重启后保留;
- 驱动层面,系统跑在 R580 驱动分支上,这是最后一个支持 Volta 架构的分支;
- 他本人也承认:跑分数字不能证明实际使用中的回答质量。
四、成本与适用场景判断
| 维度 | 情况 |
|---|---|
| 采购成本 | 约 9,450 美元(约 6.32 万元人民币),约为 3 台 DGX Spark 组合的一半 |
| 二手卡行情 | 8 卡时期单卡约 400 美元;现在 eBay 同款 V100 SXM2 32GB 约 900 美元,价格还在涨 |
| 功耗噪音 | 最高约 2,100W,噪音较大,不适合普通办公环境 |
| 实际用途 | 案卷首遍提取、摘要、初稿起草,人工复核后才能对外;保护客户数据不出本地 |
| 不适合 | 高并发批量服务、需要最新 FP4/FP8 硬件加速的场景 |
【相关 FAQ】
问题 1:这位律师为什么要用 12 张二手 V100 自建 AI 集群,而不是直接调用云端 DeepSeek?
回答 1:直接原因是客户案卷涉密,材料不能离开办公室传到第三方云端 API;用 12 张二手 V100 搭成本地 AI 集群后,DeepSeek 模型全程在本机推理,配合 RAG 和工具调用完成事实抽取、摘要和初稿,产出再经律师人工复核。他估算这套集群能接管 50%–60% 的日常 LLM 工作流,同时降低对付费云端模型的依赖。
问题 2:12 张二手 V100 组成的 AI 集群是怎么把 DeepSeek-V4.1-Flash 装下的?
回答 2:模型采用 4-bit NVFP4 量化,全部 15,360 个专家分片由 12 张 V100 分别承载;集群按 3 个流水线阶段 × 每阶段 4 卡张量并行划分,模型层段 0–13、14–27、28–39 分属三块基板,卡内走 NVLink、板间走 PCIe 交换机交接。此前 8 卡只有 254GiB 显存装不下,才扩到第三块 4 卡板,让专家不再被压到 2-bit。
问题 3:这套 12 卡二手 V100 集群跑 DeepSeek 实测速度到底怎么样?
回答 3:按发帖人自测,单流代码生成 153–184 tok/s、法律文本 92–102 tok/s、普通文本 83–95 tok/s;32K 以上长提示词预填充约 4,500–4,700 tok/s,三个代码流合计 344–443 tok/s,上下文配到 524K。他称单请求场景比公开的 4 台 DGX Spark 组合代码快 15%–45%,但这是个人实测口径,且集群不是批量解码引擎,并发请求增多后增益有限。
问题 4:2018 年的 V100 为什么能跑 NVFP4 格式,有没有性能硬伤?
回答 4:V100 本身没有 FP4/FP8 Tensor Core,每个 NVFP4 数值要靠软件先解包成半精度再计算,省的是显存读取字节数,不是计算速度。硬伤还包括板间 PCIe 交接带来的延迟、最高约 2,100W 功耗和较大噪音;单卡功耗墙提到 175W、时钟压到 1,452MHz 才稳住,推到 200W 曾出现主机跳闸,且系统停在最后支持 Volta 的 R580 驱动分支。
问题 5:普通团队照着这套律师二手 V100 方案搭 DeepSeek 本地集群,需要注意什么?
回答 5:先核对三点:一是显存总量能否装下量化后的专家与权重,不够就像他一样加基板而不是降精度硬塞;二是供电、散热和 PCIe / 连接器稳定性,二手服务器卡容易出现接口过热、链路降速和 ECC 报错;三是想清楚场景定位 —— 这套配置擅长单请求长文档本地推理,不适合高并发批量服务,批量解码和对话持久化在他的计划里也还是待开发项。
【参考资料】
- [2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)新浪科技・IT 之家
- [2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)ZAKER・IT 之家
- [2026-11-20](Lawyer's $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert at 4-bit NVFP4)Tom's Hardware
- [2026-11-20](12 GPU Nvidia V100 Jalankan DeepSeek V4.1 Flash Penuh)Telset.id
- [2026-11-10](绝不让绝密文件出办公室!律师用二手 V100 搭建私有 AI:单卡仅 2880 元)凤凰网・驱动之家
- [2026-11-09](Lawyer builds private AI server with eight used Nvidia V100 GPUs — up to 215 tokens per second)Tom's Hardware
【免责声明】
本文基于 Reddit 用户发帖及媒体转述整理,仅供硬件与技术资讯参考,不构成任何装机采购、模型部署或投资建议。文中性能、功耗、成本、上下文容量等数据均为搭建者个人自测口径,未经第三方独立验证;二手数据中心显卡的行情、稳定性与兼容性因货源而异,DeepSeek 模型版本与量化方案也会持续更新,实际部署前请以模型官方文档、硬件规格说明及本地测试结果为准。
本文来自作者[脉冲侦台]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/3847.html
评论列表(4条)
我是环球科技潮的签约作者“脉冲侦台”!
希望本篇文章《律师花 9450 美元用 12 张二手 V100 搭 AI 集群本地跑 DeepSeek代码最高每秒 184 个词元》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:一位名叫 Nick Mermiges 的执业律师,把自己的私有 AI 服务器从 8 张卡扩到 12 张二手英伟达 Tesla V100,靠 NVLink 加 PCIe 攒出一套本地 AI 集群,专门用来离线跑 DeepSeek-V4.1-Flash。整套硬件采购价约 9,450 美元(约合 63,239 元人民币),约为 3 台 DGX Spark 组合价格的一半;实测单流代码生成最高 184 个词元 秒,普通文本 83–95 个词元 秒,法律文本 92–102 个词元 秒,长提示词预填充速度在 32K 以上约 4,500–4,700 tok s,上下文配置到 524K。IT之家 按他自己的说法,单请求、单流场景下这套集群比已公开的 4 台 DGX Spark 组合还快,代码生成速度快约 15%–45%,普通文本速度也更高;但代价是整机功耗最高约 2,100W、噪音大,不适合普通办公环境。