办公终端一天开机 8 小时,真正在响应操作约 3 小时;算力卡一年通电 8,760 小时,真正在跑有效计算约 2,600 小时。62.5% 和 65%——这么接近不是巧合。
下面两条时间轴,一条是办公终端,一条是算力卡。深色格=已分配,亮格=真正在产出。办公的浪费集中在白天,算力的浪费摊在全年——但比例惊人地接近。
一个 7B 模型 FP16 精度:权重 14GB+KV Cache 4GB+框架开销 2GB=20GB。剩下 60GB 一直空着,空到报废。切成 4 份之后,同一张卡能装 4 个模型。
模型密度 8 倍,GPU 利用率提升 3 倍以上。
保守取 2.5 倍:1,000 卡可承载 2,500 个模型,反算只需 400 卡——凭空多出 600 卡的承载能力。
200 卡池、25 台八卡机。60 个单卡任务随机撒落,每台平均 2.4 卡被占——25 台全被“污染”,64 卡任务永远排不进。Gang 调度要求“全有或全无”,配合装箱把整机留给大任务。
一个 64 卡任务,如果卡分散在 8 个 leaf 交换机下,All-Reduce 有 87.5% 的流量要跨 leaf。行业实测:拓扑盲调度让 NCCL 带宽损失最高 45%。你买了 100% 的带宽,只用到 55%。
代价要说清楚:拓扑感知会降低装箱率 3—8 个百分点,但训练速度提升 20%—40%,净收益为正。所以考核指标应该是“有效算力产出”,不是“GPU 利用率”。
300 卡的图形桌面池,白天跑 vGPU 会话,夜间释放给推理与批处理。年释放 132 万卡时,等于 150 张卡全年无休。前提不是技术,是记账——借出记贡献、借入记消耗。
边界必须说实:能潮汐的是中端卡与 CPU,不是高端训练卡——训练卡本身不分昼夜。涉密桌面也不参与,那是红线。
物理隔离卡靠“记得切”;桌面云靠“切不过去”。终端零存储、外设白名单、剪贴板单向——攻击面从 1,000 个终端硬盘,收敛到 1 个受控存储。
现场验收只需四个动作:拆开一台已登录终端看硬盘、插一个 U 盘、从内网桌面复制一段文字到外网、打印一份文件。四件事都应被阻止或留痕。
终端状态、外设、行为、会话质量;卡健康(XID/ECC/温度/功耗)、显存、拓扑、作业队列、通信带宽、能耗。
指标三级分级:一级 20 个进大屏配 7×24 告警,二级 100 个进周报,三级出问题才查——不分级=全不重要。
办公接入网(千兆到桌面、双上行);算力 Fabric(IB NDR / RoCE v2,计算、存储、管理三网分离);跨域骨干 400G。
跨域时延定边界:同城<1ms 可训练,跨省<30ms 只可推理与批处理。
桌面池(2.0—2.5 会话/核;图形 1/4 卡)+ 算力池(训练整卡/超节点,推理切片)+ 统一调度器。
两套调度、统一视图:桌面是实时流、算力是批处理,混在一套里实时业务必被拖垮。
桌面服务目录(标准/图形/多网/临时/离场冻结)+ 算力服务目录(开发/微调/多机训练/在线推理/批处理)。
从“我要 8 张卡”变“我要跑一个单机微调”——产品化决定平台给运维用还是给业务用。
两把横切刀。安全:零信任、国密 TLS、微隔离、审计不可删、模型权重加密与水印。运营:三级配额、卡时/核时/Token 计量、内部结算、空转率月报。
300 卡池年释放 132 万卡时=150 张卡全年无休
推理池密度 2.5 倍,1,000 卡承载 2,500 个模型
64 卡任务 P90 等待从“排不进”降到 6 小时
同 leaf 命中率 ≥95%,NCCL 带宽提升 20%—45%
60 秒隔离,连带损失从 3—5 个任务降到 0
终端失窃数据泄露为零;五网切换 0.3 秒
新员工 3 天→3 分钟;补丁 3 周→1 天
从 6 周压缩到 3 小时——这是业务部门唯一不会撒谎的指标
一个池子的两种用法:白天它支撑 5,000 个桌面会话,夜里它跑 1,000 张卡的训练队列。同一批硬件,不该只有一种作息。
价值最大的场景往往阻力也最大。先做阻力小的,做出可见成果,再推阻力大的——这是这类项目唯一走得通的顺序。
| 序 | 场景 | 工期 | 关键判断 |
|---|---|---|---|
| ① | 研发/设计桌面 | 3—4 月 | 阻力最小:设备单价高、TCO 优势最明显 |
| ② | 多网隔离办公 | 3—5 月 | 用户会抱怨不习惯,保密办要额外审计能力 |
| ③ | 分支机构瘦终端 | 4—6 月 | 技术不难,难在网络:先测网点上行与抖动 |
| ④ | 部门级推理服务 | 2—4 月 | 最快见效:不改办公习惯,只把“各自搭”变“统一供” |
| ⑤ | 训练/微调算力池 | 4—7 月 | 技术最复杂,但算法团队最欢迎 |
| ⑥ | 潮汐复用 | 6—9 月 | 动的是资源归属,技术上不难、组织上很难 |
| ⑦ | 跨园区算力并网 | 8—14 月 | 多法人、多套账、多卡型,必须三步走 |
无统一身份源,不做桌面云——会退化成一人五套账号,最后写在显示器上。
无卡级监控,不做调度——调度器是瞎子,会把任务分到坏卡和跨 leaf 节点。
无配额体系,不做并网——并网必变“谁声音大谁先用”。
1,000 张卡、单卡年持有成本 4.20 万元(含折旧、电、运维、机房分摊),一年 8,760 小时。分子不变,分母是利用率——所以提效率等于降价,而且是永久降价。
这张图里有一句不好听的话:35% 利用率下,自建比租还贵(13.7 元 > 12 元)。所以自建的理由从来不是单价便宜,而是数据不出门、任务不用排队、带宽不受限。目标也不该定 85%——内部池任务池浅,波谷填不满是正常的,定 55%—60% 才是诚实的。
1,000 台 × 三年 TCO 10,480 元/台=1,048 万,摊到真正在操作的 3 小时上
提到 55% 降到 8.7 元;两年省下的钱就能再建半个池子
千卡集群;万卡 MTBF 降到 29.2 小时,最优间隔变 3.1 小时——存太勤反而更慢
五年 39.5%;前三年其实是亏的,第 5 年 PC 集体换机时曲线才交叉
另外两笔:1,000 卡把利用率从 38% 提到 52%,年增收益 588 万元;30% 的非实时任务挪到谷时电价,年省电费 45.6 万元。均为行业经验参考值,实际成效以试点实测为准。
调度平台的成本基本固定(500—1,200 万,与卡数弱相关),收益却与卡数成正比。所以回收期随规模非线性改善。
为什么建议两个一起做。单独卖桌面云,客户说贵(4—7 年回本);单独卖算力网,客户说“我有卡了,为什么要调度”。合起来,11 个月的账覆盖 5 年的账,才凑得出一个能过会的预算。而且做算力网的过程会顺手建起统一身份、统一监控、配额体系——这三件事正好是桌面云的地基。
产业数据:2026-03 底全国智能算力 188 万 PFLOPS(FP16),八大枢纽占比超 80%,国家级监测调度平台接入 137 万 PFLOPS(约 72%);在用智算中心超 500 个,实际平均利用率仅 20%—30%;2026 上半年中国 AI 加速器出货 200.8 万颗,非 GPU 首超 GPU(101.6 万 vs 99.1 万)。(国家数据局、工信部、IDC)
除政策硬性规定外,本页量化指标均为行业经验参考值,实际成效以试点实测为准;算式与假设见标准方案第 1、3、4、17 章。
一个 11 个月回本,一个 4 到 7 年回本——用快的补慢的,才凑得出能过会的预算。如果只做一件事,先做算力网:它回本快,而且顺手建起的三件事,正好是桌面云的地基。