专题研究 · 清程极智与 PD 分离
专题研究 · 2026.09.21

清程极智与 PD 分离:先把 token/s 变成一张能回本的成本表

为参加清程极智交流准备的公开资料、竞品梳理和成本测算。厂商自报数据、公开事实和演示假设已分开标注。

先说结论

PD 分离大概率是大模型推理中的 Prefill/Decode Disaggregation:把处理输入的 Prefill 集群和逐 token 生成的 Decode 集群拆开调度。

客户可接受的总价 ≤ 不采用方案的总成本 - 采用方案后的剩余总成本

如果同样业务量从 4 张卡降到 2 张卡,每张卡全成本按 8,000 元/月、PD 额外网络和运维 7,000 元/月计算,客户每月约节省 9,000 元,第一年价值约 10.8 万元。

清程极智是谁

清程极智公开定位是人工智能系统服务商,核心团队来自清华大学计算机系,方向是用系统软件提高国产算力利用率、降低大模型训练和推理部署成本。

产品公开定位本次关联
赤兔 Chitu生产级大模型推理引擎推理性能、国产芯片适配、部署成本
八卦炉 Bagualu大模型训练与推理加速软件栈算子、并行、编译、调度和集群优化
AI Ping模型服务评测与 API 调用平台模型路由、质量和调用成本

PD 分离到底分离什么

Prefill 读取并处理用户输入,偏计算密集,常看首 token 延迟 TTFT;Decode 逐 token 生成,显存带宽和并发影响更明显,常看输出 token/s、ITL 和 P95 延迟。

用户请求 → Prefill 集群 → KV Cache 高速传输 → Decode 集群 → 返回结果

收益是按两种负载分别扩容,代价是 KV Cache 传输、网络、调度、缓存一致性、故障恢复和运维复杂度。

公开数据与适配边界

清程官网自报:八卦炉在国产智算集群训练任务中平均性能提升 30%,部分算子提升 300%,分布式通信效率提升 50%;赤兔称昇腾平台 Qwen3-32B 单机吞吐达到 5,000 token/s,比其他开源方案加速 2 倍,H20 平台 DeepSeek、Kimi 推理速度提升 1.5 倍。

这些是厂商公开自报,只能作为现场验证项。必须追问模型版本、输入输出长度、并发、batch、量化、卡型,以及“单机吞吐”是否为多卡总吞吐。

当前官网明确列出昇腾、沐曦、海光等国产芯片,也列出 CPU/GPU/NPU 异构部署。但“适配”要分为能启动、能稳定跑、性能可用、经济性成立四个等级,不能只看兼容列表。

对标公司和产品

类别代表方案比较方式
通用开源推理vLLM、SGLang、TensorRT-LLM作为同模型同硬件基线
芯片厂商软件栈华为 CANN/MindIE、寒武纪 Neuware、摩尔线程 MUSA比较硬件协同和生态绑定
云厂商/算力平台阿里云、火山引擎、腾讯云、百度智能云比较全生命周期成本和交付速度
部署服务商服务器厂商、系统集成商、模型厂商交付团队比较私有化项目总价和交付能力

最公平的竞品基线是同一模型、同一芯片、同一输入输出比例、同一并发和同一延迟目标下的有效 token/s 与总成本。

20 token/s 变成 40 token/s,成本怎么计算

假设目标持续吞吐 80 token/s,原方案单卡 20 token/s,需要 4 张卡;优化后单卡 40 token/s,需要 2 张卡;每张卡全成本 8,000 元/月;PD 额外网络、缓存、运维和软件成本 7,000 元/月。

原方案:4 × 8,000 = 32,000 元/月
优化方案:2 × 8,000 + 7,000 = 23,000 元/月
每月节省:9,000 元
每年节省:108,000 元

所以如果清程收一次性实施费 8 万元、每月服务费 2,000 元,客户第一年总支出 10.4 万元,理论上仍有约 4,000 元账面节省。若一次性费用和年度服务费合计超过约 10.8 万元,客户第一年就没有账面节省。

如果业务只需要 15 token/s,20 和 40 token/s 都只需一张卡,成本可能完全不变。这就是为什么不能只拿“性能翻倍”直接乘除。

现场必须要的数据

  1. 模型、版本、参数量、量化精度、上下文长度。
  2. 芯片型号、卡数、显存、互联方式、网络带宽。
  3. 输入 token、输出 token、QPS、并发、batch。
  4. TTFT、ITL、P50/P95/P99、总吞吐和有效吞吐。
  5. 混合部署与 PD 分离各需要多少卡。
  6. KV Cache 传输耗时、带宽占用和失败恢复。
  7. 一次性实施费、软件授权、月度运维、升级费用。
  8. 电费、机房、网络、备件、折旧和容灾是否计入。

现场建议原话:请把混合部署和 PD 分离部署,在同一模型、同一芯片、同一 QPS、同一延迟目标下的完整成本表给我看。

最终判断

你的理解方向是对的:把“20 token/s 变成 40 token/s”转换成“同一业务量需要几张卡、每月全成本是多少、我们最多能收多少钱”。还必须补上需求规模、PD 新增成本和指标可比性三个条件。

公开资料:清程官网 · 关于清程 · 赤兔 · 八卦炉 · vLLM · SGLang · MindIE

数据边界:截至 2026-09-21。清程官网性能和节省比例属于厂商自报;示例中的卡价、吞吐、网络和费用是假设值,不是清程报价或国产芯片统一实测值。