清程极智与 PD 分离:先把 token/s 变成一张能回本的成本表
为参加清程极智交流准备的公开资料、竞品梳理和成本测算。厂商自报数据、公开事实和演示假设已分开标注。
先说结论
PD 分离大概率是大模型推理中的 Prefill/Decode Disaggregation:把处理输入的 Prefill 集群和逐 token 生成的 Decode 集群拆开调度。
客户可接受的总价 ≤ 不采用方案的总成本 - 采用方案后的剩余总成本
如果同样业务量从 4 张卡降到 2 张卡,每张卡全成本按 8,000 元/月、PD 额外网络和运维 7,000 元/月计算,客户每月约节省 9,000 元,第一年价值约 10.8 万元。
清程极智是谁
清程极智公开定位是人工智能系统服务商,核心团队来自清华大学计算机系,方向是用系统软件提高国产算力利用率、降低大模型训练和推理部署成本。
| 产品 | 公开定位 | 本次关联 |
|---|---|---|
| 赤兔 Chitu | 生产级大模型推理引擎 | 推理性能、国产芯片适配、部署成本 |
| 八卦炉 Bagualu | 大模型训练与推理加速软件栈 | 算子、并行、编译、调度和集群优化 |
| AI Ping | 模型服务评测与 API 调用平台 | 模型路由、质量和调用成本 |
PD 分离到底分离什么
Prefill 读取并处理用户输入,偏计算密集,常看首 token 延迟 TTFT;Decode 逐 token 生成,显存带宽和并发影响更明显,常看输出 token/s、ITL 和 P95 延迟。
用户请求 → Prefill 集群 → KV Cache 高速传输 → Decode 集群 → 返回结果
收益是按两种负载分别扩容,代价是 KV Cache 传输、网络、调度、缓存一致性、故障恢复和运维复杂度。
公开数据与适配边界
清程官网自报:八卦炉在国产智算集群训练任务中平均性能提升 30%,部分算子提升 300%,分布式通信效率提升 50%;赤兔称昇腾平台 Qwen3-32B 单机吞吐达到 5,000 token/s,比其他开源方案加速 2 倍,H20 平台 DeepSeek、Kimi 推理速度提升 1.5 倍。
当前官网明确列出昇腾、沐曦、海光等国产芯片,也列出 CPU/GPU/NPU 异构部署。但“适配”要分为能启动、能稳定跑、性能可用、经济性成立四个等级,不能只看兼容列表。
对标公司和产品
| 类别 | 代表方案 | 比较方式 |
|---|---|---|
| 通用开源推理 | vLLM、SGLang、TensorRT-LLM | 作为同模型同硬件基线 |
| 芯片厂商软件栈 | 华为 CANN/MindIE、寒武纪 Neuware、摩尔线程 MUSA | 比较硬件协同和生态绑定 |
| 云厂商/算力平台 | 阿里云、火山引擎、腾讯云、百度智能云 | 比较全生命周期成本和交付速度 |
| 部署服务商 | 服务器厂商、系统集成商、模型厂商交付团队 | 比较私有化项目总价和交付能力 |
最公平的竞品基线是同一模型、同一芯片、同一输入输出比例、同一并发和同一延迟目标下的有效 token/s 与总成本。
20 token/s 变成 40 token/s,成本怎么计算
假设目标持续吞吐 80 token/s,原方案单卡 20 token/s,需要 4 张卡;优化后单卡 40 token/s,需要 2 张卡;每张卡全成本 8,000 元/月;PD 额外网络、缓存、运维和软件成本 7,000 元/月。
原方案:4 × 8,000 = 32,000 元/月 优化方案:2 × 8,000 + 7,000 = 23,000 元/月 每月节省:9,000 元 每年节省:108,000 元
所以如果清程收一次性实施费 8 万元、每月服务费 2,000 元,客户第一年总支出 10.4 万元,理论上仍有约 4,000 元账面节省。若一次性费用和年度服务费合计超过约 10.8 万元,客户第一年就没有账面节省。
如果业务只需要 15 token/s,20 和 40 token/s 都只需一张卡,成本可能完全不变。这就是为什么不能只拿“性能翻倍”直接乘除。
现场必须要的数据
- 模型、版本、参数量、量化精度、上下文长度。
- 芯片型号、卡数、显存、互联方式、网络带宽。
- 输入 token、输出 token、QPS、并发、batch。
- TTFT、ITL、P50/P95/P99、总吞吐和有效吞吐。
- 混合部署与 PD 分离各需要多少卡。
- KV Cache 传输耗时、带宽占用和失败恢复。
- 一次性实施费、软件授权、月度运维、升级费用。
- 电费、机房、网络、备件、折旧和容灾是否计入。
现场建议原话:请把混合部署和 PD 分离部署,在同一模型、同一芯片、同一 QPS、同一延迟目标下的完整成本表给我看。
最终判断
你的理解方向是对的:把“20 token/s 变成 40 token/s”转换成“同一业务量需要几张卡、每月全成本是多少、我们最多能收多少钱”。还必须补上需求规模、PD 新增成本和指标可比性三个条件。
公开资料:清程官网 · 关于清程 · 赤兔 · 八卦炉 · vLLM · SGLang · MindIE
数据边界:截至 2026-09-21。清程官网性能和节省比例属于厂商自报;示例中的卡价、吞吐、网络和费用是假设值,不是清程报价或国产芯片统一实测值。