分布式推理网络怎么设计？从推理集群组网到跨节点协同实践

单节点推理在三类情况下会撞上硬边界。一是模型权重加KV缓存超过单卡显存，显存放不下，任务无法启动。二是单卡算力稳定吞吐跟不上目标并发，请求不断积压。三是高峰期GPU排队拉长TTFT均值与P99，用户体验直接恶化。分布式推理网络要解决两件事：推理集群组网，即节点间如何连接、拓扑如何选择；跨节点协同，即任务如何切分、KV缓存如何传输、结果如何聚合。