ZCube – 智谱AI联合清华推出的下一代大模型推理网络架构

1. ZCube是什么

ZCube是智谱AI联合驭驯网络与清华大学共同推出的下一代大模型推理网络架构，专为解决PD（Prefill-Decode）分离部署场景中固有的结构性网络拥塞问题而设计。该架构通过取消传统Clos网络中的Spine层交换机，采用全网扁平化拓扑与单/多轨混合接入机制，实现了全局流量的结构性解耦与离散化路由。在GLM-5.1 coding生产环境的实测中，ZCube在保持GPU硬件和软件栈完全不变的前提下，将交换机与光模块的资本支出降低了33%，同时GPU平均推理吞吐提升了15%以上，TTFT（Time To First Token）的P99分位数下降了40.6%。

技术定位与领域： ZCube属于高性能数据中心网络架构领域，专为大规模大模型推理集群的PD分离部署场景优化。它不同于传统通用网络架构，而是针对AI推理工作负载的流量特征（特别是KV Cache的跨节点传输）进行定制化设计，属于AI基础设施层的关键创新。

研发背景： 该架构由智谱AI联合驭驯网络与清华大学计算机网络团队共同研发。研发动机源于现有Clos/ROFT架构在PD分离场景下无法有效处理动态不对称流量，导致局部链路拥塞和PFC反压问题，严重制约推理性能和扩展能力。团队从网络拓扑结构层面寻求根本性解决方案。

核心价值： ZCube的核心价值在于通过架构层创新，从根本上消除了PD分离部署中的结构性网络拥塞，无需依赖复杂的传输层自适应路由机制。它实现了网络成本的大幅降低（万卡集群可节省数亿元）、推理性能的显著提升（吞吐+15%，TTFT P99-40.6%），并且对现有硬件和软件栈零侵入，可直接替换现有网络架构。

技术特点： ZCube采用完全二部图拓扑替代传统Clos层次化结构，将网络直径从3跳压缩至2跳。通过GPU网卡双端口的单轨/多轨差异化接入，实现确定性最短路径路由和全局负载均衡，从根本上消除了多路径选路引发的流量冲突和结构性拥塞。

2. 主要功能

• 扁平化二部图组网： 打破传统Clos架构的Spine-Leaf层次化堆叠思路，取消Spine层，仅保留Leaf层并通过完全二部图互联。所有Leaf交换机按奇偶分为两组，组内互不连接，组间每台与另一组所有交换机全连接，将网络直径从3跳压缩至2跳，降低传输延迟和路径复杂度。

• 单/多轨混合接入机制： 为每张GPU网卡的两个端口分别配置单轨（连接奇数编号Leaf交换机）和多轨（连接偶数编号Leaf交换机）两种接入方式。单轨方式将连续标号的GPU连接至同一组Leaf，多轨方式将相同标号的GPU连接至另一组Leaf，使PD分离产生的动态不对称流量在拓扑层面天然离散化。

• 确定性最短路径路由： 基于GPU编号与Leaf交换机编号之间的模运算和向上取整数学映射，确保任意两个GPU之间仅存在一条唯一的最优路径。这种确定性路由避免了多路径选路引发的流量冲突和负载不均问题，在训练和推理场景均能实现全网理想的负载均衡。

• 结构性拥塞消除： 通过架构层创新，将KV Cache跨节点传输产生的动态不对称流量进行全局解耦与离散化。不同于依赖自适应路由或报文喷洒等传输层机制的方案，ZCube从拓扑结构本身消除了局部热点链路和PFC（Priority Flow Control）反压的产生条件。

• 零侵入式部署： 无需对GPU硬件、网络软件栈或上层应用逻辑做任何改动，仅通过调整网络拓扑结构和接入配置即可实现性能提升。这使得现有推理集群可以平滑升级，无需重新采购硬件或修改推理框架代码。

• 超大规模扩展能力： 基于当前主流的51.2T交换芯片，ZCube可以构建连接16384块400Gbps网卡的扁平化网络。通过多平面划分技术，该架构可进一步支持数万至数十万GPU的互联扩展，满足超大规模智算中心的需求。

3. 如何使用

1. 网络架构规划： 根据GPU集群规模确定Leaf交换机数量，将Leaf交换机按奇偶序号分为两组（如Leaf 0,2,4...为奇数组，Leaf 1,3,5...为偶数组）。设计完全二部图互联拓扑，确保每组内交换机互不连接，组间每台交换机与另一组所有交换机全连接。取消传统Spine层交换机，将网络直径从3跳压缩至2跳。

2. GPU网卡端口接入配置： 为每张GPU的网卡双端口分别配置单轨与多轨混合接入策略。其中一个端口（如Port 0）以单轨方式连接至奇数编号的Leaf交换机，另一个端口（如Port 1）以多轨方式连接至偶数编号的Leaf交换机。使用数学映射公式（基于GPU编号与Leaf交换机编号的模运算）确定具体连接关系，确保确定性路由。

3. 自动化部署工具链： 使用ZCube提供的控制器、机房布局设计工具和连线正确性检测程序，完成网络配置的自动生成与批量下发。控制器负责根据GPU数量和拓扑参数生成最优的Leaf交换机分配方案，布局工具辅助物理连线规划，检测程序在部署后自动验证所有连接的准确性。

4. 生产验证与监控： 在推理服务正式上线前，进行全面的带宽、时延和PFC事件监控测试。重点检查是否存在结构性拥塞热点，确认所有链路的负载均衡状态。验证通过后，逐步将推理流量从原有网络迁移至ZCube架构，并持续监控TTFT、吞吐量等关键性能指标。

注意事项： 建议在部署前使用ZCube配套的模拟工具进行流量仿真，验证拓扑参数是否适配实际推理负载特征。对于已有Clos架构的集群，需要规划好迁移窗口期，避免业务中断。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于以PD分离推理为主要工作负载的大规模智算中心（千卡至万卡级别），ZCube是最优选择。它在推理性能、成本控制和扩展能力上具有明显优势，尤其适合追求极致推理效率和降低TCO的场景。例如，MaaS服务提供商或大型AI公司的高密度推理集群。

对于训练为主、推理为辅的混合负载场景，或者对部署简单性要求较高的小型集群（百卡级别），传统Clos或ROFT架构可能更为合适。这些架构的生态系统更成熟，运维经验更丰富，虽然性能上不如ZCube优化，但部署和维护成本更低。ROFT特别适合以训练为主的场景，其Rail映射对训练流量友好。

6. 编辑点评

ZCube代表了数据中心网络架构在大模型推理场景下的一次重要创新突破。从技术层面看，它并非对现有方案的简单改进，而是从拓扑结构层面重新思考了PD分离部署的网络需求。完全二部图拓扑与单/多轨混合接入机制的组合，巧妙地解决了长期困扰行业的动态不对称流量问题，其数学映射的确定性路由设计简洁而优雅。

从实用价值来看，ZCube最令人印象深刻的是其在真实生产环境中的验证结果。GLM-5.1 coding的实测数据（吞吐+15%，TTFT P99-40.6%）具有很高的可信度，特别是考虑到这些性能提升是在不改变GPU硬件和软件栈的前提下实现的。33%的网络成本降低对于万卡集群意味着数亿元的投资节省，这种经济效益在AI基础设施投资日益庞大的背景下尤为珍贵。

然而，ZCube也面临一些挑战。首先，其架构设计高度特化于PD分离推理场景，对于训练或混合负载的通用性有待进一步验证。其次，完全二部图的物理布线要求和精确的数学映射增加了部署复杂度，可能限制其在运维能力较弱的企业中的推广。此外，作为新兴架构，其生态系统和社区支持仍显薄弱。

适用人群定位： ZCube最适合大型AI公司、云服务提供商和智算中心运营商，特别是那些正在建设或升级大规模推理集群的团队。对于中小型团队或研究机构，建议等待生态系统成熟后再考虑采用。

未来发展潜力： 随着大模型推理需求持续增长和PD分离部署成为主流，ZCube有望成为下一代推理网络架构的重要候选。其零侵入式升级的特性使其具有良好的迁移路径，未来可能与其他网络优化技术（如RDMA、拥塞控制算法）结合，进一步提升性能。

7. 应用场景

• 超大规模LLM推理集群： 适用于采用PD分离部署的千卡至万卡级推理集群。ZCube通过消除KV Cache跨节点传输导致的网络瓶颈，显著降低首Token时延并提升整体吞吐，使相同硬件可以承载更多并发推理请求。

• 长上下文推理服务： 对于需要处理数万Token以上长上下文的推理场景（如文档分析、代码理解），ZCube的架构能有效缓解长序列场景下网络带宽对TTFT和吞吐的制约。其扁平化拓扑和确定性路由确保长序列的KV Cache传输不会形成局部热点。

• 高密度智算中心： 为训练与推理混合负载提供高均衡、低时延、高带宽利用率的网络底座。ZCube在训练场景同样能实现全局负载均衡，避免多路径冲突，适合需要同时运行训练和推理任务的智算中心。

• MaaS云服务平台： 架构能降低推理服务的综合网络成本（减少33%硬件投入），同时提升多租户高并发场景下的尾时延稳定性。对于按量计费的MaaS平台，更低的TTFT P99意味着更稳定的服务质量SLA和更好的用户体验。

8. 常见问题FAQ

Q：ZCube是否支持现有的GPU和网络硬件？
A：是的。ZCube对GPU硬件、网卡和交换机没有特殊要求，只需要GPU网卡支持双端口接入（大多数现代GPU网卡如NVIDIA ConnectX系列都支持）。架构仅改变网络拓扑和接入方式，不修改硬件或驱动。

Q：ZCube与传统Clos架构相比，部署难度如何？
A：ZCube的部署复杂度中等偏高。主要难点在于需要精确的数学映射来规划GPU网卡端口与Leaf交换机的连接关系，以及完全二部图的物理布线要求更严格。但ZCube提供了控制器和布局工具来辅助自动化部署，降低了人工配置的出错概率。

Q：ZCube在训练场景中的表现如何？
A：ZCube的确定性单路径路由在训练场景同样能实现全局负载均衡，避免了ECMP的多路径哈希冲突问题。但训练场景的流量模式与推理不同，ZCube的优势主要体现在PD分离推理场景。对于纯训练负载，ROFT可能更为合适。

Q：ZCube是否开源？能否自行部署？
A：目前ZCube的架构设计和技术细节已在项目官网和论文中公开，但具体的控制器、布局工具等配套软件的开源状态尚待确认。建议关注项目官网（https://z.ai/blog/zcube）获取最新信息。

Q：ZCube的扩展能力上限是多少？
A：基于当前51.2T交换芯片，ZCube可构建连接16384块400Gbps网卡的扁平网络。通过多平面划分技术，理论上可支持数万至数十万GPU的互联。实际扩展能力受限于交换芯片端口密度和物理布线条件。

9. 项目地址

• 项目官网： https://z.ai/blog/zcube