观点网讯:2月27日,DeepSeek在开源周第四天,开源了内部并行优化策略(Optimized Parallelism Strategies)。
此次开源,DeepSeek分别发布了DualPipe双向管道并行算法和EPLB专家并行负载均衡器。
据DeepSeek介绍,DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法,实现了向后和向后计算通信阶段的完全重叠,还减少了管道气泡。
在GitHub上,目前该算法已经获得544个Star收藏。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。
领取专属 10元无门槛券
私享最新 技术干货