视频教程:
**一、分布式数据并行,模型并行的基本概念。DP DDP分布式数据并行:**
1.1 数据并行 模型并行 DP DDP Zero分布式并行_哔哩哔哩_bilibili
https://www.bilibili.com/video/BV1qu4m1F71p/?spm_id_from=333.788&vd_source=0ce5c2fe19670ac8e8f3860555d273e3
**二、ZeRO分布式数据并行方案,zero1,zero2,zero3:**
1.2 zero分布式数据并行方案 zero1,zero2,zero3
https://www.bilibili.com/video/BV1Yr421G7ZL/?spm_id_from=333.788&vd_source=0ce5c2fe19670ac8e8f3860555d273e3
**ZeRO++ 分布式数据并行**
ZeRO++是对ZeRO3的通信优化
**优化了以下三个方面:**
1、每个服务器有完整的模型参数,消除跨服务器的All_gather操作;
2、通信时,基于块的量化,模型参数从FP16转换成INT8;
3、替代ring-based ReduceScatter通信,改为分层级的量化 AllToALL;
**三、Zero++分布式并行 数据并行《ZeRO++: Extremely Efficient Collective Communication for Large Model Training》**
1.3 Zero++分布式并行 数据并行 ZeRO++: Extremely Efficient Collective Communication for_哔哩哔哩_bilibili
https://www.bilibili.com/video/BV1gz421r7Q7/?spm_id_from=333.788&vd_source=0ce5c2fe19670ac8e8f3860555d273e3
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。