罗西的思考

155 篇文章
30.4K 次阅读
26 人订阅

全部文章

罗西的思考

[源码解析] PyTorch如何实现前向传播(3) --- 具体实现

本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第三篇,介绍具体实现机制。

500
罗西的思考

[源码解析]PyTorch如何实现前向传播(2) --- 基础类(下)

本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第二篇,介绍自动微分(梯度计算)所涉及的部分 PyTorch 基础...

7250
罗西的思考

[源码解析]PyTorch如何实现前向传播(1) --- 基础类(上)

本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第一篇,介绍自动微分(梯度计算)所涉及的部分 PyTorch 基础...

5820
罗西的思考

[源码解析]深度学习利器之自动微分(3) --- 示例解读

本文从 PyTorch 两篇官方文档开始为大家解读两个示例。本文不会逐句翻译,而是选取重点并且试图加入自己的理解。

7730
罗西的思考

深度学习利器之自动微分(2)

本文和上文以 Automatic Differentiation in Machine Learning: a Survey为基础,逐步分析自动微分这个机器学习...

6120
罗西的思考

深度学习利器之自动微分(1)

本文和下文以 Automatic Differentiation in Machine Learning: a Survey 这篇论文为基础,逐步分析自动微分这...

9420
罗西的思考

[源码解析] PyTorch 流水线并行实现 (6)--并行计算

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据,本文我们结合论文内容来看看如何实现流水线。

4220
罗西的思考

[源码解析] PyTorch 流水线并行实现 (5)--计算依赖

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据等,本文我们结合论文内容来看看如何实现流水线依赖,核心就是如何建立这些小批次之...

8830
罗西的思考

[源码解析] PyTorch 流水线并行实现 (4)--前向计算

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据,本文我们结合论文内容来看看如何保证前向计算执行顺序。

7930
罗西的思考

[源码解析] PyTorch 流水线并行实现 (3)--切分数据和运行时系统

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识和自动平衡机制,本文我们介绍如何切分数据和运行时系统。

5610
罗西的思考

[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型

上一篇文章我们介绍了 PyTorch 流水线并行的基本知识,本文我们介绍其自动平衡机制和模型分割。

6340
罗西的思考

[源码解析] PyTorch 流水线并行实现 (1)--基础知识

本系列开始介绍PyTorch的流水线并行实现。实质上,PyTorch就是 GPipe 的PyTorch版本。这些开源软件在互相借鉴思路,互相学习,从 PyTor...

5720
罗西的思考

[源码解析] 深度学习分布式训练框架 horovod (21) --- 之如何恢复训练

本文以 PyTorch on Horovod 为切入点,分析一下 Horovod 弹性训练的恢复流程,具体涉及知识点有:

8720
罗西的思考

[源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略

在前文中,我们介绍了PipeDream的总体架构,Profile阶段,计算分区阶段,模型转换阶段,运行时引擎和通信模块,本文是 PipeDream 系列最后一篇...

7530
罗西的思考

[源码解析] 深度学习流水线并行 PipeDream(5)--- 通信模块

在前文中,我们介绍了PipeDream的总体架构,Profile阶段,计算分区阶段,模型转换阶段和运行时引擎,本文我们介绍PipeDream 的通信模块,通信模...

7020
罗西的思考

[源码解析] 深度学习流水线并行 PipeDream(4)--- 运行时引擎

在前文中,我们介绍了PipeDream的总体架构,Profile阶段,计算分区阶段和模型转换阶段,本文我们介绍运行时执行引擎,这是一个统一基础设施层。

8810
罗西的思考

[源码解析] 深度学习流水线并行 PipeDream(3)--- 转换模型

在前文中,我们介绍了PipeDream的总体架构,Profile阶段和计算分区阶段。本文我们介绍模型转换阶段。

5030
罗西的思考

[源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区

在前文中,我们介绍了PipeDream的总体架构和Profile阶段,本文我们继续介绍计算分区阶段。其功能是:依据profile结果确定所有层的运行时间,然后使...

12930
罗西的思考

[源码解析] 深度学习流水线并行之PipeDream(1)--- Profile阶段

继 GPipe 之后,我们开一个流水线并行训练新系列,介绍微软的PipeDream。本文介绍其总体思路,架构和Profile阶段。

6310
罗西的思考

[源码解析] 深度学习流水线并行 GPipe(3) ----重计算

GPipe是一个基于 Lingvo (Lingvo 是 Google 基于 TensorFlow 二次开发的重点针对序列模型的框架)开发的,支持超大规模模型的神...

7620

扫码关注云+社区

领取腾讯云代金券