罗西的思考

LV1
发表了文章

[源码解析]PyTorch如何实现前向传播(2) --- 基础类(下)

本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第二篇,介绍自动微分(梯度计算)所涉及的部分 PyTorch 基础...

罗西的思考
发表了文章

[源码解析]PyTorch如何实现前向传播(1) --- 基础类(上)

本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第一篇,介绍自动微分(梯度计算)所涉及的部分 PyTorch 基础...

罗西的思考
发表了文章

[源码解析]深度学习利器之自动微分(3) --- 示例解读

本文从 PyTorch 两篇官方文档开始为大家解读两个示例。本文不会逐句翻译,而是选取重点并且试图加入自己的理解。

罗西的思考
发表了文章

深度学习利器之自动微分(2)

本文和上文以 Automatic Differentiation in Machine Learning: a Survey为基础,逐步分析自动微分这个机器学习...

罗西的思考
发表了文章

深度学习利器之自动微分(1)

本文和下文以 Automatic Differentiation in Machine Learning: a Survey 这篇论文为基础,逐步分析自动微分这...

罗西的思考
发表了文章

[源码解析] PyTorch 流水线并行实现 (6)--并行计算

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据,本文我们结合论文内容来看看如何实现流水线。

罗西的思考
发表了文章

[源码解析] PyTorch 流水线并行实现 (5)--计算依赖

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据等,本文我们结合论文内容来看看如何实现流水线依赖,核心就是如何建立这些小批次之...

罗西的思考
发表了文章

[源码解析] PyTorch 流水线并行实现 (4)--前向计算

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据,本文我们结合论文内容来看看如何保证前向计算执行顺序。

罗西的思考
发表了文章

[源码解析] PyTorch 流水线并行实现 (3)--切分数据和运行时系统

前几篇文章我们介绍了 PyTorch 流水线并行的基本知识和自动平衡机制,本文我们介绍如何切分数据和运行时系统。

罗西的思考
发表了文章

[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型

上一篇文章我们介绍了 PyTorch 流水线并行的基本知识,本文我们介绍其自动平衡机制和模型分割。

罗西的思考
发表了文章

[源码解析] PyTorch 流水线并行实现 (1)--基础知识

本系列开始介绍PyTorch的流水线并行实现。实质上,PyTorch就是 GPipe 的PyTorch版本。这些开源软件在互相借鉴思路,互相学习,从 PyTor...

罗西的思考
发表了文章

[源码解析] 深度学习分布式训练框架 horovod (21) --- 之如何恢复训练

本文以 PyTorch on Horovod 为切入点,分析一下 Horovod 弹性训练的恢复流程,具体涉及知识点有:

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略

在前文中,我们介绍了PipeDream的总体架构,Profile阶段,计算分区阶段,模型转换阶段,运行时引擎和通信模块,本文是 PipeDream 系列最后一篇...

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行 PipeDream(5)--- 通信模块

在前文中,我们介绍了PipeDream的总体架构,Profile阶段,计算分区阶段,模型转换阶段和运行时引擎,本文我们介绍PipeDream 的通信模块,通信模...

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行 PipeDream(4)--- 运行时引擎

在前文中,我们介绍了PipeDream的总体架构,Profile阶段,计算分区阶段和模型转换阶段,本文我们介绍运行时执行引擎,这是一个统一基础设施层。

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行 PipeDream(3)--- 转换模型

在前文中,我们介绍了PipeDream的总体架构,Profile阶段和计算分区阶段。本文我们介绍模型转换阶段。

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区

在前文中,我们介绍了PipeDream的总体架构和Profile阶段,本文我们继续介绍计算分区阶段。其功能是:依据profile结果确定所有层的运行时间,然后使...

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行之PipeDream(1)--- Profile阶段

继 GPipe 之后,我们开一个流水线并行训练新系列,介绍微软的PipeDream。本文介绍其总体思路,架构和Profile阶段。

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行 GPipe(3) ----重计算

GPipe是一个基于 Lingvo (Lingvo 是 Google 基于 TensorFlow 二次开发的重点针对序列模型的框架)开发的,支持超大规模模型的神...

罗西的思考
发表了文章

[源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积

梯度累积是一种增大训练时 batch size的技术,在本地使用 micro-batch 多次进行正向和反向传播积累梯度后,再进行梯度规约和优化器更新,这是用来...

罗西的思考

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券