pytorch学习笔记(九):PyTorch结构介绍

PyTorch结构介绍

对PyTorch架构的粗浅理解,不能保证完全正确,但是希望可以从更高层次上对PyTorch上有个整体把握。水平有限,如有错误,欢迎指错,谢谢!

几个重要的类型

和数值相关的

  • Tensor
  • Variable
  • Parameter
  • buffer(这个其实不能叫做类型,其实他就是用来保存tensor的)

Tensor: PyTorch中的计算基本都是基于Tensor的,可以说是PyTorch中的基本计算单元。

VariableTensor的一个Wrapper,其中保存了Variable的创造者,Variable的值(tensor),还有Variable的梯度(Variable)。

自动求导机制的核心组件,因为它不仅保存了 变量的值,还保存了变量是由哪个op产生的。这在反向传导的过程中是十分重要的。

Variable的前向过程的计算包括两个部分的计算,一个是其值的计算(即,Tensor的计算),还有就是Variable标签的计算。标签指的是什么呢?如果您看过PyTorch的官方文档 Excluding subgraphs from backward 部分的话,您就会发现Variable还有两个标签:requires_gradvolatile。标签的计算指的就是这个。

Parameter: 这个类是Variable的一个子集,PyTorch给出这个类的定义是为了在Module(下面会谈到)中添加模型参数方便。

模型相关的

  • Function
  • Module

Function: 如果您想在PyTorch中自定义OP的话,您需要继承这个类,您需要在继承的时候复写forwardbackward方法,可能还需要复写__init__方法(由于篇幅控制,这里不再详细赘述如果自定义OP)。您需要在forward中定义OP,在backward说明如何计算梯度。 关于Function,还需要知道的一点就是,Functionforwardbackward方法中进行计算的类型都是Tensor,而不是我们传入的Variable。计算完forward和backward之后,会包装成Varaible返回。这种设定倒是可以理解的,因为OP是一个整体嘛,OP内部的计算不需要记录creator

Module: 这个类和Function是有点区别的,回忆一下,我们定义Function的时候,Funciton本身是不需要变量的,而Module是变量和Function的结合体。在某些时候,我们更倾向称这种结构为Layer。但是这里既然这么叫,那就这么叫吧。

Module实际上是一个容器,我们可以继承Module,在里面加几个参数,从而实现一个简单全连接层。我们也可以继承Module,在里面加入其它Module,从而实现整个VGG结构。

关于hook

PyTorch中注册的hook都是不允许改变hook的输入值的 下面对PyTorch中出现hook的地方做个总结: * Module : register_forward_hook, register_backward_hook 注意:forward_hook不能用来修改Module的输出值,它的功能就像是安装个监视器一样。我们可以用forward_hook和visdom来监控我们Module的输出。backward_hook和与Variable的功能是类似的,将和Variableregister_hook一起介绍。

  • Variable: register_hook Variable的register_hook注册的是一个backward hookbackward hook是在BP的过程中会用到的。可以用它来处理计算的梯度。

关于hook较为详尽的介绍

foward过程与backward过程

forward 以一个Module为例: 1. 调用module的call方法 2. modulecall里面调用moduleforward方法 3. forward里面如果碰到Module的子类,回到第1步,如果碰到的是Function的子类,继续往下 4. 调用Functioncall方法 5. Functioncall方法调用了Function的forward方法。 6. Functionforward返回值 7. moduleforward返回值 8. 在modulecall进行forward_hook操作,然后返回值。

backward 关于backward

总结

PyTorch基本的操作是OP,被操作数是Tensor

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏猿人谷

二分查找法的实现和应用汇总

在学习算法的过程中,我们除了要了解某个算法的基本原理、实现方式,更重要的一个环节是利用big-O理论来分析算法的复杂度。在时间复杂度和空间复杂度之间,我们又会更...

1896
来自专栏tkokof 的技术,小趣及杂念

数学笔记(一)之列主序矩阵

对于矩阵,OpenGL采用列主序(column-major order)存储,之前对于这个概念有些模糊,后来又了解了一些相关知识,在此一记~

931
来自专栏aCloudDeveloper

LeetCode:152_Maximum Product Subarray | 最大乘积连续子数组 | Medium

题目:Maximum Product Subarray Find the contiguous subarray within an array (contai...

1889
来自专栏数据结构与算法

prufer序列笔记

 prufer序列 度娘的定义 Prufer数列是无根树的一种数列。在组合数学中,Prufer数列由有一个对于顶点标过号的树转化来的数列,点数为n的树转化来的...

3429
来自专栏xingoo, 一个梦想做发明家的程序员

Sqoop切分数据的思想概况

Sqoop通过--split-by指定切分的字段,--m设置mapper的数量。通过这两个参数分解生成m个where子句,进行分段查询。因此sqoop的spl...

1805
来自专栏数据结构与算法

P3391 【模板】文艺平衡树(Splay)

题目背景 这是一道经典的Splay模板题——文艺平衡树。 题目描述 您需要写一种数据结构(可参考题目标题),来维护一个有序数列,其中需要提供以下操作:翻转一个区...

3927
来自专栏小樱的经验随笔

numpy用法小结

前言   个人感觉网上对numpy的总结感觉不够详尽细致,在这里我对numpy做个相对细致的小结吧,在数据分析与人工智能方面会有所涉及到的东西在这里都说说吧,也...

3034
来自专栏猿人谷

二分查找法的实现和应用汇总

在学习算法的过程中,我们除了要了解某个算法的基本原理、实现方式,更重要的一个环节是利用big-O理论来分析算法的复杂度。在时间复杂度和空间复杂度之间,我们又会更...

1935
来自专栏数据处理

mat(矩阵)与array(数组)区别

1393
来自专栏吴伟祥

认识XPath(确定XML文档中某部分位置的语言)

XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。

441

扫码关注云+社区