专栏首页SimpleAIPyTorch简明笔记[3]-神经网络的基本组件(Layers、functions)

PyTorch简明笔记[3]-神经网络的基本组件(Layers、functions)

不断地被人安利PyTorch,终于忍不住诱惑决定入坑了。 当我翻看PyTorch官网的时候,一下子就爱上了它那清晰的文档和友好的入门指南。所以决定好好地系统性地把PyTorch学一学。所以,记一份适合自己的更加清晰简明的笔记,把基础打牢固,就很有必要了。 这份笔记的目的,主要是方便随时查阅,不必去看详细的冗长的原始文档。也方便跟我一样的小白可以迅速入门,快速实践。同时,我来记录笔记的过程中,也会补充深度学习相关的知识,在学习PyTorch框架的时候,也学习/复习深度学习。 本篇是PyTorch简明笔记第[3]篇.

前言:

PyTorch的torch.nn中包含了各种神经网络层、激活函数、损失函数等等的类。我们通过torch.nn来创建对象,搭建网络。 PyTorch中还有torch.nn.functional,让我们可以通过调用函数的方式,来直接搭建网络,而不用像torch.nn一样要先创建对象。

我们可以按照自己的习惯,结合上面两种方法,来搭建网络。 一般情况下,对于像Conv层这种需要定义多个参数的时候,我们采用torch.nn的方式比较方便,而对于参数比较少的,或者不用设置参数的,尤其是一些函数,我们就可以采用torch.nn.functional来定义。一般我们import torch.nn.functional as F,这样后面写起来方便一些。

torch.nn.Module是所有神经网络模型的基本类(basic class),所有的模型都应该是它的子类。

定义模型的方法如下(只是一种形式):

# 神经网络模型包:import torch.nn as nn
# 神经网络中的各种函数包:
import torch.nn.functional as F
# 继承nn.Module
class Model(nn.Module): 
    def __init__(self):
        # 调用nn.Module的初始化方法
        super(Model, self).__init__()        
        # 添加该模型的自定义初始化(主要是定义神经网络层)
        self.conv1 = nn.Conv2d(1, 20, 5)
        self.conv2 = nn.Conv2d(20, 20, 5)    
    # 定义模式的输出是怎么计算的
    #(主要写各层之间通过什么激活函数、池化等等来连接)    
    def forward(self, x):
        x = F.relu(self.conv1(x))       
        return F.relu(self.conv2(x))

通过上面的方式定义了模型类之后,我们就可以使用nn.Module内置的.parameters()方法来获取模型的参数。我们后面要更新的就是这些参数。


一、常用的神经网络层

这里,我们介绍以下几种layers:

  1. 卷积层-Conv2d
  2. 全连接层
  3. 池化层
  4. Dropout
  5. BatchNorm

1.卷积层(2D)

CLASS torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

  • 注意是个类,要创建对象后再使用。
  • 参数中的kernel_size, stride, padding, dilation的值,可以为int,也可以为tuple。是int的时候,就代表长宽相等。
  • Input size为(N,C_in,H,W); Output size为(N,C_out,H_out,W_out). 其中,N为batch size,即样本数,C为channel数,H为height,W为width。

举例:

2.全连接层/线性层

采用CLASS方式 torch.nn.Linear(in_features, out_features, bias=True)

  • Input size = (N,∗,in_features) Output size = (N,∗,out_features) 举例:

3.Pooling(2D)层

采用CLASS方式 torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False) torch.nn.AvgPool2d(kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) 举例:

采用Function方式:(似乎更简洁) F.avg_pool2d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) → Tensor

4.Dropout 层

CLASS torch.nn.Dropout(p=0.5, inplace=False) torch.nn.Dropout2d(p=0.5, inplace=False)

  • 前者通常接受来自nn.Linear的数据
  • 后者通常接受来自nn.Conv2d的数据

举例:

5.BatchNorm(2D)

CLASS torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) BN层的主要作用是,通过对数据进行标准化,来加速神经网络的训练。 唯一必须设置的参数num_features 要等于输入数据(N,C,H,W)中的C,就是Channel数。


二、常用的激活函数

采用CLASS方式: torch.nn.ReLU(inplace=False) torch.nn.Sigmoid torch.nn.Tanh torch.nn.Softmax(dim=None) 这些很简单,就不解释了。举例:

采用Function方式(更简洁):

三、损失函数

MSE torch.nn.MSELoss(size_average=None, reduce=None, reduction=’mean’) Cross-Entropy torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction=’mean’) 用法也很简单,把预测值(input)和标签值(target)扔进去就行:

这里对Cross-entropy的使用有一点需要注意的地方:

从文档可以看到,这个Target(即label)的值有限制,值的大小需要再[0,C-1]之间。 比如,我们有5个类别,C=5,那么你给的标签值必须在[0,4]之间,不能取其他的数字。


上面的内容列举了最常见的一些layers和functions。我在举例子的时候,主要是采用torch.nn定义Class的方式,无论是layer还是函数,都是先创建对象,在用对象去进行操作。上面写的每一个,其实在torch.nn.functional中都有对应,使用起来相当于省掉了创建对象那一步,所以就不赘述了。

下一篇笔记记录如何使用上面的这些组件,去搭建神经网络,做一个图片分类模型。

本文分享自微信公众号 - SimpleAI(SimpleAI_1),作者:郭必扬

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【Hello NLP】CS224n学习笔记[3]:共现矩阵、SVD与GloVe词向量

    SimpleAI 【HelloNLP】系列笔记,主要参考各知名网课(Stanford CS224n、DeepLearning.ai、李宏毅机器学习等等),并配合...

    beyondGuo
  • 一条龙搞定情感分析:文本预处理、加载词向量、搭建RNN

    相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征...

    beyondGuo
  • Hello,1024背后可爱的人儿

    beyondGuo
  • JS传递函数并且调用

    李家酒馆酒保
  • Linux性能检查命令总结

    如果你的Linux服务器突然负载暴增,告警短信快发爆你的手机,如何在最短时间内找出Linux性能问题所在?

    凯哥Java
  • 知乎Python大佬带你10分钟入门Python爬虫(推荐收藏)

    爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序。

    叫我龙总
  • 133. 最长单词 一次遍历+vector容器

    如果只是要最长的一个单词,那么只需要一次遍历即可,这里是要求求出最长单词的集合,稍作改变即可。

    和蔼的zhxing
  • 【注意力机制】空间注意力机制之Spatial Transformer Network

    2015 NIPS(NeurIPS,神经信息处理系统大会,人工智能领域的 A 类会议)论文

    机器视觉CV
  • scrapy爬虫框架教程(一)-- Scrapy入门

    前言 转行做python程序员已经有三个月了,这三个月用Scrapy爬虫框架写了两百多个爬虫,不能说精通了Scrapy,但是已经对Scrapy有了一定的熟悉。准...

    木制robot
  • 我回来啦!说说这几个月我去干了啥

    从去年做公众号到今天,今天离分享的第一篇文章刚好一年。而最近这几个月很少更新文章。在此,说声抱歉,同时,也感谢一路以来一直支持我的读者们。

    格姗知识圈

扫码关注云+社区

领取腾讯云代金券