专栏首页marsggboPytorch--Dropout笔记

Pytorch--Dropout笔记

dropout常常用于抑制过拟合,pytorch也提供了很方便的函数。但是经常不知道dropout的参数p是什么意思。在TensorFlow中p叫做keep_prob,就一直以为pytorch中的p应该就是保留节点数的比例,但是实验结果发现反了,实际上表示的是不保留节点数的比例。看下面的例子:

a = torch.randn(10,1)
>>> tensor([[ 0.0684],
        [-0.2395],
        [ 0.0785],
        [-0.3815],
        [-0.6080],
        [-0.1690],
        [ 1.0285],
        [ 1.1213],
        [ 0.5261],
        [ 1.1664]])
  • p=0.5
torch.nn.Dropout(0.5)(a)
>>> tensor([[ 0.0000],  
        [-0.0000],  
        [ 0.0000],  
        [-0.7631],  
        [-0.0000],  
        [-0.0000],  
        [ 0.0000],  
        [ 0.0000],  
        [ 1.0521],  
        [ 2.3328]]) 
  • p=0
torch.nn.Dropout(0)(a)
>>> tensor([[ 0.0684],
        [-0.2395],
        [ 0.0785],
        [-0.3815],
        [-0.6080],
        [-0.1690],
        [ 1.0285],
        [ 1.1213],
        [ 0.5261],
        [ 1.1664]]) 
  • p=1
torch.nn.Dropout(0)(a)
>>> tensor([[0.],  
        [-0.], 
        [0.],  
        [-0.], 
        [-0.], 
        [-0.], 
        [0.],  
        [0.],  
        [0.],  
        [0.]]) 

MARSGGBO♥原创 2019-3-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python3编码问题终结者--还搞不懂你来找我

    python unicode bytes str 编码 首先需要说明一下,该篇文章是以python3为基础的,python2是否适合没有验证过。 由于pytho...

    marsggbo
  • Docker永久挂载本地目录

    有时我们的docker需要用到本地的数据集,虽然我们可以用docker cp的方式进行拷贝,但是通常如果数据集很大,所以直接拷贝到容器里显然不现实,所以我们需要...

    marsggbo
  • Pytorch里的CrossEntropyLoss详解

    首先要知道上面提到的这些函数一部分是来自于torch.nn,而另一部分则来自于torch.nn.functional(常缩写为F)。二者函数的区别可参见 知乎:...

    marsggbo
  • python前端HTML和CSS入门

    前端阶段课程介绍 1 ~ 4 : HTML及CSS5 ~ 6 : JavaScript 7 ~ 10 ...

    py3study
  • 接口定义规范

    { "userId"... "userName"... "userPhoto"... "orderId"... "ord...

    只喝牛奶的杀手
  • Ken的杂谈从ASP.NET Core 2.1迁移到3.1

    Ken的杂谈从2017年就开始采用 .NET Core作为开发框架,当时用的还是 .NET Core 2.0。 随后,.NET Core 2.1(LTS) 在2...

    KenTalk
  • Web前端学习 第6章 jQuery Ajax 1 HTTP协议

    http协议全称超文本传输协议,大家只要把它理解成为一个服务器与客户端通信的协议即可。

    学习猿地
  • 【融职培训】Web前端学习 第6章 jQuery Ajax 1 HTTP协议

    http协议全称超文本传输协议,大家只要把它理解成为一个服务器与客户端通信的协议即可。

    学习猿地
  • 30秒让图片变裸照,使用无门槛,这个软件比Deepfake杀伤力更大

    2017 年后,伪造逼真图像的 Deepfake 技术利用其将女性图片嫁接至色情图像内容引起很非议,用它恶意伪造的图像开始大规模在互联网上流传,也给人们辨别图像...

    AI科技大本营
  • Tiled源码分析(三): Undo/Redo实现

    不过, Qt为我们提供了Undo/Redo的完整框架, 连工具栏按钮和History控件都齐活了

    逍遥剑客

扫码关注云+社区

领取腾讯云代金券