【FAQ】模型配置相关问题汇总

导语

我们用13篇推文向您介绍了如何安装、编译和使用PaddlePaddle,您可以点击公众号右下角的历史消息获取相应的使用指南。

在使用指南的最后一部分,我们汇总了使用PaddlePaddle过程中的常见问题,本部分推文目录如下:

2.22:【FAQ】模型配置相关问题汇总

2.23:【FAQ】参数设置相关问题汇总

2.24:【FAQ】本地训练与预测相关问题汇总

2.25:【FAQ】集群训练与预测相关问题汇总

2.26:【FAQ】如何贡献代码

2.27:【FAQ】如何贡献文档

模型配置相关问题汇总
|1. 出现 Duplicated layer name 错误怎么办?

出现该错误的原因一般是用户对不同layer的参数 name 设置了相同的取值。遇到该错误时,先找出参数 name 取值相同的layer,然后将这些layer的参数 name 设置为不同的值。

|2. paddle.layer.memory 的参数 name 如何使用?

paddle.layer.memory 用于获取特定layer上一时间步的输出,该layer是通过参数 name 指定,即,paddle.layer.memory 会关联参数 name 取值相同的layer,并将该layer上一时间步的输出作为自身当前时间步的输出。

PaddlePaddle的所有layer都有唯一的name,用户通过参数 name 设定,当用户没有显式设定时,PaddlePaddle会自动设定。而 paddle.layer.memory 不是真正的layer,其name由参数 memory_name 设定,当用户没有显式设定时,PaddlePaddle会自动设定。paddle.layer.memory 的参数 name 用于指定其要关联的layer,需要用户显式设定。

|3. 两种使用 drop_out 的方法有何区别?

在PaddlePaddle中使用dropout有两种方式:

在相应layer的 layer_atter 设置 drop_rate,以 paddle.layer.fc 为例,代码如下:

fc = paddle.layer.fc(input=input, layer_attr=paddle.attr.ExtraLayerAttribute(drop_rate=0.5))

使用 paddle.layer.dropout,以 paddle.layer.fc 为例,代码如下:

fc = paddle.layer.fc(input=input)

drop_fc = paddle.layer.dropout(input=fc, dropout_rate=0.5)

paddle.layer.dropout 实际上使用了 paddle.layer.add_to,并在该layer里采用第一种方式设置 drop_rate 来使用dropout的。这种方式对内存消耗较大。

PaddlePaddle在激活函数里实现dropout,而不是在layer里实现。

paddle.layer.lstmemory、paddle.layer.grumemory、paddle.layer.recurrent 不是通过一般的方式来实现对输出的激活,所以不能采用第一种方式在这几个layer里设置 drop_rate 来使用dropout。若要对这几个layer使用dropout,可采用第二种方式,即使用 paddle.layer.dropout。

|4. 不同的 recurrent layer 的区别?

以LSTM为例,在PaddlePaddle中包含以下 recurrent layer:

paddle.layer.lstmemory

paddle.networks.simple_lstm

paddle.networks.lstmemory_group

paddle.networks.bidirectional_lstm

按照具体实现方式可以归纳为2类:

A.由 recurrent_group 实现的 recurrent layer:

  • 用户在使用这一类recurrent layer时,可以访问由recurrent unit在一个时间步内计算得到的中间值(例如:hidden states, memory cells等);
  • 上述的 paddle.networks.lstmemory_group 是这一类的 recurrent layer ;

B.将recurrent layer作为一个整体来实现:

  • 用户在使用这一类recurrent layer,只能访问它们的输出值;
  • 上述的 paddle.networks.lstmemory_group 、 paddle.networks.simple_lstm 和 paddle.networks.bidirectional_lstm 属于这一类的实现;

将recurrent layer作为一个整体来实现, 能够针对CPU和GPU的计算做更多优化, 所以相比于recurrent group的实现方式, 第二类 recurrent layer 计算效率更高。 在实际应用中,如果用户不需要访问LSTM的中间变量,而只需要获得recurrent layer计算的输出,我们建议使用第二类实现。

此外,关于LSTM, PaddlePaddle中还包含 paddle.networks.lstmemory_unit 这一计算单元:

  • 不同于上述介绍的recurrent layer , paddle.networks.lstmemory_unit 定义了LSTM单元在一个时间步内的计算过程,它并不是一个完整的recurrent layer,也不能接收序列数据作为输入;
  • paddle.networks.lstmemory_unit 只能在recurrent_group中作为step function使用;

|5. PaddlePaddle的softmax能否指定计算的维度?

PaddlePaddle的softmax不能指定计算维度,只能按行计算。 在图像任务中,对于NCHW,如果需要在C维度计算softmax,可以先使用 paddle.layer.switch_order 改变维度顺序,即将NCHW转换成NHWC,再做一定的reshape,最后计算softmax。

|6. PaddlePaddle是否支持维数可变的数据输入?

PaddlePaddle提供的 paddle.data_type.dense_array 支持维数可变的数据输入。在使用时,将对应数据层的维数设置成一个大于输入数据维数的值用于占位即可。

原文发布于微信公众号 - PaddlePaddle(PaddleOpenSource)

原文发表时间:2018-02-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏wOw的Android小站

[Tensorflow] Faster R-CNN 和自定义 VOC 数据集

看了pascal_voc.py代码,可以把代码的jpg拼接改成png,这样可以不做上一步.

1.8K20
来自专栏用户2442861的专栏

caffe python 图片训练识别 实例

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details...

95120
来自专栏人工智能

基于自制数据集的MobileNet-SSD模型训练

“本文主要内容:基于自制的仿VOC数据集,利用caffe框架下的MobileNet-SSD模型训练。” 本文的base是https://github.com/c...

3.4K100
来自专栏一英里广度一英寸深度的学习

Tensorflow 迁移学习 识别中国军网、中国军视网Logo水印

作者bourdakos1整合了tensorflow中的object-detection和slim两个子项目。 设置环境,把当前目录、slim、object_d...

41350
来自专栏点滴积累

使用 opencv 将图片压缩到指定文件尺寸

前言 图片压缩应用很广泛,如生成缩略图等。前期我在进行图片处理的过程中碰到了一个问题,就是如何将图片压缩到指定尺寸,此处尺寸指的是生成图片文件的大小。 我使用 ...

98180
来自专栏木子昭的博客

Python为图片加水印

Pillow是python的一个功能强大的图像处理的库,可对图像进行高质量的压缩变换等操作,前几天看到一些公众号,提供了为用户头像加装饰的操作,于是自己试了一...

39370
来自专栏人工智能LeadAI

OpenCV人脸识别之二:模型训练

本系列人脸识别文章用的是opencv2,最新版的opencv3.2的代码请参考文章: OpenCV之识别自己的脸——C++源码放送(请在上一篇文章末尾查看) 在...

1.7K60
来自专栏机器学习之旅

Python:数据抽样平衡方法重写

之前在R里面可以通过调用Rose这个package调用数据平衡函数,这边用python改写了一下,也算是自我学习了。

38330
来自专栏机器学习算法工程师

应用TF-Slim快速实现迁移学习

作者:张旭 编辑:张欢 这是一篇以实践为主的入门文章,目的在于用尽量少的成本组织起来一套可以训练和测试自己的分类任务的代码,其中就会用到迁移学习,TF-Sli...

61460
来自专栏磨磨谈

ceph 的crush算法 straw

很多年以前,Sage 在写CRUSH的原始算法的时候,写了不同的Bucket类型,可以选择不同的伪随机选择算法,大部分的模型是基于RJ Honicky写的RUS...

33320

扫码关注云+社区

领取腾讯云代金券