Day032 Training Neural Networks(1)

Training Neural Networks - Part 1

关于训练神经网络需要设置的参数和动态调节的地方

Activation Functions

它的梯度总是全正或全负,因此我们需要0均值的输入,这样梯度有正有负,不会全都向一个方向移动。

tanh稍微比sigmoid好一点,但还是有问题

有人觉得这样设置bias有用,有人觉得没用,但是实际中人们还是通常将bias初始化为0.

我们不定义α,把它当做一个参数,可以通过反向传播学习得到。这样更灵活。

总结:

Data Preprocessing

在处理图片数据时,会进行0中心化,但是不会进行normalization,因为每个位置已经有相对的可比较的scale和distribution。我们不希望将图片的像素降维到一个低维度空间,用新的feature表示。而是直接使用CNN在原图上处理,保留空间信息。

Q1: 我们在training的时候使用这些预处理,在testing的时候也需要吗?A1: 需要。

Q2: what is the mean taken over?A2: the mean is taking over all of your training images. And compute the mean of all of those.

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180305G19SDZ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券