首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >《neural network and deep learning》题解——ch03 其他技术(momentun,tanh)

《neural network and deep learning》题解——ch03 其他技术(momentun,tanh)

作者头像
小爷毛毛_卓寿杰
发布2019-02-13 11:07:26
4530
发布2019-02-13 11:07:26
举报
文章被收录于专栏:Soul Joy HubSoul Joy Hub

http://blog.csdn.net/u011239443/article/details/77848503

问题一

• 如果我们使⽤ µ > 1 会有什么问题? • 如果我们使⽤ µ < 0 会有什么问题?

如果我们使⽤ µ > 1,∇C趋近于0时,v依旧会越来越大。如果我们使⽤ µ < 0,∇C趋近于0时,v会变为梯度的反方向。

问题二

增加基于 momentum 的随机梯度下降到 network2.py 中。

增加 b_velocity 和 w_velocity

    def default_weight_initializer(self):
        self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]
        self.weights = [np.random.randn(y, x)/np.sqrt(x)
                        for x, y in zip(self.sizes[:-1], self.sizes[1:])]
        self.b_velocity = [np.random.randn(y, 1) for y in self.sizes[1:]]
        self.w_velocity = [np.random.randn(y, x)/np.sqrt(x)
                        for x, y in zip(self.sizes[:-1], self.sizes[1:])]

增加参数 µ (mu)

    def SGD(self, training_data, epochs, mini_batch_size, eta,
            lmbda = 0.0,mu = 1.0,
            evaluation_data=None,
            monitor_evaluation_cost=False,
            monitor_evaluation_accuracy=False,
            monitor_training_cost=False,
            monitor_training_accuracy=False):
        ......
        for j in xrange(epochs):
            random.shuffle(training_data)
            mini_batches = [
                training_data[k:k+mini_batch_size]
                for k in xrange(0, n, mini_batch_size)]
            for mini_batch in mini_batches:
                self.update_mini_batch(
                    mini_batch, eta, lmbda,mu, len(training_data))
             ......
    def update_mini_batch(self, mini_batch, eta, lmbda,mu, n):
        nabla_b = [np.zeros(b.shape) for b in self.biases]
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        for x, y in mini_batch:
            delta_nabla_b, delta_nabla_w = self.backprop(x, y)
            nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]
            nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]

        self.w_velocity = [mu*v-(eta/len(mini_batch))*nw for v, nw in zip(self.w_velocity, nabla_w)]
        self.weights = [(1-eta*(lmbda/n))*w + v for w, v in zip(self.weights, self.w_velocity)]
        self.b_velocity = [mu*v-(eta/len(mini_batch))*nb for v, nb in zip(self.b_velocity, nabla_b)]
        self.biases = [b + v for b, v in zip(self.biases, self.b_velocity)]

问题三

证明公式 (111)

1+tanh(z/2)2=1+(ez/2−e−z/2)/(ez/2+e−z/2)2=ez/2ez/2+e−z/2=分子分母除以ez/211+e−z\large \frac{1+ tanh(z/2)}{2} = \frac{1 + (e^{z/2} - e^{-z/2})/(e^{z/2} + e^{-z/2})}{2} = \frac{e^{z/2}}{e^{z/2} + e^{-z/2}} = ^{分子分母除以 e^{z/2}} \frac{1}{1+e^{-z}}

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017年09月05日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 问题一
  • 问题二
  • 问题三
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档