# 《neural network and deep learning》题解——ch03 其他技术（momentun，tanh）

http://blog.csdn.net/u011239443/article/details/77848503

# 问题一

• 如果我们使⽤ µ > 1 会有什么问题？ • 如果我们使⽤ µ < 0 会有什么问题？

# 问题二

    def default_weight_initializer(self):
self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]
self.weights = [np.random.randn(y, x)/np.sqrt(x)
for x, y in zip(self.sizes[:-1], self.sizes[1:])]
self.b_velocity = [np.random.randn(y, 1) for y in self.sizes[1:]]
self.w_velocity = [np.random.randn(y, x)/np.sqrt(x)
for x, y in zip(self.sizes[:-1], self.sizes[1:])]

    def SGD(self, training_data, epochs, mini_batch_size, eta,
lmbda = 0.0,mu = 1.0,
evaluation_data=None,
monitor_evaluation_cost=False,
monitor_evaluation_accuracy=False,
monitor_training_cost=False,
monitor_training_accuracy=False):
......
for j in xrange(epochs):
random.shuffle(training_data)
mini_batches = [
training_data[k:k+mini_batch_size]
for k in xrange(0, n, mini_batch_size)]
for mini_batch in mini_batches:
self.update_mini_batch(
mini_batch, eta, lmbda,mu, len(training_data))
......
    def update_mini_batch(self, mini_batch, eta, lmbda,mu, n):
nabla_b = [np.zeros(b.shape) for b in self.biases]
nabla_w = [np.zeros(w.shape) for w in self.weights]
for x, y in mini_batch:
delta_nabla_b, delta_nabla_w = self.backprop(x, y)
nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]
nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]

self.w_velocity = [mu*v-(eta/len(mini_batch))*nw for v, nw in zip(self.w_velocity, nabla_w)]
self.weights = [(1-eta*(lmbda/n))*w + v for w, v in zip(self.weights, self.w_velocity)]
self.b_velocity = [mu*v-(eta/len(mini_batch))*nb for v, nb in zip(self.b_velocity, nabla_b)]
self.biases = [b + v for b, v in zip(self.biases, self.b_velocity)]

# 问题三

1+tanh(z/2)2=1+(ez/2−e−z/2)/(ez/2+e−z/2)2=ez/2ez/2+e−z/2=分子分母除以ez/211+e−z\large \frac{1+ tanh(z/2)}{2} = \frac{1 + (e^{z/2} - e^{-z/2})/(e^{z/2} + e^{-z/2})}{2} = \frac{e^{z/2}}{e^{z/2} + e^{-z/2}} = ^{分子分母除以 e^{z/2}} \frac{1}{1+e^{-z}}

0 条评论

• ### 《neural network and deep learning》题解——ch02 Network源码分析

http://blog.csdn.net/u011239443/article/details/75008380

• ### 《neural network and deep learning》题解——ch03 再看手写识别问题题解与源码分析

http://blog.csdn.net/u011239443/article/details/77649026

• ### 对抗机器学习模型

随着AI时代机器学习模型在实际业务系统中愈发无处不在，模型的安全性也变得日渐重要。机器学习模型很可以会遭到恶意攻击，比较直接就能想到的如：人脸识别模型的攻击。训...

• ### 《Python基础教程》 读书笔记 第九章 魔法方法、属性和迭代器 (上)

在Python中创建一个构造方法很容易。只要把init方法的名字从简单的init修改为魔法版本__init__即可:

• ### 腾讯云cdn回源ip获取

安全性考虑（假装safe）源站做了访问策略，限制了访问ip，接入cdn后回源的都是cdn节点信息，那么如何获取呢？？？

• ### python写的监控mysql主从的ap

[global] user = cmVwbsdfsdfA== passwd = SGMxNzVBcEdEZ0ZRTGsfdfV6aA== time = 1...

• ### python入门之一个简单记事本

最近在练习一个关于python项目的列表，拿到列表看到这是要实现一个记事本功能，刚开始拿到题目真有点懵。虽然用python实现excel的处理已经很熟悉了，且已...

• ### ios开发：关于一对一直播源码中视频录制切换前后摄像头后方向错误解决办法

最近发现项目里，一对一直播源码切换前后摄像头几次之后，会出现录制的视频方向上下颠倒，可是明明已经在切换一对一直播系统摄像头后，给videoconnection重...

• ### What？废柴， 模拟登陆，代码控制滑动验证真的很难吗？Are you kidding？？？

在前边的python接口自动化的时候，我们由于博客园的登录机制的改变，没有用博客园的登录测试接口。那么博客园现在变成了滑动验证登录，而且现在绝大多数的登录都变成...

• ### 再议Python协程——从yield到asyncio

协程，英文名Coroutine。 前面介绍Python的多线程，以及用多线程实现并发（参见这篇文章【浅析Python多线程】），今天介绍的协程也是常用的并发手段...