《深度学习》学习笔记三——数值计算

原文博客：Doi技术团队 链接地址：https://blog.doiduoyi.com/authors/1584446358138 初心：记录优秀的Doi技术团队学习经历

目录

文章目录

• 目录
• 上溢和下溢
• 基于梯度的优化方法
  • 导数
  • 偏导数
• 约束优化
• 参考资料

上溢和下溢

• 下溢(underflow)是一种极具毁灭性的舍入误差.当接近零的数被四舍五入为零时发生下溢
• 上溢(overflow)是一种极具破坏力的数值错误形式.当大量级的数被近似为∞\infty∞或者−∞-\infty−∞时发生上溢,进一步的运算通常会导致这些无限值变成非数字.
• softmax 函数(softmax function)可以对上溢和下溢进行数值稳定的一个函数,softmax函数经常用于预测与Multinoulli分布相关联的概率,定义为:

梯度下降

极小点，极大点，鞍点

sign(x)函数

偏导数

当函数只有二维输入时，其只有一个驻点，所以这个驻点就是它的最小点或者最大点。但是通常遇到更多的是多维输入的函数，它具有多个驻点，所以它有多个极小点和极大点，如下图。所以通过上面的方法很难找到最大点或者最小点。

多维输入函数

参考资料

1. lan Goodfellow,Yoshua Bengio,Aaron Courville.深度学习(中文版).赵申剑,黎彧君,符天凡,李凯,译.北京:人民邮电出版社
2. 郭游瑞,徐应祥,任阿娟,赵志琴.高等数学简明教程.上海:复旦大学出版社