深度学习: 鞍点

Introduction

关于 鞍点 的定义:

[1]:

鞍点附近的某些点比鞍点有更大的代价,而其他点则有更小的代价。

[2]:

一个不是局部极值点的驻点称为鞍点。

Note:

  • 驻点:一阶导数为0;
  • 拐点:二阶导数为0。

Example

单变量函数:

鞍点处的一阶导为0,二阶导换正负号。

多变量函数:

鞍点处,在某些方向上是峰顶,在其他方向上是谷底。

Note:

  • 高维空间中,局部最优罕见鞍点常见 (在低维空间中则相反);
  • 对于模型而言,它并不知道自己究竟走到的是驻点还是局部最优点。所幸的是我们常用带动量的SGD

[1] Deep Learning [2] 维基百科-鞍点

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

超像素经典算法SLIC的代码的深度优化和分析。

     现在这个社会发展的太快,到处都充斥着各种各样的资源,各种开源的平台,如github,codeproject,pudn等等,加上一些大型的官方的开源软件...

46511
来自专栏深度学习计算机视觉

数据挖掘之数据预处理学习笔记数据预处理目的主要任务

数据预处理目的 保证数据的质量,包括确保数据的准确性、完整性和一致性 主要任务 数据清理 填写缺失的值、光滑噪声数据、识别或者删除离群的点,先解决这些脏数据,否...

2833
来自专栏新工科课程建设探讨——以能源与动力工程专业为例

5.1 一维导热算例

算例:一根长11m的铁棒,左侧温度100℃,右侧0℃,试计算其稳态温度场。我们将铁棒均匀分割成11段,每段1m长,假设截面积为1㎡。首先写出一维稳态常物...

1160
来自专栏鸿的学习笔记

写给开发者的机器学习指南(七)

Classifying email as spam or ham (NaiveBayes)

1191
来自专栏机器之心

教程 | 如何使用DeepFake实现视频换脸

1.8K3
来自专栏人工智能LeadAI

使用RNN预测股票价格系列二

在前文教程中,我们想继续有关股票价格预测的主题,并赋予在系列1中建立的具有对多个股票做出响应能力的RNN。 为了区分不同价格序列之间相关的模式,我们使用股票信号...

4997
来自专栏量化投资与机器学习

【深入研究】使用RNN预测股票价格系列二

接昨天的 系列一(可点击查看) 在系列一的教程中,我们想继续有关股票价格预测的主题,并赋予在系列1中建立的具有对多个股票做出响应能力的RNN。 为了区分不同价格...

3878
来自专栏CDA数据分析师

如何使用R语言解决可恶的脏数据

在数据分析过程中最头疼的应该是如何应付脏数据,脏数据的存在将会对后期的建模、挖掘等工作造成严重的错误,所以必须谨慎的处理那些脏数据。 脏数据的存在形式主要有如下...

2235
来自专栏专知

【论文推荐】最新六篇知识图谱相关论文—事件演化图、神经词义消歧、增强神经网络、Mem2Seq、用户偏好传播、概率嵌入

【导读】专知内容组既前两天推出十五篇知识图谱(Knowledge Graph)相关论文,今天为大家推出六篇知识图谱(Knowledge Graph)相关论文,欢...

2895
来自专栏Crossin的编程教室

身份证号码校验算法

1、数字含义 中国大陆第二代身份证号码由18位数据或字母组成,每位数据都有特定的含义,结果如下: ? 每组数字都有不同的含义: 第1至2位数字代表所在省(直辖市...

4029

扫码关注云+社区

领取腾讯云代金券