首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    学界 | 有哪些学术界都搞错了,忽然间有人发现问题所在的事情?

    神经网络优化 说一个近年来神经网络方面澄清的一个误解。 BP算法自八十年代发明以来,一直是神经网络优化的最基本的方法。神经网络普遍都是很难优化的,尤其是当中间隐含层神经元的个数较多或者隐含层层数较多的时候。长期以来,人们普遍认为,这是因为较大的神经网络中包含很多局部极小值(local minima),使得算法容易陷入到其中某些点。这种看法持续二三十年,至少数万篇论文中持有这种说法。举个例子,如著名的Ackley函数 。对于基于梯度的算法,一旦陷入到其中某一个局部极值,就很难跳出来了。(图片来自网络,压缩有

    010

    [有意思的数学]极小极大问题与博弈论入门

    为啥要提到这个问题呢,是因为最近一直在做生成对抗网络(GAN)的工作,GAN的灵感来源于博弈论(也叫对策论,竞赛论)中的零和博弈,而原始GAN的优化目标又是一个极小化极大问题,所以我觉得有必要深入了解一下这个问题。另外,我觉得博弈论这个东西挺有意思的,而且挺实用的(坏笑脸),所以就查了一些资料,在这里做个总结,拿出来和大家分享。 博弈的意思其实比较简单,就是两个人,或者多个人之间的竞争,比赛。通过采取不同措施,达到不同的目的,使得自己的利益最大化。古老的故事“田忌赛马”就是博弈思想的体现,我就在想为啥田忌没

    08

    Jacobin和Hessian矩阵

    有时我们需要计算输入和输出都为向量和函数的所有偏导数。包含所有这样的偏导数的矩阵被称为Jacobian矩阵。具体来说,如果我们有一个函数 , 的Jacobian矩阵 定义为 。有时,我们也对导数的导数感兴趣,即二阶导数(second derivative)。例如,有一个函数 , 的一阶导数(关于 )关于 的导数记为 为 。二阶导数告诉我们,一阶导数(关于 )关于 的导数记为 。在一维情况下,我们可以将 为 。二阶导数告诉我们,一阶导数如何随着输入的变化而改变。它表示只基于梯度信息的梯度下降步骤是否会产生如我们预期那样大的改善,因此它是重要的,我们可以认为,二阶导数是对曲率的衡量。假设我们有一个二次函数(虽然实践中许多函数都是二次的,但至少在局部可以很好地用二次近似),如果这样的函数具有零二阶导数,那就没有曲率,也就是一条完全平坦的线,仅用梯度就可以预测它的值。我们使用沿负梯度方向下降代销为 的下降步,当该梯度是1时,代价函数将下降 。如果二阶导数是正的,函数曲线是向上凹陷的(向下凸出的),因此代价函数将下降得比 少。

    02
    领券