首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

如何找到全局最小值?先让局部极小值消失吧

目前,深度神经网络在计算机视觉、机器学习和人工智能等领域取得了巨大的实际成功。然而,从理论上对深度神经网络的理解相对于其在经验上的成功来说是较为缺乏的。在理论上,理解深度神经网络的一个主要难点是用于训练网络的目标函数的非凸性以及高维度。由于非凸性和高维度,能否保证深度神经网络在训练过后具有理想的性质,而不是陷入一个随机的糟糕的局部极小值点附近,往往还不清楚。实际上,寻找一个通用的非凸函数(Murty & Kabadi, 1987)以及用于训练特定种类神经网络的非凸目标函数(Blum & Rivest, 1992)的全局极小值是 NP-Hard 的问题,这引起了研究人员对高维问题的关注(Kawaguchi et al., 2015)。在过去,这类理论问题被认为是人们偏向于选择只需要进行凸优化的经典机器学习模型(无论带不带有核方法)的原因之一。尽管深度神经网络近来取得了一系列的成功,但始终绕不开一个问题:能否在理论上保证深度神经网络避开糟糕的局部极小值点?

01

深度学习编译器之公共子表达式消除和死代码消除实现

【省流】上次介绍了深度学习编译器之Layerout Transform优化 ,在这篇文章中提到还会介绍常量折叠优化Pass的实现,但在介绍常量折叠Pass之前我想再介绍一个类似的优化方法也就是公共子表达式消除实现(CSE)。仍然是以OneFlow中基于MLIR进行实现的CSE Pass为例子来讲解。在解析代码实现的过程中,我发现基于MLIR来做公共子表达式消除的时候还顺带做了死代码消除的功能。另外,在考虑公共子表达式消除的时候需要保证两个重复的操作处于同一个基本块中以及两个重复操作之间没有其它具有副作用的操作才可以消除。在OneFlow的实现中只是对OneFlow的UserOp的特殊属性即OpName和SymbolID进行了擦除,用一个魔法属性来代替,这是因为这两个属性不应该去影响公共子表达式的消除。这个优化还是比较有用的,在OneFlow的Stable Diffusion优化中发挥了不小的作用。

05

医学图像处理教程(四)——医学图像去噪算法

均值滤波是典型的线性滤波算法,它是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素(以目标像素为中心的周围8个像素,构成一个滤波模板,即去掉目标像素本身),再用模板中的全体像素的平均值来代替原来像素值。均值滤波本身存在着固有的缺陷,即它不能很好地保护图像细节,在图像去噪的同时也破坏了图像的细节部分,从而使图像变得模糊,不能很好地去除噪声点。我们使用MeanImageFilter()函数来对图像进行平滑去噪。参数设置就是统计均值计算的半径大小,这里可以xyz方向上都一样的半径大小,也可以设置成不同的半径大小,在这里我们设置成5,就意味着是10x10x10区域里计算均值滤波的结果。

02
领券