首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

斯坦福CS231n - CNN for Visual Recognition(7)-lecture6梯度检查、参数更新

对于相对误差而言: 相对误差>1e−2相对误差>1e^{−2} :意味着解析梯度计算出错 1e−2>相对误差>1e−41e^{−2>}相对误差>1e^{−4}:解析梯度可能出错 1e−4>相对误差1^{...所以如果你是对10层神经网络做梯度检查,那么1e−21e^{-2}就没啥问题,因为误差一直在累积。相反,如果一个可微函数的相对误差值是1e−21e^{-2},那么通常说明解析题都出错了。...通常会将解析梯度和数值梯度显示出来,以保证计算时,所有的数都在浮点数的可计算范围内,如果太小(<1e−10<1e^{-10})可考虑乘个常数。 目标函数的不可导点(kinks)。...考虑当x=1e−6x=1e^{-6}时,对ReLU函数进行梯度检查。因为x=1e−6<0x=1e^{-6}<0,所以解析梯度在该点梯度为0(见图)。...有时如果梯度检查无法进行,可以试试将hh调到1e−4或1e−61e^{-4}或1e^{-6},梯度检查可能就恢复正常。

68420
领券