首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

暴力方法将成过去?UC伯克利等新研究返璞归真,探索网络的本质

其实现方式是:在初始化和训练期间,令卷积核具备近似保距性(near isometric);使用 ReLU 激活函数的变体,实现保距性。 ?...Isometric Network (ISONet) 对此,该研究给出的答案是:保距(isometry)。...具体而言,该研究设计了 Isometric Networks (ISONet),即在训练过程中将卷积层初始化为 identity,将其正则化为近似正交。...ISONet 性能如何 如下表 1 所示,使用 SReLU、Delta 初始化和正交正则化的 Isometric 学习能够在 ImageNet 上训练 ISONet,并且不需要 BatchNorm 和残差连接...为了验证 isometric 原理在训练深度网络时的有效性,研究者探究了不同层数(18、34、50 和 101)时 ISONet 在 ImageNet 上的 top-1 准确率,结果如下表 4 所示:

83420
领券