首页
学习
活动
专区
工具
TVP
发布

宽度限定无限深做万有逼近

我们知道一维函数可以用分段的小矩形来逼近,如图1:

图1. 分割的区间变细,精度可以任意高。

而每个分段的小矩形又可以被如下的一系列小梯形来逼近,如图2:

图2. 当梯形的上下底长度接近的话,误差可以任意小。

所以根据三角关系,用这种分段的小梯形理论上也可以逼近任意函数。因此:限定宽度任意深网络做逼近的策略是,通过网络表示分段梯形函数来逼近任意函数。原论文展示了在宽度限定的情况下,一种通过层与层的复合来构造出一系列的分段梯形函数。

我们先规定网络所使用的激活函数是ReLU函数,(其它激活函数也可),网络要表示的是一维函数,那么通过四层每层2个神经元就可以构造出来一个下底是[a1,b1], 上底是[a1+\delta (b1-a1), b1-\delta (b1-a1)]的等腰梯形函数。

如下所示,每个方块代表一个神经元,梯形高度是1,左下角L1是最后输出函数,读者可以自行验证此表达式是否是个梯形函数。

图3.+号表示ReLU处理,左下角的L1是最后函数表达式,x1是变量

再给四层呢,可以表示下一段区间梯形函数。最终如果给定无限深,就可以构造无数多个精细的小梯形函数,以任意精度逼近目标的函数。n维的情形是类似的,这里就不再赘述了。

想关注更多有趣的机器学习/计算物理/医疗影像的科普/前沿研究,请关注我们的公众号:

这是一群致力于科研传播的faculty & PhD & Master记录分享点滴思考的平台,这里有我们在各自领域(机器学习,医疗影像,材料科学,凝聚态物理)涉猎研究的点滴感悟,有我们在国内,海外求学工作奋斗的酸甜苦辣,亦有偶尔的风月和我们的诗与远方。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180716G1TZTK00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券