腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

老秦求学

专栏作者

62

文章

85557

阅读量

28

订阅数

深度学习算法优化背景知识---指数加权平均

深度学习编程算法

背景：在深度学习优化算法，如:Momentum、RMSprop、Adam中都涉及到指数加权平均这个概念。为了系统的理解上面提到的三种深度学习优化算法，先着重理解一下指数加权平均(exponentially weighted averages) 定义指数移动平均（EMA）也称为指数加权移动平均（EWMA），是一种求平均数的方法，应用指数级降低的加权因子。每个较旧数据的权重都呈指数下降，从未达到零。 m个数据的数据集\({[\theta_1,\theta_2,...,\theta_m]}\) ；平均

2018-07-09

5970

Deep Learning综述[下]

Image understanding with deep convolutional networks 直到2012年ImageNet大赛之前，卷积神经网络一直被主流机器视觉和机器学习社区所遗弃。2012年ImageNet大赛上卷积神经网络用来识别1000种分类的近100万张图片，错误率比之前大赛的最好成绩降低了近一半。基于卷积神经网络视觉系统的表现引起了大多数技术公司的注意，包括Google、Facebook、Microsoft、IBM、Yahoo！、Twitter 和Adobe等。许多公司包括NV

2018-06-14

4110

Deep Learning Tutorial 李宏毅（一）深度学习介绍

深度学习神经网络机器学习监督学习

大纲深度学习介绍深度学习训练的技巧神经网络的变体展望深度学习介绍深度学习介绍深度学习属于机器学习的一种。介绍深度学习之前，我们先大致了解一下机器学习。机器学习，拿监督学习为例，其本质上是要找到一个函数映射：输入数据（也就是训练样本）通过函数映射（也就是我们的机器学习算法）到输出空间上（也就是目标值，如果是分类问题，映射到某一类上）。 $$Meachine Learning \approx LookingFor A Function.$$ 那么我们如何从一个函数空间里找到目标函数呢？这里

2018-04-12

1.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态