本文翻译自Sebastian Ruder的“An overview of gradient descent optimization algoritms”，作者首先在其博客中发表了这篇文章，其博客地址为：An overview of gradient descent optimization algoritms，之后，作者将其整理完放在了arxiv中，其地址为：An overview of gradient descent optimization algoritms，在翻译的过程中以作者发布在Arxiv
上一期，我们一起学习了TensorFlow在训练深度网络的时候怎么解决梯度消失或梯度爆炸的问题，以及怎么尽可能的减少训练时间。
在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数ll，接下来便是通过优化算法对损失函数ll进行优化，以便寻找到最优的参数θ\theta 。在求解机器学习参数θ\theta 的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。
一、梯度下降法 在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数ll，接下来便是通过优化算法对损失函数ll进行优化，以便寻找到最优的参数θ\theta 。在求解机器学习参数θ\theta 的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。 梯度下降法有很多优点，其中，在梯度下降法的求解过程中，只需求解损失函数的一阶导数，计算的代价比较小，这使得梯度下降法能在很多大规模数据集上得到应用。梯度下降法的含义是通过当前点的梯度方向寻找到新的迭代点。 二
里面对 BGD，SGD，MBGD，Adagrad，Adadelta，RMSprop，Adam 进行了比较， 今天对其中的 mini-batch 梯度下降 作进一步详解。
本术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。 本文中每个释义中的加粗概念都可以在本文中检索到。 建议收藏~ A/B 测试 (A/B testing) 一种统计方法，用于将两种或多种技术进行比较，通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好，而且还有助于了解相应差异是否具有显著的统计意义。A/B 测试通常是采用一种衡量方式对两种技术进行比较，但也适用于任意有限数量的技术和衡量方式。 准确率 (accuracy) 分类模型的正确预测所占的比
一种统计方法，用于将两种或多种技术进行比较，通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好，而且还有助于了解相应差异是否具有显著的统计意义。A/B 测试通常是采用一种衡量方式对两种技术进行比较，但也适用于任意有限数量的技术和衡量方式。
本文介绍了梯度下降算法的起源、批量梯度下降、随机梯度下降和小批量梯度下降，以及它们在机器学习中的重要性。通过这些算法，可以优化模型权系数，从而提高模型的性能。
作者：董超 来源：腾讯云技术社区「腾云阁」 上一篇文章我们介绍了 MxNet 的安装，但 MxNet 有个缺点，那就是文档不太全，用起来可能是要看源代码才能理解某个方法的含义，所以今天我们就介绍一下 TensorFlow，这个由谷歌爸爸出品的深度学习框架，文档比较全～以后的我们也都使用这个框架～ 0x00 概要 TensorFlow是谷歌爸爸出的一个开源机器学习框架，目前已被广泛应用，谷歌爸爸出品即使性能不是最强的（其实性能也不错），但绝对是用起来最方便的，毕竟谷歌有Jeff Dean坐镇，这波稳。 0x
本文介绍了梯度下降算法的原理、优缺点以及应用。梯度下降算法是一种用于优化目标函数的迭代方法，通过计算目标函数的梯度来更新参数。该算法有批量梯度下降、随机梯度下降和小批量梯度下降三种形式。优点是计算简单、易于实现；缺点是可能会陷入局部最优解。在机器学习和深度学习领域，梯度下降算法被广泛应用于训练模型。
【新智元导读】Google 工程教育团队已经发布了多语种的 Google 机器学习术语表，该术语表中列出了一般的Machine Learning术语和 TensorFlow 专用术语的定义。语言版本包
AiTechYun 编辑：xiaoshan 为了帮助大家更好的了解机器学习，谷歌在上周推出了一系列免费的AI课程，同时还附带了一个详细地机器学习术语库。 本术语库中列出了一般的机器学习术语和 Tens
Google 工程教育团队已经发布了多语种的 Google 机器学习术语表，该术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。语言版本包括西班牙语，法语，韩语和简体中文。 h
https://developers.google.com/machine-learning/crash-course/glossary 机器学习术语表 本术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。 A A/B 测试 (A/B testing) 一种统计方法，用于将两种或多种技术进行比较，通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好，而且还有助于了解相应差异是否具有显著的统计意义。A/B 测试通常是采用一种衡量方式对两种技术进行比较，但
来源 | TensorFlow Google 工程教育团队已经发布了多语种的 Google 机器学习术语表，该术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。语言版本包括西班
源 | TensorFlow 回复 20180320 下载PDF版 Google 工程教育团队已经发布了多语种的 Google 机器学习术语表，该术语表中列出了一般的机器学习术语和 TensorFlo
该文章介绍了如何通过Python和Keras框架实现线性回归模型，并使用数据集对模型进行训练和评估。同时，文章还探讨了如何使用Keras的优化器实现随机梯度下降，以及如何使用TensorBoard查看模型的训练过程，并分析了模型的收敛速度和准确率。
该文章介绍了如何通过Python和Keras框架实现一个简单的深度学习模型，并使用该模型对MNIST数据集进行分类。首先，介绍了Keras是什么以及它的主要特点，然后详细讲解了如何利用Keras实现一个简单的深度学习模型。最后，通过实例演示了如何使用该模型对MNIST数据集进行分类。
梯度下降法是一种常用的一阶优化方法，是求解无约束优化问题最简单、最经典的方法之一。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
