专栏首页SAMshare用随机梯度下降来优化人生!

用随机梯度下降来优化人生!

作者:李沐,CMU,亚马逊首席科学家

1.要有目标。你需要有目标。短的也好,长的也好。认真定下的也好,别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。

2.目标要大。不管是人生目标还是目标函数,你最好不要知道最后可以走到哪里。如果你知道,那么你的目标就太简单了,可能是个凸函数。你可以在一开始的时候给自己一些小目标,例如期末考个80分,训练一个线性模型。但接下来得有更大的目标,财富自由也好,100亿参数的变形金刚也好,得足够一颗赛艇。

3.坚持走。不管你的目标多复杂,随机梯度下降都是最简单的。每一次你找一个大概还行的方向(梯度),然后迈一步(下降)。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去,能多走几步就多走几步。

4.痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走,因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。

5.可以躺平。你用你内心的激情来迈步子。步子太小走不动,步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。

6.四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化,那么要么你的目标太简单,要么你困在你的舒适区了。随机梯度下降的第一个词是随机,就是你需要四处走走,看过很多地方,做些错误的决定,这样你可以在前期迈过一些不是很好的舒适区。

7.快也是慢。你没有必要特意去追求找到最好的方向和最合适的步子。你身边当然会有幸运之子,他们每一步都在别人前面。但经验告诉我们,随机梯度下降前期进度太快,后期可能乏力。就是说你过早的找到一个舒适区,忘了世界有多大。所以你不要急,前面徘徊一段时间不是坏事。成名无需太早。

8.赢在起点。起点当然重要。如果你在终点附近起步,可以少走很多路。而且终点附近的路都比较平,走着舒服。当你发现别人不如你的时候,看看自己站在哪里。可能你就是运气很好,赢在了起跑线。如果你跟别人在同一起跑线,不见得你能做更好。

9.很远也能到达。如果你是在随机起点,那么做好准备前面的路会非常不平坦。越远离终点,越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们,不管起点在哪里,最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了,那么你随机一个起点,调整步子节奏,重新来。

10.独一无二。也许大家有着差不多的目标,在差不多的时间毕业买房结婚生娃。但每一步里,每个人内心中看到的世界都不一样,导致走的路不一样。你如果跑多次随机梯度下降,在各个时间点的目标函数值可能都差不多,但每次的参数千差万别。不会有人关心你每次训练出来的模型里面参数具体是什么值,除了你自己。

11.简单最好 。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准,想步子迈最大。但如果你的目标很复杂,简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前,每次抬头瞄一眼世界,快速做个决定,然后迈一小步。小步快跑。只要你有目标,不要停,就能到达。

本文分享自微信公众号 - SAMshare(gh_8528ce7b7e80),作者:李沐

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 反向用随机梯度下降来优化人生

    看完李沐老师的文章亚马逊首席李沐 | 用随机梯度下降来优化人生,深受感慨,本人阅读大量文献,提出了下面“反向用随机梯度下降来优化人生“的方案。下文与李沐老师的文...

    abs_zero
  • 李沐:用随机梯度下降来优化人生!

    李沐大神最近在知乎上发表了一篇文章,用做数据科学的角度来理解人生,看完还是有些个人启发的,给大家分享一下。

    Python数据科学
  • 李沐:用随机梯度下降来优化人生

    你需要有目标。短的也好,长的也好。认真定下的也好,别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。

    godweiyang
  • 【好文必看】李沐:用随机梯度下降来优化人生!

    1.要有目标。你需要有目标。短的也好,长的也好。认真定下的也好,别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。

    演化计算与人工智能
  • 李沐新文引热议!用随机梯度下降优化人生最优解是啥?

    众所周知,梯度下降法(Gradient descent)是神经网络最常用的一阶优化算法。

    新智元
  • 凸优化(4)——次梯度案例,加速梯度法,随机梯度下降法,近端梯度法引入

    这一节我们开始把我们之前与梯度法和次梯度法有关的,但是还没有说完的部分说完。还有篇幅的话,就再谈一谈随机梯度下降方法。

    学弱猹
  • Keras SGD 随机梯度下降优化器参数设置方式

    Keras 中包含了各式优化器供我们使用,但通常我会倾向于使用 SGD 验证模型能否快速收敛,然后调整不同的学习速率看看模型最后的性能,然后再尝试使用其他优化器...

    砸漏
  • 神经网络优化算法-mini-batch、Adam、momentum、随机梯度下降

    神经网络训练过程是对所有m个样本,称为batch,如果m很大,例如达到百万数量级,训练速度往往会很慢。

    lovelife110
  • 机器学习优化算法——梯度下降

    在机器学习算法中,优化算法有很多,其中梯度下降法是个重头戏,如果说理解不到梯度下降法的原理,那很多算法的核心都难以掌握,今天我们就来谈谈何为“梯度下降法”。 我...

    企鹅号小编
  • Using Stochastic Gradient Descent for classification使用随机梯度下降来分类

    As was discussed in Chapter 2, Working with Linear Models, Stochastic Gradient D...

    到不了的都叫做远方
  • 【干货】深度学习必备:随机梯度下降(SGD)优化算法及可视化

    【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机...

    新智元
  • 机器学习优化算法:梯度下降(Gradient Descent)

    优化算法 ( Optimization Algorithm ) 是机器学习理论中重要的组成部分,每年 ICML 会议中,总会有很多关于优化算法 Paper 以及...

    游遵文
  • 机器学习笔记(八)——随机梯度上升(下降)算法调优

    上一篇文章对逻辑回归的原理和基本思想做了一些简要介绍,并通过引入Sigmoid函数和梯度公式成功推导出了梯度上升和梯度下降公式,上文分类实例是依据全批量提升上升...

    奶糖猫
  • 【干货】机器学习最常用优化之一——梯度下降优化算法综述

    【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机...

    新智元
  • 理解梯度下降在机器学习模型优化中的应用

    认识梯度下降算法 这篇博客的内容是为了介绍梯度下降算法在模型优化中的作用,也就是说,正常的顺序是我们要学习一个模型(确定模型参数),在优化这么未知模型的时候,使...

    chaibubble
  • Andrew Ng机器学习课程笔记--week10(优化梯度下降)

    本周主要介绍了梯度下降算法运用到大数据时的优化方法。 一、内容概要 Gradient Descent with Large Datasets Stochast...

    marsggbo
  • 【技术分享】机器学习优化算法—梯度下降(Gradient Descent)

    [1] 李航,统计学习方法 [2] An overview of gradient descent optimization algorithms [3] Op...

    腾讯云TI平台
  • Using stochastic gradient descent for regression使用随机梯度下降进行回归分析

    In this recipe, we'll get our first taste of stochastic gradient descent. We'll ...

    到不了的都叫做远方
  • 教程 | 从头开始:用Python实现带随机梯度下降的Logistic回归

    选自machine learning mastery 机器之心编译 参与:Jane W、Panda logistic 回归是一种著名的二元分类问题的线性分类算...

    机器之心

扫码关注云+社区

领取腾讯云代金券