首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    自动微分技术

    几乎所有机器学习算法在训练或预测时都归结为求解最优化问题,如果目标函数可导,在问题变为训练函数的驻点。通常情况下无法得到驻点的解析解,因此只能采用数值优化算法,如梯度下降法,牛顿法,拟牛顿法。这些数值优化算法都依赖于函数的一阶导数值或二阶导数值,包括梯度与Hessian矩阵。因此需要解决如何求一个复杂函数的导数问题,本文讲述的自动微分技术是解决此问题的一种通用方法。关于梯度、Hessian矩阵、雅克比矩阵,以及梯度下降法,牛顿法,拟牛顿法,各种反向传播算法的详细讲述可以阅读《机器学习与应用》,清华大学出版社,雷明著一书,或者SIGAI之前的公众号文章。对于这些内容,我们有非常清晰的讲述和推导。

    03

    理解计算:从根号2到AlphaGo 第5季 导数的前世今生

    这段外表看起来有点像区块链地址(16进制地址)的乱码,第一次让接近神的牛顿爵士不得不以一种密码学的方式声明他对另一项重要研究的首发权,而这一次,他的对手则是当时欧洲大陆数学的代表人物,戈特弗里德·威廉·莱布尼茨,如图1所示。在科学史上,没有哪一个争论能够和牛顿与莱布尼茨的争论相比较,因为他们争夺的是人类社会几乎所有领域中无可取代的角色,反应变化这一最普遍现象极限的理论:微积分。 对教师而言,在大学的微积分教学很多都流于机械,不能体现出这门学科是一种震撼心灵的智力奋斗的结晶。对很多同学而言,回忆起高等数学中微积分的内容,简直是一段不堪回首的往事。

    01
    领券