首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

训练神经网络的五大算法:技术原理、内存与速度分析

【新智元导读】 训练神经网络的算法有成千上万个,最常用的有哪些,哪一个又最好?作者在本文中介绍了常见的五个算法,并从内存和速度上对它们进行对比。最后,他最推荐莱文贝格-马夸特算法。 用于神经网络中执行学习过程的程序被称为训练算法。训练算法有很多,各具不同的特征和性能。 问题界定 神经网络中的学习问题是以损失函数f的最小化界定的。这个函数一般由一个误差项和一个正则项组成。误差项评估神经网络如何拟合数据集,正则项用于通过控制神经网络的有效复杂性来防止过拟合。 损失函数取决于神经网络中的自适应参数(偏差和突触权值

09
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【揭秘】我几乎面了所有知名公司的算法岗位

    到了6月的时候,找了本科的数学教材开始微积分,线性代数和概率论的复习。主要挑选一些算法学习中常用的知识点进行回顾,如:偏微分、泰勒展开、拉格朗日函数、傅里叶变换,矩阵这块的逆矩阵、特征值与特征向量、二次型、奇异值分解、QR分解,以及概率论这块的各种分布(高斯分布和伯努利分布较重要)、概率密度、贝叶斯定理等等。同时也通过公众号文章关注到了SIGAI,在更新的文章中对很多知识可以有很好的巩固,比如:梯度下降法、SVM综述、神经网络中的各种激活函数、人脸检测算法综述、理解凸优化、牛顿法和拟牛顿法、卷积网络压缩加速、生成对抗网络等等很多和机器学习深度学习相关的知识汇总。然后为了巩固提高自己的机器学习和深度学习知识水平,就报名了SIGAI的课程。同时买了《机器学习》(西瓜书),《统计学习方法》,《深度学习》(花书)进行学习。在SIGAI的课程里,我所重点学习的部分是最优化方法,机器学习方法的原理和推导以及深度学习里的神经网络原理这一块。期间对照着书,自己学习着推导过一遍,然后跟着课程和雷老师又巩固一遍原理推导。因为这些在面试里被问到或者是手推的频率很高。

    02
    领券