1、L1范式和L2方式的区别
(1)L1范式是对应参数向量绝对值之和
(2)L1范式具有稀疏性
(3)L1范式可以用来作为特征选择,并且可解释性较强(这里的原理是在实际Loss function中都需要求最小值,根据L1的定义可知L1最小值只有0,故可以通过这种方式来进行特征选择)
(4)L2范式是对应参数向量的平方和,再求平方根
(5)L2范式是为了防止机器学习的过拟合,提升模型的泛化能力
2、优化算法及其优缺点
温馨提示:在回答面试官的问题的时候,往往将问题往大的方面去回答,这样不会陷于小的技术上死磕,最后很容易把自己嗑死了。
(1)随即梯度下降
优点:可以一定程度上解决局部最优解的问题
缺点:收敛速度较慢
(2)批量梯度下降
优点:容易陷入局部最优解
缺点:收敛速度较快
(3)mini_batch梯度下降
综合随即梯度下降和批量梯度下降的优缺点,提取的一个中和的方法。
(4)牛顿法
牛顿法在迭代的时候,需要计算Hessian矩阵,当维度较高的时候,计算Hessian矩阵比较困难。
(5)拟牛顿法
拟牛顿法是为了改进牛顿法在迭代过程中,计算Hessian矩阵而提取的算法,它采用的方式是通过逼近Hessian的方式来进行求解。
(6)共轭梯度
(7)启发式的优化算法
启发式的优化算法有遗传算法,粒子群算法等。这类算法的主要思想就是设定一个目标函数,每次迭代根据相应的策略优化种群。直到满足什么样的条件为止。
3、RF与GBDT之间的区别
(1)相同点
(2)不同点
(3)RF:
优点:
缺点:
(4)GBDT
优点:
缺点:
4、SVM的模型的推导
5、SVM与树模型之间的区别
(1)SVM
(2)树模型
6、梯度消失和梯度膨胀
(1)梯度消失:
(2)梯度膨胀
7、LR的原理和Loss的推导