AI人工智能、机器学习 面试题（2020最新版）

人工智能、机器学习面试题总结，侧重于理解，回答供参考，欢迎讨论。

General

深度学习（DeepLearning, DL）和机器学习（Machine Learning, ML）的关系是什么？

深度学习是机器学习的子类，是利用深度神经网络提取特征进行学习。机器学习还有其他非深度学习的技术，例如SVM、Decision Tree、NaiveBayes等。

深度学习流行的框架有哪些？各有什么特点？

TensorFlow：最主流，生态支持完备，硬件友好，同时有Google Brain研究支撑。

PyTorch：后起之秀，融合了Torch和Caffe2，和python混合编程体验好，学术界宠儿。

以及国内的PaddlePaddle，MindSpore等。

精确率（Precision）和召回率（Recall）以及F1值/分数（F1 value/score）是什么？查准率和查全率呢？

先解释缩写：

TP: TruePositive，预测为真，结果也为真的数量；

FP: FalsePositive，预测为真，结果为假的数量；

FN:False Negative，预测为假，结果为真的数量。

精确率：P =TP/(TP+FP)，西瓜书里也叫查准率；

召回率：R =TP/(TP+FN)，西瓜书里也叫查全率。

F1值：F1 = 2*(P*R)/(P+R)，精确率和召回率的调和均值。

可以看出，精确率和召回率的区别在于分母，精确率关心的是预测为真的数量中有多少真正对的（而不是其他类错误预测为这一类），而召回率关注的是这一类有多少判断正确了（而不是判断为其他类了）。直观理解：召回的意思是，如果这一类错误预测为其他类了，要找回来，即为召回。

AUC指标与precesion/recall/F1评估模型的手段有何区别，什么情况下应该用哪一种？

AUC是Area under Curve，曲线下面积。这个曲线横纵坐标分别为TPR和FPR.

TPR:True Positive Rate, 即recall; TPR = TP/(TP+FN), 表示正确分类的正样本所占所有正样本的比例；

FPR:False Positive Rate, FPR = FP/(FP+TN)，表示错误分类的负样本占所有负样本的比例。

对于同一个模型，TPR和FPR是一对跷跷板，可以通过修改阈值的方式来调节，例如调低分类为正样本的门槛，则更多的样本被分类为正样本，TP会增加，导致FPR增加；但此时，FP也会增加，导致FPR增加。

F1 score相当于是综合了precision和recall，使用默认阈值；AUC是一个模型更为全面的指标，考虑了不同的阈值。但由于AUC比较复杂，一般情况下使用F1 score就可以了。

SGD 中 S代表什么，如何理解？

S即为stochastic，随机梯度是指用来计算梯度的输入数据是随机选取的一部分（batch），而不是所有的数据。使用所有数据一方面计算量巨大，不太现实，另一方面容易陷入局部极小值难以跳出，随机batch的梯度反而增加了跳出局部极限值的可能性，从而获得更好的结果。

激活函数（ActivationFunction）有什么用处，有哪几种？

提供了非线性单元，使得整个网络变为非线性，从而能够解决各种非线性问题。

有ReLU / PReLU/ Relu6 / Sigmond / Tanh / SELU / SWISH等，目前最常用的还是ReLU, 复杂度低，效果还可以。

监督学习和无监督学习的区别？请分别举例。

监督学习必须要标注，使用标记数据牵引训练，例如LR、SVM；

无监督机器学习不需要标注，模型通过自己发现数据的内部关系，例如Kmeans。

机器学习/深度学习项目中所需的步骤？

采集数据、预处理与特征选择、选择模型、训练模型、评估模型、诊断模型、调整参数，最后是预测、上线运行。

神经网络参数初始化方法有哪些，适用范围是什么？

weight最常用的是由KaimingHe提出的MSRA，在Xavier的基础上改进。Xavier假设激活函数关于原点中心对称，而常用的ReLU并不满足该条件。MSRA初始化是一个均值为0，方差为sqrt(2/Fin)的高斯分布。Xavier初始化是一个均匀分布U[-sqrt(6/(Fin+Fout))]，Fin、Fout代表扇入、扇出，即为输入和输出的维度。

bias一般初始化为0，另外提醒一下如果conv后面接bn，可以省略bias，是等价的，有兴趣的可以自己推导一下。

因此，如果激活函数使用ReLU，则推荐使用MSRA；如果激活函数使用tanh等中心对称的函数，则使用Xavier初始化。

CV

列举深度学习中常用的分类网络、检测网络、分割网络（语义分割、多实例分割）、超分网络。

分类网络：ResNet，SENet，EfficientNet等；

检测网络：FasterRCNN，YOLO，SSD等；

分割网络：MaskRCNN、UNet等；

超分网络：SRCNN、FSRCNN等。

具体网络介绍可以关注我的公众号和博客。

ResNet解决了什么问题？结构有何特点？

ResNet提出是为了解决或缓解深度神经网络训练中的梯度消失问题。通过增加shortcut，使得梯度多了一个传递的途径，让更深的网络成为可能。

在图像处理中为什么要使用卷积神经网络（CNN）而不是全连接网络（FC）？

首先，CNN相对于FC的参数量减少非常多，对于图像这种输入维度相对较大的任务，全部使用FC不现实，另外参数量过多而数据规模跟不上非常容易过拟合，网络本身也难以训练。图像本身附近像素的关联信息很多，CNN正好能够提取一个区域数据的特征，并且能够通过不断加深扩展感受野，使得其适用于图像任务。

分类网络和检测网络的区别？

任务不同，Loss函数不同，一般分类网络使用cross entropy loss，而检测网络的loss是分类的loss和检测框回归loss的加权和。

损失函数（loss函数）有什么作用？

牵引网络的更新，梯度是loss函数相对于权重的偏导。

网络训练时为何要加正则化，有哪些手段？

目的是防止网络过拟合。

手段有：

L1/L2正则化

Dropout

Earlystop

数据增强也可以视为是一种正则化，例如图像的平移、旋转、缩放等。

如何判断网络是过拟合还是欠拟合？有哪些手段改善？

通过train和test的准确率来判断，如果train和test准确率差距非常大，即train的准确率接近100%，而test较差，说明过拟合；如果train的准确率就较差，说明欠拟合。

过拟合可以通过增加数据，或者加正则化缓解；欠拟合可以增加网络容量，例如加深或者加宽网络来改善。

BatchNormalization有什么作用？使用时需要注意什么？

BN的主要作用有：

加速网络的训练（缓解梯度消失，支持更大的学习率）

防止过拟合

降低了参数初始化的要求

使用时需要注意train时更新bn的相关参数，而test时要固定，一般有is_training的flag.

梯度爆炸有哪些解决办法？

梯度截断（gradientclipping）

良好的参数初始化策略

调小lr