机器学习常用专业术语整理(一)

A typical explanation for machine learning

“A computer program is said to learn fromexperienceEwithrespect to some class of tasksTandperformance measurePifits performance at tasks inT,as measured byP, improves withexperienceE.”

由于近期我的上司要求我整理机器学习相关的一些知识点,我便从机器学习的基础开始,先整理了机器学习常用的专业术语(参考书籍《统计学习方法——李航》,参考百度百科,参考网络资料),现分享如下:

1. 监督学习(supervised learning)

监督学习的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测。监督学习的数据集中的每个样本有相应的“正确答案”(即标签),根据这些样本做出预测,分有两类:回归问题和分类问题

2. 非监督学习(unsupervised learning)

非监督学习的数据集跟监督学习不同,没有任何标签,即没有相应的“正确答案”

从数据集中可以通过非监督学习得到数据的某种结构,可能是把数据分成两个不同的聚集簇,称为聚类算法

3.半监督学习(semi-supervised learning,SSL)

半监督学习是模式识别和机器学习领域研究的重点问题,是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据,以及同时使用标记数据,来进行模式识别工作

4. 强化学习(reinforcement learning,RL)

强化学习就是智能系统从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大。强化学习不同于连接主义学习中的监督学习,主要表现在教师信号上,强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号),而不是告诉强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。由于外部环境提供的信息很少,RLS必须靠自身的经历进行学习。通过这种方式,RLS在行动-评价的环境中获得知识,改进行动方案以适应环境

5. 模型

在学习过程中,学习系统利用给定的训练数据集,通过学习(或训练)得到一个模型,表示为条件概率分布P^(Y|X)或决策函数Y=f^(X)。条件概率分布P^(Y|X)或决策函数Y=f^(X)描述输入与输出随机变量之间的映射关系

6. 策略

模型选择的准则,即学习的策略

7. 算法

实现求解最优模型的算法,即学习的算法

8. 输入空间(input space)

输入所有可能取值的集合分别称为输入空间

9. 输出空间(output space)

输出所有可能取值的集合分别称为输出空间

10. 实例(instance)

实例是每个具体的输入

11. 特征(feature)

特征是反映对象在某方面的表现或性质

12. 特征向量(feature vector)

每个具体的输入都由特征向量表示,输入实例x的特征向量记作

13. 特征空间(feature space)

所有特征向量存在的空间称为特征空间,特征空间的每一维对应于一个特征

14. 假设空间(hypothesis space)

模型属于由输入空间到输出空间的映射的集合,这个集合叫做假设空间,模型的假设空间包含所有可能的条件概率分布P(Y|X)或决策函数Y=f(X)

15. 条件概率分布P(Y|X)

表示的模型为概率模型

16. 决策函数(decision function)Y=f(X)

表示的模型为非概率模型

17. 参数空间(parameter space)

由参数向量决定的假设空间的集合称为参数空间

18. 损失函数(loss function)/代价函数(costfunction)

损失函数或代价函数度量输出的预测值与真实值预测错误的程度,度量模型一次预测的好坏,损失函数值越小,模型就越好

损失函数是预测值和真实值的非负实值函数,记作,常用的损失函数有:

① 0-1损失函数(0-1 loss function)

② 平方损失函数(quadratic loss function)

③ 绝对损失函数(absolute loss function)

④ 对数损失函数(logarithmic loss function)或对数似然损失函数(log-likelihoodloss function)

19. 风险函数(risk function)/期望损失(expectedloss)

损失函数的期望是:

这是理论上模型关于联合概率分布的平均意义下的损失,称为风险函数或期望损失,度量平均意义下模型预测的好坏

20. 经验风险(empirical risk)/经验损失(empirical loss)

模型关于训练数据集的平均损失称为经验风险或经验损失,记作

期望风险是模型关于联合分布的期望损失,经验风险是模型关于训练样本集的平均损失

21. 经验风险最小化(empirical risk minimization,ERM)

经验风险最小化的策略认为,经验风险最小的模型就是最优的模型:

当样本容量足够大时,经验风险最小化能保证有很好的学习效果。在现实中,极大似然估计(maximum likelihoodestimation)就是经验风险最小化的一个例子

当样本容量很小时,经验风险最小化学习的效果未必会很好,可能会产生“过拟合”现象

22. 结构风险最小化(structure risk minimization,SRM)

结构风险最小化是为了防止过拟合而提出来的策略。结构风险最小化等价于正则化(regularization)

结构风险在经验风险上加上表示模型复杂度的正则化项(regularizer)或罚项(penalty term)。结构风险为:

其中为模型的复杂度,是定义在假设空间上的泛函。模型越复杂,复杂度越大;模型越简单,复杂度就越小。复杂度表示了对复杂模型的惩罚。是系数,用以权衡经验风险和模型复杂度。结构风险小需要经验风险与模型复杂度同时小

结构风险最小化:

结构风险最小化的实例有贝叶斯估计中的最大后验概率估计(maximumposterior probability estimation,MAP)

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180410G1CL1400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券