机器学习读书笔记一

概述

最近在看周教授的《机器学习》，书中很多理论知识非常适合入门和学习。故把每一章的自己读书笔记和记录给写下来。

基本术语

机器学习：机器学习致力于研究如何利用经验来改善系统自身的性能。机器学习所研究的内容是关于在计算上从数据中产生模型的算法。 书中通过西瓜的例子生动的阐述了很多内容，比如收集了一些西瓜数据：(色泽=青绿;根蒂=蜷缩;敲声=浊响)，(色泽=乌黑;根蒂=硬挺;敲声=沉闷)，…… Data Set:记录的集合，比如这些西瓜数据。 Instance：每条记录是关于一个事件或者对象。 Attribute or Feature：事件或者对象某些方面表象的性质。 Attribute Space：属性张成的空间。 Feature Vector：属性空间中的一个示例。

D=\lbrace x_1,x_2......,x_m \rbrace,x_i= \lbrace x_{i1};x_{i2};x_{i3}......x_{id} \rbrace

D表示包含m个示例的数据集，每个示例x是d维样本空间X中的一个向量。 Hypothesis:学的模型的某种潜在规律。 根据训练数据是否拥有标记信息，学习任务分为supervised learning and unsupervised learning。分类和回归是supervised learning的代表，聚类是unsupervised learning的代表。 generalization 能力：学的模型适用于新样本或者未知数据集的能力。 Hypothesis Space：假设组成的所有空间，假设学习一个好瓜的模型，暂定好瓜由色泽、根底和敲声构成。好瓜<->(色泽=？) and （根蒂=？）and （敲声=?）,我们的任务就是通过训练数据确定？的值。 学习过程就是一个在所有假设组成的空间中（假设空间）进行搜索，搜索的目标是找到与训练集fit的假设，即能将训练数据集中的样本判断正确的假设。假设的表示一旦确定，假设的空间和规模就确定了。 假设空间的确定：依据属性的取值范围来确定假设空间。 Version Space：存在着一个与训练集一致的假设集合， inductive bias：机器学习算法在学习过程中对某种类型假设的偏好。 奥卡姆剃刀：若多个假设与观察一致，则选择最简单的那一个。 没有免费午餐定理：学习算法的期望性能一样。