本文翻译自 AI4ESS 2020 课程,并有部分修改
Artificial Intelligence for Earth System Science (AI4ESS) Summer School
Machine and Statistical Learning Fundamentals
Dorit Hammerling - CSM / NCAR
免费,并且写得很好,都有良好的代码示例
An Introduction to Statistical Learning with Applications in R
http://faculty.marshall.usc.edu/gareth-james/ISL/
数学内容较少。
The Elements of Statistical Learning
https://web.stanford.edu/~hastie/ElemStatLearn/
更偏向于数学。
统计学习(Statistical learning):大量可从数据中获取见解的工具
监督 vs 非监督:输出 + 一个或更多的输入
监督学习:只有输入,对这些输入的结构更感兴趣
本讲座将聚焦监督学习。
监督模型的最简单形式
Y=f(X)+ε
模型构成:
Y:我们感兴趣的一些变量,输出
f :关于 X 的某种固定但未知的函数
X:变量 X1,..., Xp,我们相信可能与 Y 有某种关联,输入
ε:随机误差项
机器学习的主要目标:
估计 f
监督学习的场景可以分成回归(regression)和分类(classification)两类问题:
上述类别不依赖于输入变量,输入变量即可以是定量变量,也可以是定性变量。
还有一个灰色区域,例如在逻辑或多项式回归的情况下,输出是分类的。
两个主要的原因:
我们的动机会影响我们选择模型 f 的方法!
在预测准确性和模型可解释性之间进行权衡:
更简单,更不灵活的模型通常更易于解释,但可能不如更灵活的模型准确。
预测等式的简单形式
Y^ = f^(X)
如果我们的目标仅仅是预测结果,那么可以将 f^ 当成一个黑箱。
这意味着我们不关心 f^ 的精确形式,也不关心 Xs 是如何与 Ys 关联的。
我们关心的是 准确 的预测。
我们预测的 Y^ 与真实值 Y 有多接近?
通常表示为 Y 的预测值和真实值之间的平方差,它取决于两个误差分量。
可减少的误差和不可减少的误差的分解:
Figure credit: Introduction to Statistical Learning, Figure 2.2
统计学习的重点在于最小化可减少的误差。根据定义,这对于不可减少的误差是无法做到的,这为预测精度提供了一个界限。不幸的是,在实践中这种界限几乎总是未知的。
为什么会有不可减少的误差?
我们想要理解 X 和 Y 之间的关系,特别是 Y 如何以 X1,...,Xp 的函数形式进行变化。
在这种情况下,我们 不能 将 f 作为黑箱,我们更关注它的确切形式。
推断领域中出现的典型问题:
在某些情况下,我们对预测和推断都感兴趣。
https://www2.cisl.ucar.edu/events/summer-school/ai4ess/2020/artificial-intelligence-earth-system-science-ai4ess-summer-school
https://github.com/NCAR/ai4ess-hackathon-2020