专栏首页csxiaoyao深入理解机器学习:从原理到算法 学习笔记-第1周 02简易入门

深入理解机器学习:从原理到算法 学习笔记-第1周 02简易入门

第二章分析并证明学习问题中需要考虑的因素。以木瓜为例,要学会判断木瓜是否好吃,需要观察木瓜的颜色和软硬程度以及亲口尝试来确定是否好吃。

首先是描述一个能够刻画类似学习任务的形式化模型。

2.1 一般模型——统计学习理论框架

1 学习器的输入

领域集:X,例如所有木瓜的集合。 标签集:Y,目前仅讨论二元集合,如{0,1}或者{−1,+1},表示木瓜好吃和不好吃。 训练数据:形如S = ((x 1 ,y 1 )…(x m ,y m ))的有限序列,其中的元素以X ×Y形式成对出现,S称为训练集。

2 学习器的输出

  学习器输出预测规则h:X→Y,该函数也称为预测器、假设或分类器,例如预测某农贸市场的木瓜是否好吃。A(S)表示学习算法A在给定的训练序列S的情况下得出的假设。

3 一个简单的数据生成模型

  训练数据如何产生?首先假设实例(木瓜)根据某些概率分布D(岛上环境)采样获得。此时学习器并不知道此概率分布的任何信息。假设存在(学习器并不知道)正确的标记函数f:X→Y,使对任意i,yi=f(xi),学习器的任务仅需要指出样本的正确标签(木瓜是否好吃)。综上,训练集S的产生过程是:首先根据概率分布D采集样本点xi,然后利用正确的标记函数f为其赋予标签。(h是预测结果,f是已知关系函数)

4 衡量成功

  分类器(预测)误差:即h的误差,也就是h(x)!=f(x)的概率,其中x是根据分布D采集的随机样本。   形式上,给定一个领域子集A ⊂ X,概率分布D,D(A)决定了取到x∈A的概率,A更像一个表达式π:X→{0,1},即A= {x∈X:π(x) = 1},判断A是否在X中,此时D(A)可用P x∼D [π(x)]表示。 预测准则h:X→Y的错误率定义为: L D,f (h)=Px∼D [h(x)!=f(x)]= D({x:h(x)!=f(x)})   其中x是X的一个随机样本,L D,f (h)也称为泛化误差、损失或h的真实误差。L(loss)代表误差。

5 注意事项:学习器可接触到的信息

  分布D和标记函数f对学习器都是未知的,学习者需要观察训练集。

2.2 经验风险最小化

  由于学习器不知道D和f,所以无法直接获知真实误差,只能计算出训练误差:

  其中[m] = {1,…,m},从预测器h出发到最小化LS(h)称为经验最小化,简称ERM。ERM可能会出现过拟合,LS(h)小不代表L D,f (h)小。

2.3 考虑归纳偏置的经验风险最小化

  修正ERM通常的解决方案是在一个受限的搜索空间中使用ERM,学习器应该在接触到数据之前提前选择预测器的集合(假设类H),ERMH学习器根据在S上的最小化概率误差,利用ERM规则选择选择一个h∈H:

  因为这种选择决定于学习器接触数据之前,因此需要一些学习问题的先验知识,虽然选择受限的假设类可以防止过拟合,但是也带来了更强的归纳偏置。   对于一个类来说,最简单的一种限制就是限定其势的上界(H中h的个数)。机器学习中通常假设S中训练样本是从D中独立同分布抽取的,但是仍然可能存在着训练样本对于分布D完全不具有代表性,因此我们将采样到非代表性样本的概率表示为δ,同时(1− δ) 称为置信参数。   由于无法摆在标签预测的绝对的准确性,引入一个参数评价预测的质量,称为精度参数,记为ε,如果L D,f (hs)<=ε,我们认为得到了一个近似正确的预测。

误导集

总结:对于足够大的m,由ERMH规则生成的有限假设类将会概率(置信度为1 − δ)近似(误差上界为ε)正确。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • golang 利用指针导出变量

    csxiaoyao
  • 小程序开发总结01 - 模块化开发流程规范

    H5 的开发涉及开发工具、前端框架、模块管理工具、任务管理工具、UI库、接口调用工具、各种浏览器运行环境等,尽管H5丰富的开发环境给了开发者更加灵活的配置方案,...

    csxiaoyao
  • 浏览器端用JS创建和下载文件

    csxiaoyao
  • Python神图

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    GavinZhou
  • CentOS安装Lychee图床,搭建属于你自己的图床!

    当你完成了以上步骤,Lychee就已经安装完成了,只需要打开页面设置填写数据库配置即可。

    InitCool
  • 双轨制奖金分配系统,兼顾技术人员老龄化问题

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

    hotqin888
  • C++核心准则E.31:正确排列catch子句

    catch-clauses are evaluated in the order they appear and one clause can hide ano...

    面向对象思考
  • [PHP] strpos stripos strrpos strripos的区别

    stripos — 查找字符串首次出现的位置(不区分大小写),应使用 === 运算符来测试此函数的返回值

    陶士涵
  • Go语言入门(四)Map&函数

    alexhuiwang
  • 关于Java变量的可见性问题

    itliusir

扫码关注云+社区

领取腾讯云代金券