周志华《机器学习》笔记(一)

一、基本术语

数据集:一组记录的集合

样本/示例:每条记录是关于一个事件或对象的描述

属性/特征:反映事件或对象在某方面的表现或性质的事项

属性值:属性上的取值

样本空间:属性张成的空间

特征向量:将属性视为一个多维坐标,样本就是坐标系里的每个点,所以样本也可称为特征向量

学习/训练:从数据中学习得到模型的过程

训练数据:训练过程中使用的数据,集合称之为“训练集”

假设:学得模型对应了数据某种潜在规律,这种潜在规律自身,是“真实”

标记:训练样本的结果信息

样例:拥有了标记信息的示例

预测的是离散值,称之为“分类”,连续值是“回归”

测试:学得模型后使用其进行预测的过程,被预测的样本是“测试集”

cluster:将训练集的样本分为若干组

学习任务:有监督学习(分类和回归),无监督学习(聚类)

泛化:学得模型适用于新样本的能力

概念学习:也就是通过对样本的学习,获得了某种“概念”,可以通过这种概念去进行简单判断,学习过程就是在一个所有假设组成的空间搜索,搜索找到与训练集匹配的“假设”,也就是概念

归纳偏好:算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必有其归纳偏好,否则就不会产生确定的结果。

“没有免费的午餐定理”:任何学习算法的总误差与算法本身无关。前提是:所有的“问题”出现的机会相同,或者同等重要。

这个意义在于:脱离实际谈算法优劣是没有意义的

机器学习历史简要归纳:

二十世纪五十年代到七十年代初:“推理期”,也就是认为机器拥有逻辑推理能力,就拥有了智能

二十世纪七十年代中期:“知识期”,使机器拥有知识,也就是所谓的“专家系统”

二十世纪八十年代:机器学习成为独立的学科,“从样例中学习”,符号主义(决策树和基于逻辑的学习)

二十世纪九十年代中期以前:基于神经网络的连接主义学习,“试错性”,依赖于调参

二十世纪九十年代中期:“统计学习”,支持向量机,核技巧

二十一世纪初:“深度学习”,原因是运算力和数据多了

原文发布于微信公众号 - 鸿的学习笔记(shujuxuexizhilu)

原文发表时间:2017-08-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【干货】基于注意力机制的神经匹配模型用于短文本检索

【导读】在基于检索的问答系统中,很重要的一步是将检索到的答案进行排序得到最佳的答案。在检索到的答案比较短时,对答案进行排序也成为了一个难题。使用深度学习的方法,...

7328
来自专栏自学笔记

机器学习可行性与VC dimension

在银行评估贷款申请人的授信请求前,会进行风险评估。符合申请则通过,反之驳回。长时间的数据和申请使得银行从中找到了一些规律并开始learning,所以风险评估就是...

2274
来自专栏企鹅号快讯

腾讯提出自适应图卷积神经网络,接受不同图结构和规模的数据

选自arXiv 作者:Ruoyu Li等 机器之心编译 参与:路雪 近日,AAAI 2018 发布接收论文列表,腾讯 AI Lab 共入选 11 篇。在论文《A...

4076
来自专栏人工智能

自然语言处理的神经网络模型初探

深度学习(Deep Learning)技术对自然语言处理(NLP,Natural Language Processing)领域有着巨大的影响。

1.2K11
来自专栏专知

36页最新《深度学习在推荐系统上的应用》综述论文,209篇参考论文

【导读】随着在线信息量的不断增长,推荐系统已成为克服此类信息过载的有效策略。鉴于其在许多网络应用中的广泛采用,以及其改善与过度选择相关的许多问题的潜在影响,推荐...

2232
来自专栏企鹅号快讯

你所不能不知道的CNN

说起CNN,最初人们想到的都是某电视台,但等过几年,人们想起的多半是深度学习了。 应该说, CNN是这两年深度学习风暴的罪魁祸首, 自2012年, 正是它让打入...

4688
来自专栏JasonhavenDai

统计学习方法之朴素贝叶斯1.概述2.基础知识3.基本方法4.参数估计5.简单实现

1.概述 朴素贝叶斯分类是贝叶斯分类器的一种,贝叶斯分类算法是统计学的一种分类方法,利用概率统计知识进行分类,其分类原理就是利用贝叶斯公式根据某对象的先验概率计...

3968
来自专栏AI科技大本营的专栏

一文了解迁移学习经典算法

迁移学习(Transfer Learning)目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。

1332
来自专栏IT派

学会这10种机器学习算法你才算入门

可以说,机器学习从业者都是个性迥异的。虽然其中一些人会说“我是X方面的专家,X可以在任何类型的数据上进行训练”,其中,X =某种算法;而其他一些人则是“能够在适...

1090
来自专栏PPV课数据科学社区

贝叶斯、概率分布与机器学习

一. 简单的说贝叶斯定理: 贝叶斯定理用数学的方法来解释生活中大家都知道的常识 形式最简单的定理往往是最好的定理,比如说中心极限定理,这样的定理往往会成为某一个...

35510

扫码关注云+社区