机器学习基本概念-1

Learning algorithm

ML中的算法无疑都是学习型的算法,那么什么才是学习型算法(learning algorithm)呢? 机器学习大牛Bengio给出的解释是:

A machine learning algorithm is an algorithm that is able to learn from data.

这里的learn,Mitchell(1997)给出的定义是:

A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P , if its performance at tasks in T , as measured by P , improves with experience(实践) E.

由此我们可以看出:

学习型的算法需要有能力从给定的数据中学习出能够有效地代表此数据的特征(feature)

所以一个ML system的基本构成就是:

  1. A learning algorithm
  2. Tasks
  3. Performance measure
  4. Experience
  5. Data

Task

ML出现的基本需求就是: 需要解决的任务过难,以至于无法使用一个固定的程序来解决它

Machine learning allows us to tackle tasks that are too difficult to solve with fixed programs written and designed by human beings.

那么什么是ML中的Task呢? 首先理解什么是我们在ML中常说的特征也就是feature,通俗点来说大概就是:

特征就是从some object或者event中抽取出来的可以定量表示和衡量的数学表达.

通常使用矩阵的形式来进行表达 再来说Task,Bengio给出的解释是:

Machine learning tasks are usually described in terms of how the machine learning system should process an example. An example is a collection of features that have been quantitatively measured from some object or event that we want the machine learning system to process.

说的有点抽象,实际就是我们需要解决什么问题,比如把我们的图片进行分类或者给定数据进行聚类之类的,这就是ML中的Task. 常见的比如:

  • Classification
  • Regression
  • Transcription
  • Machine translation
  • Semantic Segemention
  • Object Detection
  • Denoising
  • ………….

非常多,就不一列举了

Performance Measure

对于不同的learning algorithm,其ability不同,所以我们需要有个能够量化的衡量措施来检验之.

比如对于常见的classification来说,我们衡量某个算法的好坏的标准就是分类的准确率或者错误率. ML中我们更加关心的是model的泛化能力(generalization),也就是对于未见过的example的能力.

we care more about the performance of the model on new, previously unseen examples

但在一个具体的ML的task中,有时会存在两种困难:

  1. difficult to choose a performance measure that corresponds well to the desired behavior of the system.
  2. we know what quantity we would ideally like to measure, but measuring it is impractical.

所以在这种困难的情况下,我们通常采用的做法是:

  • design an alternative criterion
  • design a good approximation

Experience

ML的学习型算法广义上分为两类:

  • supervised
  • unsupervised

两者之间的界限是模糊的,大部分的学习型算法需要在某个数据集(dataset)上进行experience(实践). 那什么又是dataset呢?

A dataset is a collection of many examples.

dataset就是example的集合,比如像数字集合(0-9)的mnist数据集和多用途的VOC数据集等等,在计算中通常dataset会被表示为一个大的矩阵.

unsupervised的算法和supervised的算法在不同的dataset上进行experience:

  • Unsupervised learning algorithms experience a dataset containing many features, then learn useful properties of the structure of this dataset.
  • Supervised learning algorithms experience a dataset containing features, but each example is also associated with a label or target.

就写到这吧,下篇继续

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

文本特征提取方法研究

一、课题背景概述 文本挖掘是一门交叉性学科,涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大...

66811
来自专栏新智元

Bengio 最新深度学习论文:使用深度神经网络避免难解性

【新智元导读】训练基于能量的概率模型面临着难解的加和问题(intractable sums),Yoshua Bengio 和学生 Taesup Kim 只使用深...

3074
来自专栏AI研习社

Prisma 技术发展的前世今生

面向读者:没有或有一定机器学习经验并对 Prisma 之类的 app 背后的原理感兴趣的读者。比较有经验的读者可以直接参照科技树阅读文章末罗列的引用论文。 阅读...

3567
来自专栏机器之心

学界 | 新型实时形义分割网络ShuffleSeg:可用于嵌入式设备

选自arXiv 作者:Mostafa Gamal等 机器之心编译 参与:Panda 表现优良的卷积神经网络往往需要大量计算,这在移动和嵌入式设备以及实时应用上是...

4128
来自专栏CreateAMind

用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践

近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的...

2172
来自专栏大数据挖掘DT机器学习

机器学习算法经验总结

算算时间,从开始到现在,做机器学习算法也将近八个月了。虽然还没有达到融会贯通的地步,但至少在熟悉了算法的流程后,我在算法的选择和创造能力上有了不小的提升。实话...

3579
来自专栏深度学习

14种模型设计帮你改进你的卷积神经网络(CNN)

自2011年以来,深度卷积神经网络(CNN)在图像分类的工作中的表现就明显优于人类,它们已经成为在计算机视觉领域的一种标准,如图像分割,对象检测,场景标记,跟踪...

3539
来自专栏大数据文摘

从概念到应用:一文搞定数据科学和机器学习的最常见面试题

1706
来自专栏新智元

CVPR大规模行为识别竞赛连续两年夺冠,上交大详细技术分享

【新智元导读】近日,视频行为理解领域的ImageNet竞赛——ActivityNet Challenge 2018在CVPR 会议上落下了帷幕。来自上海交通大学...

410
来自专栏AI科技评论

干货 | 文本嵌入的经典模型与最新进展

AI 科技评论按:这篇文章来自自然语言处理以及机器学习专家、Huggingface 的技术负责人 Thomas Wolf,介绍了文本嵌入的重点知识和最新趋势。...

1043

扫码关注云+社区