TensorFlow从0到1丨第4篇:第一个机器学习问题

上一篇机器人类学习的启示借鉴人类学习的模式,描绘了数据驱动的机器学习方法论:通过大量数据来确定模型,从而让模型具有预测价值。本篇提出第一个机器学习问题,进一步看清楚机器学习的具体形式。

平行世界

在宇宙的一个平行世界中,天空是平面的,人们只能看到位于第一象限的星星。他们发现天上最亮的那颗星在缓慢的移动,于是收集了近千年以来所有天文学家的观测数据,共得到4次观测记载:

  • 2200年,(22, 18)
  • 2500年,(25, 15)
  • 2800年,(28, 12)
  • 3000年,(30, 10)

由于这颗星的意义非凡,人们想计算出这颗星的运行轨道,并预测当4000年来临时它是否会消失。

图1.平面星空

从数据得到模型

图2.人类的学习

先套用下人类的学习模式:

  • 获取数据:仅有的4次记录全部拿到;
  • 分析数据:将4次记录全部画在直角坐标系平面上,发现全部落在一条直线上;
  • 建立模型:利用函数知识得出一般的直线函数式为y=ax+b,但是a,b未知;
  • 预测未知:一旦知道了a和b的确切值,就得到了运行轨迹(直线)的模型,根据模型即可开展预测,比如给定任意的x坐标,即可得出y坐标。

到此,第一个机器学习问题就是直线模型的参数a和b如何得出?

对了,平行世界的人们还不会解二元一次方程组。他们要用数据去训练这个模型。

损失函数

他们希望有个算法,能找到模型的a和b,以至于模型的训练输出y,能够拟合所有的训练输入x。为了量化该目标,他们定义了损失函数:

图3.B-P-F-1 损失函数

对函数的形式做一些说明:

  • C是变量a和b的二元函数,而且是二次函数,C ≥ 0;
  • n是训练数据的个数;
  • output表示当输入为x时当前模型的实际输出;
  • y(x)表示训练输入为x时,对应的训练输出y。

这个损失函数的意义何在呢?

以终为始,假设找到了正确的a和b,确定了模型y=ax+b,那么对于任一x的取值,损失函数中的output(x)将等于y(x),即y(x)-output(x) = 0,此时“损失”为0。换句话说,确定最终a和b的过程,就是让损失函数达到其最小值的过程。此时,训练输出y“拟合了”训练输入x。

损失函数的形式,也是常见的一种统计定义,被称为均方误差MSE(Mean Squared Error),在这个语境下,y(x)被称为期望值,output(x)为观测值。任何误差都会被放大并累积起来。

到此,问题好像变的复杂了。没错,待确定模型y=ax+b虽然是一个一元一次函数,但是其损失函数却是二元二次函数。从函数图形上看它是一个曲面,而函数的最小值点处的a和b的取值,就是我们的线性模型的最佳参数。

图4.二次曲面

训练

他们找了台机器准备开始训练模型,4次观测数据全部用于训练(22, 18),(25, 15),(28, 12),(30, 10)。

先给个初始值,让a = -1, b = 50,看看“损失”是多少?

C(-1, 50) = 1/8 x [(18 - (-22 + 50))2+ (15 - (-25 + 50))2+ (12 - (-28 + 50))2+ (10 - (-30 + 50))2] = 50。

看来离“损失”为0还有差距。

换个值接着练,让a = -1, b = 40,再计算下“损失”:

C(-1, 40) = 1/8 x [(18 - (-22 + 40))2+ (15 - (-25 + 40))2+ (12 - (-28 + 40))2+ (10 - (-30 + 40))2] = 0。

运气不要太好!“损失”降至0,此时a = -1, b = 40。

确定模型并预测

训练做了2次,就找到了损失函数的最小值,这背后有种神秘的力量,指引(a,b)从(-1,50)迁移到了(-1,40)。不管怎样,天空最亮的那颗星的运行轨道模型总算是建立好了:y = -x + 40。这将载入史册,成为天文学的一个里程碑。

接下来完成预测吧:4000年来临时它会消失吗?

基于历史数据:

  • 2200年,(22, 18)
  • 2500年,(25, 15)
  • 2800年,(28, 12)
  • 3000年,(30, 10)

可以看出该星的x方向的速度是1/100年,那么到了4000年时,其位置的x坐标为:30 + 1/100年 x (4000-3000) = 40。

将x = 40,代入模型y = -x + 40,得到y = 0。就是说4000年来临时,该星的位置坐标是(40, 0)。预测非常悲观:届时它就要消失在第一象限之外了!

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【Python环境】Python分类现实世界的数据

引入 一个机器可以根据照片来辨别鲜花的品种吗?在机器学习角度,这其实是一个分类问题,即机器根据不同品种鲜花的数据进行学习,使其可以对未标记的测试图片数据进行分类...

2566
来自专栏开心的学习之路

神经网络体系搭建(一)——神经网络

本篇是神经网络体系搭建的第一篇,解决体系搭建的前四个问题,详见神经网络体系搭建(序) 神经网络 ? 最简单的神经网络 神经网络的定义就不再赘述,直接从最简单的神...

31510
来自专栏数据派THU

手把手教你在多种无监督聚类算法实现Python(附代码)

本文简要介绍了多种无监督学习算法的 Python 实现,包括 K 均值聚类、层次聚类、t-SNE 聚类、DBSCAN 聚类。

1125
来自专栏机器学习算法与Python学习

向量化与HashTrick在文本挖掘中预处理中的体现

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 前言 在(文本挖掘的分词原理)中,我...

3607
来自专栏大数据挖掘DT机器学习

隐马尔科夫模型 和动态贝叶斯网络

(一):定义及简介: 介绍(introduction) 通常我们总是对寻找某一段时间上的模式感兴趣,这些模式可能出现在很多领域:一个人在使用电脑的时候使用的命...

4135
来自专栏专知

【机器学习实战】理解Scikit-Learn中分类性能度量指标

【导读】本文是数据科学家Andrew Long撰写的技术博文,介绍了在分类模型中需要用到的度量标准以及对应Python中Scikit-Learn库实战。本文就举...

771
来自专栏量化投资与机器学习

【机器学习研究】隐马尔可夫模型 (HMM) 最认真研究

隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然...

3699
来自专栏WD学习记录

机器学习 学习笔记(17) 集成学习

集成学习通过构建并结合多个学习器来完成学习任务,有时候也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committe...

862
来自专栏机器之心

教程 | 一文简述多种无监督聚类算法的Python实现

1854
来自专栏大数据挖掘DT机器学习

隐马尔可夫模型攻略

隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然...

35011

扫码关注云+社区