TensorFlow从0到1丨第4篇:第一个机器学习问题

上一篇机器人类学习的启示借鉴人类学习的模式,描绘了数据驱动的机器学习方法论:通过大量数据来确定模型,从而让模型具有预测价值。本篇提出第一个机器学习问题,进一步看清楚机器学习的具体形式。

平行世界

在宇宙的一个平行世界中,天空是平面的,人们只能看到位于第一象限的星星。他们发现天上最亮的那颗星在缓慢的移动,于是收集了近千年以来所有天文学家的观测数据,共得到4次观测记载:

  • 2200年,(22, 18)
  • 2500年,(25, 15)
  • 2800年,(28, 12)
  • 3000年,(30, 10)

由于这颗星的意义非凡,人们想计算出这颗星的运行轨道,并预测当4000年来临时它是否会消失。

图1.平面星空

从数据得到模型

图2.人类的学习

先套用下人类的学习模式:

  • 获取数据:仅有的4次记录全部拿到;
  • 分析数据:将4次记录全部画在直角坐标系平面上,发现全部落在一条直线上;
  • 建立模型:利用函数知识得出一般的直线函数式为y=ax+b,但是a,b未知;
  • 预测未知:一旦知道了a和b的确切值,就得到了运行轨迹(直线)的模型,根据模型即可开展预测,比如给定任意的x坐标,即可得出y坐标。

到此,第一个机器学习问题就是直线模型的参数a和b如何得出?

对了,平行世界的人们还不会解二元一次方程组。他们要用数据去训练这个模型。

损失函数

他们希望有个算法,能找到模型的a和b,以至于模型的训练输出y,能够拟合所有的训练输入x。为了量化该目标,他们定义了损失函数:

图3.B-P-F-1 损失函数

对函数的形式做一些说明:

  • C是变量a和b的二元函数,而且是二次函数,C ≥ 0;
  • n是训练数据的个数;
  • output表示当输入为x时当前模型的实际输出;
  • y(x)表示训练输入为x时,对应的训练输出y。

这个损失函数的意义何在呢?

以终为始,假设找到了正确的a和b,确定了模型y=ax+b,那么对于任一x的取值,损失函数中的output(x)将等于y(x),即y(x)-output(x) = 0,此时“损失”为0。换句话说,确定最终a和b的过程,就是让损失函数达到其最小值的过程。此时,训练输出y“拟合了”训练输入x。

损失函数的形式,也是常见的一种统计定义,被称为均方误差MSE(Mean Squared Error),在这个语境下,y(x)被称为期望值,output(x)为观测值。任何误差都会被放大并累积起来。

到此,问题好像变的复杂了。没错,待确定模型y=ax+b虽然是一个一元一次函数,但是其损失函数却是二元二次函数。从函数图形上看它是一个曲面,而函数的最小值点处的a和b的取值,就是我们的线性模型的最佳参数。

图4.二次曲面

训练

他们找了台机器准备开始训练模型,4次观测数据全部用于训练(22, 18),(25, 15),(28, 12),(30, 10)。

先给个初始值,让a = -1, b = 50,看看“损失”是多少?

C(-1, 50) = 1/8 x [(18 - (-22 + 50))2+ (15 - (-25 + 50))2+ (12 - (-28 + 50))2+ (10 - (-30 + 50))2] = 50。

看来离“损失”为0还有差距。

换个值接着练,让a = -1, b = 40,再计算下“损失”:

C(-1, 40) = 1/8 x [(18 - (-22 + 40))2+ (15 - (-25 + 40))2+ (12 - (-28 + 40))2+ (10 - (-30 + 40))2] = 0。

运气不要太好!“损失”降至0,此时a = -1, b = 40。

确定模型并预测

训练做了2次,就找到了损失函数的最小值,这背后有种神秘的力量,指引(a,b)从(-1,50)迁移到了(-1,40)。不管怎样,天空最亮的那颗星的运行轨道模型总算是建立好了:y = -x + 40。这将载入史册,成为天文学的一个里程碑。

接下来完成预测吧:4000年来临时它会消失吗?

基于历史数据:

  • 2200年,(22, 18)
  • 2500年,(25, 15)
  • 2800年,(28, 12)
  • 3000年,(30, 10)

可以看出该星的x方向的速度是1/100年,那么到了4000年时,其位置的x坐标为:30 + 1/100年 x (4000-3000) = 40。

将x = 40,代入模型y = -x + 40,得到y = 0。就是说4000年来临时,该星的位置坐标是(40, 0)。预测非常悲观:届时它就要消失在第一象限之外了!

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

自创数据集,用TensorFlow预测股票教程 !(附代码)

来源:机器之心 本文长度为4498字,建议阅读8分钟 本文非常适合初学者了解如何使用TensorFlow构建基本的神经网络。 STATWORX 团队近日从 Go...

3147
来自专栏AI科技评论

「Deep Learning」读书系列分享第四章:数值计算 | 分享总结

AI 科技评论按:「Deep Learning」这本书是机器学习领域的重磅书籍,三位作者分别是机器学习界名人、GAN的提出者、谷歌大脑研究科学家 Ian Goo...

33210
来自专栏人工智能LeadAI

深度学习 | Why and How:神经网络中的权重初始化

前言 神经网络中的权重(weight)初始化是个常常被忽略的问题。 最近在手写一个Python的神经网络库(GitHub:hamaa——https://gith...

3186
来自专栏PPV课数据科学社区

【V课堂】R语言十八讲(十三)—聚类模型

聚类分析是一种原理简单、应用广泛的数据挖掘技术。顾名思义,聚类分析即是把若干事物按照某种标准归为几个类别,其中较为相近的聚为一类,不那么相近的聚于不同类。聚类分...

3207
来自专栏人工智能头条

李理:卷积神经网络之Dropout

2124
来自专栏PPV课数据科学社区

自创数据集,使用TensorFlow预测股票入门

机器之心编译 参与:蒋思源、李亚洲、刘晓坤 STATWORX 团队近日从 Google Finance API 中精选出了 S&P 500 数据,该数据集包含 ...

3207
来自专栏CDA数据分析师

技能 | 基于树的建模-完整教程(R & Python)

简介: 基于树的学习算法被认为是最好的方法之一,主要用于监测学习方法。基于树的方法支持具有高精度、高稳定性和易用性解释的预测模型。不同于线性模型,它们映射非线性...

1807
来自专栏AI研习社

数值计算——「Deep Learning」读书系列分享第四章分享总结

「Deep Learning」这本书是机器学习领域的重磅书籍,三位作者分别是机器学习界名人、GAN 的提出者、谷歌大脑研究科学家 Ian Goodfellow,...

34612
来自专栏大数据挖掘DT机器学习

支持向量机(SVM)入门详解(续)与python实现

接前文 支持向量机SVM入门详解:那些你需要消化的知识 让我再一次比较完整的重复一下我们要解决的问题:我们有属于两个类别的样本点(并不限定这些点在二维空间中)若...

2718
来自专栏机器之心

自创数据集,使用TensorFlow预测股票入门

3447

扫描关注云+社区