前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >损失函数是机器学习里最基础|:损失函数的作用

损失函数是机器学习里最基础|:损失函数的作用

作者头像
学到老
发布2018-03-16 13:31:14
2.1K0
发布2018-03-16 13:31:14
举报
文章被收录于专栏:深度学习之tensorflow实战篇

前言:损失函数是机器学习里最基础也是最为关键的一个要素,通过对损失函数的定义、优化,就可以衍生到我们现在常用的LR等算法中

本文是根据个人自己看的《统计学方法》《斯坦福机器学习课程》及日常工作对其进行的一些总结。因为才疏学浅,如有不对之处,请发邮件指点liedward@qq.com。非常感谢帮忙指正错误。

损失函数的作用:衡量模型模型预测的好坏。

正文:

首先我们假设要预测一个公司某商品的销售量:

X:门店数 Y:销量

我们会发现销量随着门店数上升而上升。于是我们就想要知道大概门店和销量的关系是怎么样的呢?

我们根据图上的点描述出一条直线:

似乎这个直线差不多能说明门店数X和Y得关系了:我们假设直线的方程为Y=a0+a1X(a为常数系数)。假设a0=10 a1=3 那么Y=10+3X(公式1)

X

公式Y

实际Y

差值

1

13

13

0

2

16

14

2

3

19

20

-1

4

22

21

1

5

25

25

0

6

28

30

-2

我们希望我们预测的公式与实际值差值越小越好,所以就定义了一种衡量模型好坏的方式,即损失函数(用来表现预测与实际数据的差距程度)。于是乎我们就会想到这个方程的损失函数可以用绝对损失函数表示:

假设我们再模拟一条新的直线:a0=8,a1=4

X

公式Y

实际Y

差值

1

12

13

-1

2

16

14

2

3

20

20

0

4

24

21

3

5

28

25

3

6

32

30

2

公式2 Y=8+4X

绝对损失函数求和:11 平方损失函数求和:27

公式1 Y=10+3X

绝对损失函数求和:6 平方损失函数求和:10

从损失函数求和中,就能评估出公式1能够更好得预测门店销售。

统计学习中常用的损失函数有以下几种:

(1) 0-1损失函数(0-1 lossfunction):

L(Y,f(X))={1,0,Y≠f(X)Y=f(X)

(2) 平方损失函数(quadraticloss function)

L(Y,f(X))=(Y?f(X))2

(3) 绝对损失函数(absoluteloss function)

L(Y,f(X))=|Y?f(X)|

(4) 对数损失函数(logarithmicloss function)或对数似然损失函数(log-likelihood loss function)

L(Y,P(Y|X))=?logP(Y|X)

损失函数越小,模型就越好。

总结:

损失函数可以很好得反映模型与实际数据差距的工具,理解损失函数能够更好得对后续优化工具(梯度下降等)进行分析与理解。很多时候遇到复杂的问题,其实最难的一关是如何写出损失函数。这个以后举例

下一篇,我们来说一下如何用梯度下降法对每个公式中的系数进行调整

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档