小知识 | 谈谈 损失函数, 成本函数, 目标函数 的区别

在我刚开始学机器学习的时候也是闹不懂这三者的区别，当然，嘿嘿，初学者的你们是不是也有那么一丢丢迷茫呢？那么今天咱们就把这样的问题解决了！

损失函数

损失函数一般指的是针对单个样本 i 做的损失，公式可以表示为：

当然，只是举个例子，如果较真的话，还可以有交叉熵损失函数等。

成本函数

成本函数一般是数据集上总的成本函数，一般针对整体，根据上面的例子，这里的成本函数可以表示为

当然我们可以加上正则项

目标函数

目标函数是一个很广泛的称呼，我们一般都是先确定目标函数，然后再去优化它。比如在不同的任务中，目标函数可以是

• 最大化后验概率MAP(比如朴素贝叶斯)
• 最大化适应函数(遗传算法)
• 最大化回报/值函数（增强学习）
• 最大化信息增益/减小子节点纯度(CART 决策树分类器)
• 最小化平方差错误成本（或损失）函数（CART，决策树回归，线性回归，线性适应神经元）
• 最大化log-相似度或者最小化信息熵损失（或者成本）函数
• 最小化hinge损失函数（支持向量机SVM）
• etc.

References

忆臻 知乎回答

https://zhuanlan.zhihu.com/p/49323974

国外资料

https://www.quora.com/What-is-the-difference-between-a-cost-function-and-a-loss-function-in-machine-learning

因为最近微信改版改的比较频繁，很多小伙伴反应当天我是否发了文章，当然发了呀，只是你还没有星标这个公众号呀。我接下来讲继续持续的更新python，机器学习，深度学习，linux，基础数学以及自然语言处理的各种分类方法。如果不想错过，快点星标下呀！嘿嘿。还不知道怎么星标？那就看看下面的方法

IELTS a bit

agony n. 嫉妒痛苦

aisle n. 过道

commence v. 开始（某事物）