代价函数

代价函数，度量【假设集】的准确性。

机器学习中常用的代价函数，总结如下：

1 误差平方和函数

说明：yi 是模型预测值，oi是样本实际值

2 交叉熵函数

说明：

n是批量训练的样本大小

W是模型f的参数

f函数表示xi样本预测为标签li的概率

3 负对数似然函数

说明：

D是训练集

θ 是模型的参数

是第i个样本的输出值

是第i个样本的输入值

思考环节：

1 代价函数和目标函数的差异是什么？

2 回归算法的代价函数和目标函数分别是什么？