Logistic回归损失函数证明

理解Logistic回归算法原理中我们指出了Logistic回归的损失函数定义(在这里重新约定符号):

而对于全体样本集的成本函数,就可以表示为:

与损失函数不同的是,它描述了在全体样本上集上,模型的参数w和b与优化目标之间的关系,在这两个公式中,成本函数其实是损失函数的平均值。

那么我们先看一下对于损失函数而言,为什么它能发挥作用:

如果期望输出y=1,那么优化目标为min L(y,y_hat)=min[-log(y_hat)],显然此时y_hat的越大,优化目标会得到最小值; 如果期望输出y=0,那么优化目标为min L(y,y_hat)=min[-log(1-y_hat)],显然此时y_hat的越小,优化目标会得到最小值;

下面证明下这个损失函数是怎么来的: Logistic回归模型如下:

那么令y_hat为给定x的情况下y=1的概率:

那么则有:

由于是个二分类问题,y的值非1即0,那么合并上式就可得到:

同时由于log函数是严格单调递增的函数,在机器学习中,我们往往不太关注log的底数到底是什么,甚至直接省略掉,所以出现了log的写法,但是在数学中这样写是错的。所以,为了后续求解方便,我们可以取对数:

而对于成本函数来说,他对于整个训练集优化w和b,所以就有了这个上面出现过的式子:

在这里其实是可以用最大似然估计的方法来求这个解的,但是在实际的优化中,我们往往直接使用梯度下降法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏YG小书屋

简单二层神经网络介绍

1894
来自专栏AI科技评论

开发 | 手把手教你用 TensorFlow 实现卷积神经网络(附代码)

AI科技评论按:本文作者徐凯文,原文载于作者个人博客,已获授权。 在知乎上看到一段介绍卷积神经网络的文章,感觉讲的特别直观明了,我整理了一下。首先介绍原理部分。...

3678
来自专栏云时之间

深度学习与TensorFlow:实现卷积神经网络

在上一篇文章,我们介绍了CNN的一些基本概念和lenet神经网络的架构,今天这一篇文章我们就模仿lenet网络去微调,使其符合mnist数据集的要求,并且达到我...

1354
来自专栏云时之间

深度学习与TensorFlow:实现卷积神经网络

1684
来自专栏木东居士的专栏

【Andrew Ng 机器学习】Week 1(二):代价函数和梯度下降

1622
来自专栏null的专栏

深度学习算法原理——神经网络的基本原理

一、神经网络 1、神经元概述 神经网络是由一个个的被称为“神经元”的基本单元构成,单个神经元的结构如下图所示: ? image.png ? Sigmoid函数...

3656
来自专栏新智元

谷歌官方:反向传播算法图解

【新智元导读】反向传播算法(BP算法)是目前用来训练人工神经网络的最常用且最有效的算法。作为谷歌机器学习速成课程的配套材料,谷歌推出一个演示网站,直观地介绍了反...

790
来自专栏null的专栏

深度学习算法原理——Softmax Regression

一、Logistic回归简介 image.png image.png 二、Softmax回归 2.1、Softmax回归简介 image.png 2.2、Sof...

4726
来自专栏ATYUN订阅号

机器学习的基础讲解:神经网络

在之前的文章中,我通过展示学习过程中成本函数和梯度下降的核心作用,阐述了机器学习的工作原理。本文以此为基础,探索神经网络和深度学习如何工作。这篇文章重点在于解释...

2866
来自专栏fangyangcoder

Andrew Ng机器学习课程笔记(三)之正则化

http://www.cnblogs.com/fydeblog/p/7365475.html

441

扫码关注云+社区