专栏首页讲编程的高老师神经网络的代价函数—ML Note 51

神经网络的代价函数—ML Note 51

本文是吴恩达《机器学习》视频笔记第51篇,对应第5周第1个视频。

“Neural Networks: Learning——Cost function”

01

笔记

神经网络是当下最强大的机器学习算法之一,上周已经学习了如何用神经网络表示一些逻辑问题,这周一起来学习一个可以为神经网络拟合参数的算法。

先从代价函数讲起。

再来看一下神经网络是啥玩意

一个神经网络如下图所示,由输入层、输出层和若干的隐藏层组成。

如果要想网络完整,还需要一些训练集用来训练网络的参数。上图中,L表示总层数,s_l表示第l层的神经元个数(没有把偏移量计算进去)。

那神经网络是用来解决什么问题呢?主要是两分类、多分类问题,分成多少类就输出层就对应多少个神经元。

神经网络的代价函数

回忆一下逻辑回归中的代价函数:

大家应该还记得,在第3周的第4、第5个视频讨论过这个事,逻辑回归就一个输出(取0或1),然后不同的取值采用不同的代价函数,然后又用巧妙的方法把它们简化成上图中的样子。

我们只要把代价函数的最小值找到,相对应的最好的参数也就被找到了。

那如果是神经网络呢?它可以做K分类的问题,那它的代价函数实质上就是把逻辑回归代价函数给一般化了。如下图:

看上去有点复杂,但其本质上还是说这个网络对于输入的一个向量给出的预测值与实际值之间的差距的一种衡量手段,如果能让代价函数最小也对应的能让这个网络算的最准。这个思想是贯穿在所有机器学习代价函数中的。

那么,我们对于神经网络的预测的准确性的一个衡量,就可以通过对于代价函数的大小来进行衡量了。而求一个函数的最小值,这个事我们是有经验的。

再回过头来看上图中的代价函数,看看中括号里面的那两个\Sigma求和符号那一项有两层累加求和,第一层K它是神经网络输出层的K个单元(对应于K分类问题),第二层的m是指的训练集中有m组样本。这个事,其实就i和逻辑回归一样了吧?只是神经网络比逻辑回归更有一般性。

而代价函数后面这一项,就是神经网络的正则化项而已,也就是对整个神经网络(所有层)中所有的参数的一个求和处理(排除了每一层的偏移量)。

本文分享自微信公众号 - 讲编程的高老师(codegao),作者:石头

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 逻辑回归代价函数的简化及其对应的梯度下降法—ML Note37

    “Logistic Regression——Simplified const function and gradient descent”。

    讲编程的高老师
  • 逻辑回归中的代价函数—ML Note 36

    上一小节学习了决策边界。我们知道了其实逻辑回归进行分类问题,实质上是我们先有一个模型方程但是不知道方程的参数,我们通过确定参数来确定方程的具体的形式也就是决策边...

    讲编程的高老师
  • 吴恩达机器学习笔记9-代价函数直观理解之二

    Model and Cost Function_Cost Function - Intuition II”

    讲编程的高老师
  • (图解)机器学习的衰颓兴盛:从类神经网络到浅层学习

    1950年代计算机发明以来,科学家便希冀着利用计算机创造出人工智能;然而,当时的硬件效能低落、数据量不足,随着通用问题解决机、日本第五代计算机等研究计划的失败,...

    GPUS Lady
  • 独家 | NLP的深度学习:ANN,RNN和LSTM详解!(附资源)

    是否曾经幻想过能和自己的私人助理对话或是漫无边际地探讨任何问题?多亏机器学习和深度神经网络,你曾经的幻想很快会变成现实。让我们来看一下Apple的Siri或亚马...

    数据派THU
  • NLP重要模型详解,换个方式学(内附资源)

    【导语】本文带你以前所未有的方式了解深度学习神经网络,并利用NLP构建Chatbot!

    AI科技大本营
  • 基础 | 深度学习与神经网络-介绍

    深度学习改变了搜索、广告等传统互联网业务,使更多产品以不同方式来帮助人们。AI的兴起犹如百年前电气的普及影响着各个行业。在AI的各个分支中,深度学习发展最快。

    zenRRan
  • 独家 | 一文读懂人工神经网络

    作者:Sidath Asiri 翻译:Nicola 校对:卢苗苗 原文标题:MeetArticial Neural Networks 本文通过使用浅显易懂的语...

    数据派THU
  • 自然语言处理的神经网络模型初探

    深度学习(Deep Learning)技术对自然语言处理(NLP,Natural Language Processing)领域有着巨大的影响。

    人工智能资讯小编
  • 深度学习入门基础

    TensorFlow:google开源的,当前版本已经有高级API、可视化工具、GPU支持、异步执行。

    长风破浪

扫码关注云+社区

领取腾讯云代金券