神经网络学习笔记-01-基本概念

神经网络学习笔记-01-基本概念

基本概念

  • Artificial Neural Network - 基于神经元的计算方向。 一个人工神经网络系统一般包含多个层,每层包含多个神经元(也称为节点)。
  • 第一层是输入层。 基本上没有什么计算功能,主要是将输入数据映射到每个节点上。
  • 中间的层次为隐藏层。 每层都会有一个输出,包含了本层每个节点的输出数据。 每层的输出数据,也是下一层的输入数据。 每层的每个节点会对输入数据分别计算,产生不同的计算结果。
  • 最后一层是输出层。 输出层的每个节点对应一个分类,计算这个分类的概率。最终输出概率最高的分类。

即使百万级的神经单元,也只相当于一只蠕虫的计算能力。

  • Predication Function - 预测函数。 机器学习的结果就是找到这个预测函数。 在分类问题中,就是找到预测函数的权值(w,b)。
  • Activation Function - 激活函数 神经网络中的一个重要概念。原意是模拟大脑神经元是否激活。 在神经网络设计中,其作用是:转换神经元的权值输出值为神经元的输出值。 通俗的理解:权值输出值f(x) = wx + b的结果是x在f(x)上的值,这个不是我们要的分类结果。 激活函数K的作用是将计算y = K(f(x)),将权值输出值转换为分类值。 下面是常用的激活函数:
  • For the hidden layer
    • TanH
    • sigmoid
    • ReLUs
  • For the output layer
    • softmax
  • Forward Propagation - 正向传播 在训练过程中,通过输入数据产生输出数据。
  • Back Propagation - 反向传播 在训练过程中,根据计算结果和期望结果的偏差,重新调整各个神经元的权值。 这个方面有很多算法可以选择。
  • Regularization - 正规化 一种避免多度训练(overfitting)的方法。多度训练会导致训练结果对噪音数据过度敏感。 理论上来说,对当前的预测函数,根据它的复杂度,计算一个惩罚值。通过惩罚值来调整预则函数的权值。
  • Gradient Descent - 梯度下降 反向传播中,用于调整权值的一个概念,表示计算调整的方向和大小。
  • Loss Function - 损失函数 在分类问题中,一种计算方法,计算因不准确预测而导致的代价。

训练过程

  • 初始化 -> (正向传播 -> 反向传播 -> 正规化 -> 梯度下降 -> 重复训练)

人话就是: 初始化: 随便产生个预测函数(w b)。 正向传播:先算一下。 反向传播: 有偏差(废话)。 正规化: 让偏差变得好看点。 梯度下降:把预测函数(w b)向偏差的方向挪一下。 重复训练:把上面的过程来上500遍。

  • 训练图

神经网络示意图

参照

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【斯坦福CS229】一文横扫机器学习要点:监督学习、无监督学习、深度学习

给定一组与输出{y(1),...,y(m)}相关联的数据点{x(1),...,x(m)},我们希望构建一个能够根据x值预测y值的分类器。

731
来自专栏深度学习

机器学习、深度学习 知识点总结及面试题

一、反向传播思想: 1、计算出输出与标签间的损失函数值,然后计算其相对于每个神经元的梯度,根据梯度方向更新权值。 (1)将训练集数据输入到ANN的输入层,经过隐...

3867
来自专栏AI科技大本营的专栏

从YOLOv1到YOLOv3,目标检测的进化之路

这是继 RCNN,fast-RCNN 和 faster-RCNN之后,Ross Girshick 针对 DL 目标检测速度问题提出的另外一种框架。YOLO V1...

4313
来自专栏CVer

大牛分享 | 基于深度学习的目标检测算法综述(一)

目标检测(Object Detection)是计算机视觉领域的基本任务之一,学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展,目标检测算法也从基...

3476
来自专栏AI科技评论

干货 | 基于深度学习的目标检测算法综述(一)

目标检测(Object Detection)是计算机视觉领域的基本任务之一,学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展,目标检测算法也从基...

1382
来自专栏磐创AI技术团队的专栏

干货 | 基于深度学习的目标检测算法综述(一)

目标检测(Object Detection)是计算机视觉领域的基本任务之一,学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展,目标检测算法也从基...

2432
来自专栏深度学习

机器学习、深度学习 知识点总结及面试题

1、计算出输出与标签间的损失函数值,然后计算其相对于每个神经元的梯度,根据梯度方向更新权值。

3898
来自专栏SIGAI学习与实践平台

机器学习与深度学习核心知识点总结--写在校园招聘即将开始时

一年一度的校园招聘就要开始了,为了帮助同学们更好的准备面试,SIGAI 在今天的公众号文章中对机器学习、深度学习的核心知识点进行了总结。希望我们的文章能够帮助你...

971
来自专栏和蔼的张星的图像处理专栏

2. 神经网络之BN层背景BN使用BN在CNN上的使用。

BN,全称Batch Normalization,是2015年提出的一种方法,在进行深度网络训练时,大都会采取这种算法。 原文链接:Batch Normali...

2.6K4
来自专栏磐创AI技术团队的专栏

【斯坦福CS229】一文横扫机器学习要点:监督学习、无监督学习、深度学习

【磐创AI导读】:提及机器学习,很多人会推荐斯坦福CSS 229。本文便对该课程做了系统的整理。包括监督学习、非监督学习以及深度学习。可谓是是学习ML的“掌上备...

1642

扫码关注云+社区

领取腾讯云代金券