首页
学习
活动
专区
工具
TVP
发布

绿巨人专栏

专栏成员
129
文章
165313
阅读量
44
订阅数
神经网络学习笔记-01-基本概念
神经网络学习笔记-01-基本概念 基本概念 Artificial Neural Network - 基于神经元的计算方向。 一个人工神经网络系统一般包含多个层,每层包含多个神经元(也称为节点)。 第一层是输入层。 基本上没有什么计算功能,主要是将输入数据映射到每个节点上。 中间的层次为隐藏层。 每层都会有一个输出,包含了本层每个节点的输出数据。 每层的输出数据,也是下一层的输入数据。 每层的每个节点会对输入数据分别计算,产生不同的计算结果。 最后一层是输出层。 输出层的每个节点对应一个分类,计算
绿巨人
2018-05-18
5040
神经网络学习笔记 - 激活函数的作用、定义和微分证明
神经网络学习笔记 - 激活函数的作用、定义和微分证明 看到知乎上对激活函数(Activation Function)的解释。 我一下子迷失了。 因此,匆匆写下我对激活函数的理解。 激活函数被用到了什么地方 目前为止,我见到使用激活函数的地方有两个。 逻辑回归(Logistic Regression) 神经网络(Neural Network) 这两处,激活函数都用于计算一个线性函数的结果。 了解激活函数 激活函数的作用:就是将权值结果转化成分类结果。 2类的线性分类器 先说一个简单的情况 - 一个2类的
绿巨人
2018-05-18
8960
神经网络学习笔记-02-循环神经网络
神经网络学习笔记-02-循环神经网络 本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记。 循环神经网络 循环神经网络适用于处理序列化信息,比如:语言翻译,语音识别等。 如果,我们要实现一个翻译功能。首先需要理解原句中每个单词的含义。 这就需要根据上下文来理解。 假如:原句中的每个单词,以此对应神经网络中一个隐藏层。 在传统的神经网络框架中,隐藏层直接传递的是一个矢量Out。 这个Out矢量是原句当前每个词的一个输出,比如:含义等等。 那么,如
绿巨人
2018-05-17
8510
神经网络学习笔记 - 损失函数的定义和微分证明
神经网络学习笔记 - 损失函数的定义和微分证明 损失函数 Loss function (cross entropy loss) 损失函数,反向传播和梯度计算构成了循环神经网络的训练过程。 激活函数softmax和损失函数会一起使用。 激活函数会根据输入的参数(一个矢量,表示每个分类的可能性),计算每个分类的概率(0, 1)。 损失函数根据softmax的计算结果\(\hat{y}\)和期望结果\(y\),根据交叉熵方法(cross entropy loss) 可得到损失\(L\)。 cross entr
绿巨人
2018-05-17
1.6K0
神经网络学习笔记-04-循环神经网络算法解释
神经网络学习笔记-04-循环神经网络算法解释 本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记。 门控循环单元 - GRUs (Gated Recurrent Units) 先看看计算公式: 计算公式的理解 首先,我们有一个单词集合,包含了常用的单词和标点符号。 这个单词集合,在训练前就已经确定了。因此:单词量在训练和预测的过程中是固定的。比如:8000。 我们想象现在正在学习需要句子,用来自动生成有一定含义的语句。 在训练的过程中,会建立
绿巨人
2018-05-17
6980
神经网络学习笔记-03-循环神经网络-反向传播计算公式的证明
神经网络学习笔记-03-循环神经网络-反向传播计算公式的证明 本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记。 原文的例子 原文中计划实现一个循环神经网络,用于发现自然语言句子中单词出现的模式,最终可以生成一些合理的句子。 数据来源 原文中,从网上下载了很多条句子(英文的)。 数据的前期处理 首先,统计了所有单词(包括标点符号)。 取出最常见的7997单词,并且编号,每个单词有一个token。 设置了3个特殊的token: UNKNOWN_
绿巨人
2018-05-17
8500
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档