腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

决胜机器学习

专栏作者

219

文章

280124

阅读量

105

订阅数

循环神经网络（四） ——words2vec、负采样、golve

神经网络编程算法监督学习

循环神经网络（四） ——words2vec、负采样、golve （原创内容，转载请注明来源，谢谢）一、概述本文主要学习几种现有的流行的词嵌入算法，包括words2vec、负采样、golve，另外学

2018-06-07

1.2K0

循环神经网络（五） ——Bean搜索、bleu评分与注意力模型

神经网络编程算法

循环神经网络（五） ——Bean搜索、bleu评分与注意力模型（原创内容，转载请注明来源，谢谢）一、概述本文主要讲解机器翻译过程中涉及的算法，主要包括bean搜索算法及其改进与误差分析、bleu

2018-06-07

8030

卷积神经网络（三） ——inception网络、迁移学习

卷积神经网络迁移学习神经网络深度学习

卷积神经网络（三） ——inception网络、迁移学习（原创内容，转载请注明来源，谢谢）一、Inception网络 1、简介前面的文章中，有各种的卷积模型可以选择，而具体如何选择各种模型，实际

2018-03-29

1.6K0

卷积神经网络（五） ——面部验证与神经风格转换

卷积神经网络神经网络

卷积神经网络（五） ——面部验证与神经风格转换（原创内容，转载请注明来源，谢谢）一、概述本文主要讨论面部验证和神经风格转换两种技术，都是CNN的实际应用。二、面部验证 1、人脸识别与面部验证

2018-03-29

6690

循环神经网络（一） ——循环神经网络模型与反向传播算法

循环神经网络（一） ——循环神经网络模型与反向传播算法（原创内容，转载请注明来源，谢谢）一、概述这一章开始讲循环神经网络（RNN，Recurrent Neural Network），是与卷积神经

2018-03-29

8460

循环神经网络（三） ——词嵌入学习与余弦相似度

循环神经网络（三） ——词嵌入学习与余弦相似度（原创内容，转载请注明来源，谢谢）一、词汇表征 1、one-hot表示法之前的学习中提到过，对于词汇库，可以用one-hot表示法来表示。即，假设词汇库单词量是10000个单词，则可以用1*10000的矩阵来表示每个单词，单词在对应词汇表中的位置是1，其他位置是0。如man是第5391个单词，则矩阵为[0 0 0 ... 0 0 1 0 0 ... 0]T，这里的1就是在矩阵的第5391个位置。这样做有个缺点，即词语之间无法建立任何联系，只有自身的位置

2018-03-29

1.3K0

深层神经网络参数调优（四） ——adam算法、α衰减与局部最优

神经网络编程算法深度学习

深层神经网络参数调优（四）——adam算法、α衰减与局部最优（原创内容，转载请注明来源，谢谢）一、概述本文主要讲解另外一种思想的梯度下降——adam，并且在此之前介绍动量梯度下降和RMSprop算法作为前置内容。另外，本文讲到学习速率衰减方式，以及局部最优和鞍点问题等。二、动量梯度下降法 1、当前问题 mini-batch、随机梯度下降等，在优化每个w和b时，是会优化一个部分最优值，故容易出现抖动，导致优化速度慢。因此可以结合接下来的算法，来加快学习速度。 2、主要思想将一

2018-03-07

2.8K0

深层神经网络参数调优（三） ——mini-batch梯度下降与指数加权平均

深层神经网络参数调优（三）——mini-batch梯度下降与指数加权平均（原创内容，转载请注明来源，谢谢）一、mini-batch梯度下降 1、概述之前提到的梯度下降，每优化一次的w和b，都要用到全部的样本集，把其称为批量梯度下降(batch)，这里提出一个与其相对应的概念，叫做mini梯度下降。 mini-batch的目的，也是为了获取最优化代价函数的情况下的w和b，其主要改进的问题在于：当样本集数量太大，如果每次遍历整个样本集才完成一次的更新w和b，那运行时间太长。 2、主要做

2018-03-07

1.9K0

深层神经网络参数调优（二） ——dropout、题都消失与梯度检验

神经网络 python numpy

深层神经网络参数调优（二）——dropout、题都消失与梯度检验（原创内容，转载请注明来源，谢谢）一、dropout正则化中文是随机失活正则化，这个是一种正则化的方式，之前学过L1、L2正则化，这个则是另一种思想的正则化。dropout，主要是通过随机减少一些神经元，来实现减少w和b，实现防止过拟合的。 1、主要做法假设一个概率阈值p，对于神经网络中的所有神经元，在每一次FP、BP的时候，都有p的概率会被保留下来。没有被保留下来的神经元，则不参与本次的运算，即不接收输入，也不输出结果。 2、具体

2018-03-07

1.2K0

深层神经网络参数调优（一） ——方差、偏差与正则化

神经网络深度学习

深层神经网络参数调优（一）——方差、偏差与正则化（原创内容，转载请注明来源，谢谢）一、概述现在来到ng【深层神经网络参数调优】专题的学习，这部分主要是对深度学习过程中，需要涉及到的参数、超参数的调优的方法与技巧。二、样本集的使用 1、三个集在深度学习中，为了检验算法的效果，通常会设置训练集、验证集和测试集。训练集用来训练分类器，得到最低代价函数情况下，各层网络对应的w、b。验证集用来调试的，目的是为了获得最优的超参数，如学习速率α、正则化因子λ等。测试集用来验证训练集得到的结果，确认错

2018-03-07

1.6K0

神经网络和深度学习（五） ——深层神经网络基础

神经网络深度学习编程算法

神经网络和深度学习（五）——深层神经网络基础（原创内容，转载请注明来源，谢谢）一、概述本文是对深层神经网络的基础，主要讨论深层神经网络的算法、公式推导以及一些注意事项。首先，符号表示上和之

2018-03-07

1.4K0

神经网络和深度学习（四） ——浅层神经网络的激活函数与反向传播

神经网络深度学习

神经网络和深度学习（四）——浅层神经网络的激活函数与反向传播（原创内容，转载请注明来源，谢谢）一、神经网络的表示复习一下神经网络的表示，其主要是将单层的多个神经元，整合到一个矩阵中，调用nu

2018-03-07

1.6K0

神经网络和深度学习（二） ——从logistic回归谈神经网络基础

神经网络深度学习机器学习

神经网络和深度学习（二）——从logistic回归谈神经网络基础（原创内容，转载请注明来源，谢谢）一、概述之前学习机器学习的时候，已经学过logistic回归，不过由于神经网络中，一些思想会涉及到logistic，另外会拿一些神经网络用到的解决方案，以logistic来举例，更浅显易懂（例如BP算法）。因此，这里就再次复习logistic回归及其梯度下降、代价函数等，主要是讲述和后面学习神经网络有关的内容，其他部分会快速略过。二、logistic输出函数 logistic是解决

2018-03-07

1.7K0

神经网络和深度学习（一） ——深度学习概述

神经网络深度学习监督学习图像识别

神经网络和深度学习（一）——深度学习概述（原创内容，转载请注明来源，谢谢）一、监督学习与神经网络监督学习可以在一些地方应用，包括房价预测、广告精准定位、图像识别、声音识别、翻译、图像定位等。

2018-03-07

1.3K0

机器学习（十二） ——神经网络代价函数、反向传播、梯度检验、随机初始化

机器学习神经网络

机器学习（十二）——神经网络代价函数、反向传播、梯度检验、随机初始化（原创内容，转载请注明来源，谢谢）一、代价函数同其他算法一样，为了获得最优化的神经网络，也要定义代价函数。神经网络的输出

2018-03-07

1.1K0

深层神经网络参数调优（五） ——超参数调试、batch归一化、softmax回归

神经网络编程算法机器学习

深层神经网络参数调优（五） ——超参数调试、batch归一化、softmax回归（原创内容，转载请注明来源，谢谢）一、超参数调试 1、超参数超参数是不直接参与优化的参数，例如学习速率α、adam算法的β1、β2等，这些参数主要是影响学习的速率。根据视频中ng的工作经验，超参数有其重要性，按照重要性分类，如下： 1）最重要学习速率α 2）次重要动量梯度下降的β、mini-batch的批次大小、神经网络中隐藏层的神经元数量 3）再次神

2018-03-07

1.9K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态