首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

深度 | OpenAI发布「块稀疏」GPU内核:实现文本情感分析与图像生成建模当前最优水平

密集(左)可由宽而稀疏的)或者深而稀疏的(右)替代,并同时近似地保持计算时间。 与密集权重矩阵相反,稀疏权重矩阵具有大量为零的项目。...密集权重矩阵(左)和块稀疏()权重矩阵的可视化,其中白色代表零值权重。 内核允许全连接和卷积层高效地使用块稀疏权重(如上所示)。...对于卷积,内核允许输入和输出特征维度的稀疏性;连接性空间维度上不受影响。稀疏性是块的层面被定义的(如上右图所示),并已经优化为 8x8(本实例)、 16x16 或 32x32 的块大小。.../)的设置,我们使用近似相等的参数数量训练 LSTM,并比较了使用密集权重矩阵的模型和一个块稀疏的变体。...拥有块稀疏线性的架构也可以提高相对于使用密集连接线性的结果。我们对 CIFAR-10 自然图像上训练的 PixelCNN++模型做了一个简单的修改。

1.2K60

深入卷积神经网络背后的数学原理

01 前言 之前的系列,我们学习了密集连接的神经网络(densely connected neural networks)。...但是,当使用照片来进行预测时,情况会变得更加复杂。我们当然可以将每个像素的亮度视为一个单独的特征,并将其作为输入传递给我们的密集网络(dense network)。...我们将要用到的方法几乎与构建密集神经网络时用到的相同,唯一有区别的地方是,我们不再使用简单的矩阵乘法,而是使用卷积。 前向传播包括两个步骤。...下面展示了矩阵形式的数学公式。 如果您对公式的任何部分不太清楚,我强烈推荐您去阅读一下我之前的文章,文中详细讨论了密集连接的神经网络的具体内容。...在下图中,我们用一种略微不同的方式对 2D 卷积进行了可视化——用数字 1-9 标记的神经元构成输入,用于接收输入图像的像素亮度,单元 A-D 表示经过卷积计算后得到的特征映射。

1.1K20
您找到你想要的搜索结果了吗?
是的
没有找到

深入卷积神经网络背后的数学原理 | 技术头条

前言 之前的系列,我们学习了密集连接的神经网络(densely connected neural networks)。这些网络的神经元被分成组,形成连续的,相邻的两个之间的神经元相互连接。...但是,当使用照片来进行预测时,情况会变得更加复杂。我们当然可以将每个像素的亮度视为一个单独的特征,并将其作为输入传递给我们的密集网络(dense network)。...我们将要用到的方法几乎与构建密集神经网络时用到的相同,唯一有区别的地方是,我们不再使用简单的矩阵乘法,而是使用卷积。前向传播包括两个步骤。...下面展示了矩阵形式的数学公式。如果您对公式的任何部分不太清楚,我强烈推荐您去阅读一下我之前的文章,文中详细讨论了密集连接的神经网络的具体内容。下文的插图很好地展示了公式各张量的维数,以助于理解。...在下图中,我们用一种略微不同的方式对2D卷积进行了可视化——用数字1-9 标记的神经元构成输入,用于接收输入图像的像素亮度,单元 A-D 表示经过卷积计算后得到的特征映射。

52830

神经网络:问题与解决方案

而且,神经网络提供较少的数据时可以被训练得更快。 通过使用奇异值分解将训练数据的协方差矩阵分解成三个矩阵,可以实现维度的减小。第一个矩阵应该是包含特征向量。...这意味着,所有的梯度将根据下一单位的梯度而为正或负。 最值得推荐的激活功能是Maxout。Maxout保持两组参数。使用产生较高值的那个值作为激活函数的输入。而且,权重可以根据某些输入条件而变化。...在这种特殊情况下,当输入大于0时,斜率保持为1,当输入小于0时,斜率为负值,与输入成正比。 神经网络遇到的另一个麻烦,特别是当它们深时,就是内部的协变量。投入的统计分布随着培训的进行而不断变化。...网络的某些节点往往是从神经网络的某些或所有随机关闭的。因此,每一次迭代,我们得到一个新的网络,所得到的网络(训练结束时获得)是所有这些网络的组合。这也有助于解决过度配合的问题。...这可能是因为该模型“过度使用”训练数据。获取更多的数据可以作为一个修复。在这种情况下,减少网络隐藏的数量也可能是有用的。使用正则化参数也可以有所帮助。

73860

刷脸背后,卷积神经网络的数学原理原来是这样的

简介 过去我们接触到了密集连接的神经网络。那些神经网络,所有的神经元被分成了若干组,形成了连续的。每个这样的单元都与相邻的每一个单独的神经元相连接。下图所示的是这样一个架构。 ?...当然,我们可以把每个像素的亮度视作一个单独的特征,然后将它作为密集网络的输入传递进去。不幸的是,为了让它能够应付一张典型的智能手机照片,我们的网络必须包含数千万甚至上亿的神经元。...黑白图像,我们仅使用一个矩阵。每个矩阵都存储着 0 到 255 的数值。...立体卷积 卷积 使用我们今天所学内容构造一个卷积的时间到了。我们的方法几乎与用在密集连接神经网络上的方法相同,唯一的差别就是不使用简单的矩阵相乘,这一次我们将会使用卷积。前向传播包含两个步骤。...就像在密集连接神经网络中一样,我们的目标是一个叫做梯度下降的过程中计算导数,然后使用它们来更新参数值。 计算我们会使用链式法则——这个我之前的文章中提到过。

36320

刷脸背后,卷积神经网络的数学原理原来是这样的

简介 过去我们接触到了密集连接的神经网络。那些神经网络,所有的神经元被分成了若干组,形成了连续的。每个这样的单元都与相邻的每一个单独的神经元相连接。下图所示的是这样一个架构。 ?...当然,我们可以把每个像素的亮度视作一个单独的特征,然后将它作为密集网络的输入传递进去。不幸的是,为了让它能够应付一张典型的智能手机照片,我们的网络必须包含数千万甚至上亿的神经元。...黑白图像,我们仅使用一个矩阵。每个矩阵都存储着 0 到 255 的数值。...立体卷积 卷积 使用我们今天所学内容构造一个卷积的时间到了。我们的方法几乎与用在密集连接神经网络上的方法相同,唯一的差别就是不使用简单的矩阵相乘,这一次我们将会使用卷积。前向传播包含两个步骤。...就像在密集连接神经网络中一样,我们的目标是一个叫做梯度下降的过程中计算导数,然后使用它们来更新参数值。 计算我们会使用链式法则——这个我之前的文章中提到过。

47730

刷脸背后,卷积神经网络的数学原理原来是这样的

简介 过去我们接触到了密集连接的神经网络。那些神经网络,所有的神经元被分成了若干组,形成了连续的。每个这样的单元都与相邻的每一个单独的神经元相连接。下图所示的是这样一个架构。 ?...当然,我们可以把每个像素的亮度视作一个单独的特征,然后将它作为密集网络的输入传递进去。不幸的是,为了让它能够应付一张典型的智能手机照片,我们的网络必须包含数千万甚至上亿的神经元。...黑白图像,我们仅使用一个矩阵。每个矩阵都存储着 0 到 255 的数值。...立体卷积 卷积 使用我们今天所学内容构造一个卷积的时间到了。我们的方法几乎与用在密集连接神经网络上的方法相同,唯一的差别就是不使用简单的矩阵相乘,这一次我们将会使用卷积。前向传播包含两个步骤。...就像在密集连接神经网络中一样,我们的目标是一个叫做梯度下降的过程中计算导数,然后使用它们来更新参数值。 计算我们会使用链式法则——这个我之前的文章中提到过。

44910

【干货】用神经网络识别歌曲流派(附代码)

MFCC数值模仿人类的听觉,语音识别和音乐类型检测中有广泛的应用。MFCC值将被直接输入神经网络。 了解MFCC 让我们用两个例子来说明MFCC。...密集神经网络,即有很多神经元的。...第一,你需要给出输入尺寸或输入形状,在这个例子里,就是25000。 这表示每个示例有多少输入值。25000将连接到第一的100。...代码中使用的激活softmax告诉你取10的输出并对它们进行规范化,使它们加起来为1。这样,它们最终成为了概率。现在考虑10个的得分最高或概率最高的作为预测。这将直接对应于最高数字位置。...这是因为你有25000个输入。 你有25000个输入,每个输入都会进入100个密集神经元的一个。

4.6K50

学界 | OpenAI 发布稀疏计算内核,更宽更深的网络,一样的计算开销

密集连接的(左侧)可以用稀疏的、更宽的(中间)或者稀疏的、更深的(右侧)替代,而计算时间几乎不变 稀疏权重矩阵密集权重矩阵有明显的不同,就是其中的很多值都是零。...密集权重矩阵(左)、稀疏块权重矩阵)的示意图。白色的区域意味着权重矩阵对应的位置是0 这个计算内核可以让全连接和卷积层高效地利用稀疏块权重。...对于卷积来说,这个内核的输入和输出特征维度都可以是稀疏的;而空间维度的连接性不受到任何影响。...相比 OpenAI 此前一些实验短句上有好的表现,这次长句中也显示出了有潜力的结果。 ? 基于生成式密集和稀疏模型提取的特征训练的线性模型的情感分类结果。...未来研究方向 神经网络的多数权重在训练结束后都可以剪枝。如果让剪枝动作配合此次的稀疏内核使用,那推理时能节省多少计算时间、提高多少计算速度呢?

1.2K60

OpenAI 发布稀疏计算内核,更宽更深的网络,一样的计算开销

密集连接的(左侧)可以用稀疏的、更宽的(中间)或者稀疏的、更深的(右侧)替代,而计算时间几乎不变 稀疏权重矩阵密集权重矩阵有明显的不同,就是其中的很多值都是零。...计算内核 密集权重矩阵(左)、稀疏块权重矩阵)的示意图。白色的区域意味着权重矩阵对应的位置是0 这个计算内核可以让全连接和卷积层高效地利用稀疏块权重。...对于卷积来说,这个内核的输入和输出特征维度都可以是稀疏的;而空间维度的连接性不受到任何影响。...相比 OpenAI 此前一些实验短句上有好的表现,这次长句中也显示出了有潜力的结果。 基于生成式密集和稀疏模型提取的特征训练的线性模型的情感分类结果。...未来研究方向 神经网络的多数权重在训练结束后都可以剪枝。如果让剪枝动作配合此次的稀疏内核使用,那推理时能节省多少计算时间、提高多少计算速度呢?

70400

OpenAI 发布稀疏计算内核,更宽更深的网络,一样的计算开销

密集连接的(左侧)可以用稀疏的、更宽的(中间)或者稀疏的、更深的(右侧)替代,而计算时间几乎不变 稀疏权重矩阵密集权重矩阵有明显的不同,就是其中的很多值都是零。...计算内核 密集权重矩阵(左)、稀疏块权重矩阵)的示意图。白色的区域意味着权重矩阵对应的位置是0 这个计算内核可以让全连接和卷积层高效地利用稀疏块权重。...对于卷积来说,这个内核的输入和输出特征维度都可以是稀疏的;而空间维度的连接性不受到任何影响。...相比 OpenAI 此前一些实验短句上有好的表现,这次长句中也显示出了有潜力的结果。 基于生成式密集和稀疏模型提取的特征训练的线性模型的情感分类结果。...未来研究方向 神经网络的多数权重在训练结束后都可以剪枝。如果让剪枝动作配合此次的稀疏内核使用,那推理时能节省多少计算时间、提高多少计算速度呢?

79080

独家 | 初学者的问题:神经网络使用多少隐藏神经元?(附实例)

本文将通过两个简单的例子,讲解确定所需隐藏和神经元数量的方法,帮助初学者构建神经网络。 人工神经网络(ANNs)初学者可能会问这样的问题: 该用多少个隐藏?...到本文结束时,您至少可以了解这些问题的答案,而且能够简单的例子上进行测试。 ANN的灵感来自生物神经网络计算机科学,它被简化表示为一组层级。而层级分为三类,即输入,隐藏和输出类。...确定输入和输出的数量及其神经元的数量是最容易的部分。每一神经网络都有一个输入和一个输出输入的神经元数量等于正在处理的数据输入变量的数量。输出的神经元数量等于与每个输入相关联的输出数量。...确定是否需要隐藏的规则如下: 人工神经网络,当且仅当数据必须非线性分离时,才需要隐藏。 如图2所示,似乎这些类必须是非线性分离的。一条单线不能分离数据。...我们将进一步讨论图2(a)的那个。 图2 接下来是通过一组线进行表达决策边界。 使用一组线来表示决策边界的事实依据是:任何ANN都是使用单层感知器作为构建块构建的。

2.5K00

卷积神经网络的直观解释

从上图可以看出,接收船只图像作为输入时,神经网络在所有四个类别中正确地为船只的分配了最高概率(0.94)。 输出中所有概率的总和应为1(本文稍后将对此进行说明)。...出于本文的目的,我们将仅考虑灰度图像,因此我们将使用表示图像的单个2d矩阵矩阵每个像素的值范围为0到255 —— 0表示黑色,255表示白色。...图7所示的网络 ,我们使用三个不同的过滤器对原始船图像进行卷积,从而产生三个不同的特征图,如图所示。你可以将这三个特征图视为堆叠的2d矩阵,因此,特征图的“深度”将为3。...卷积和池化的大多数特征可能对分类任务有利,但这些特征的组合可能更好[ 11 ]。 这里通过使用Softmax函数 作为全连接的输出的激活函数来确保全连接的输出概率之和为1。...例如,图像分类,卷积神经网络可以从第一中学习检测原始像素边缘,然后第二使用边缘检测简单形状,然后使用这些形状来检测更高级别的特征,例如面部形状较高层[ 14 ]。

52030

【视频】CNN(卷积神经网络)模型以及R语言实现回归数据分析|附代码数据

神经网络结构 神经网络通常包含一个输入,一个或多个隐藏以及一个输出输入由p个预测变量或输入单位/节点组成。不用说,通常最好将变量标准化。...这些输入单元可以连接到第一隐藏的一个或多个隐藏单元。与上一完全连接的隐藏称为密集图中,两个隐藏都是密集的。 输出的计算预测 输出计算预测,其中的单元数由具体的问题确定。...可以基于颜色强度将图像表示为数值矩阵。单色图像使用2D卷积进行处理,而彩色图像则需要3D卷积,我们使用前者。  核(也称为滤镜)将像素的正方形块卷积为后续卷积的标量,从上到下扫描图像。 ...我们之前使用Python进行CNN模型回归 ,本视频,我们R实现相同的方法。 我们使用一维卷积函数来应用CNN模型。我们需要Keras R接口才能在R中使用Keras神经网络API。...y输出部分分开,并将它们转换为矩阵类型。

71800

基于三维卷积神经网络的点云标记

其他类别的点用浅灰色着色 传统上,手工制作的特征现有方法[1],[2],[3]中被广泛使用。然而,近年来深度学习技术的发展表明,最简单的象素特征可以直接与神经网络相结合,共同训练。...在线测试需要一个没有输入标签的原始点云。点云通过一个密集的体素网格进行解析,得到一组分别以每个网格中心为中心的占用体素。然后将体素作为训练后的三维卷积网络的输入,每个体素网格将产生一个准确的标签。...我们的实验,我们发现占用值足以产生一个好的结果。 通过移动中心点,可以生成不同局部体素化结果的字典。图3显示了原始输入点云和生成的体素。 ? (b) 图3 密集体素化的图示。...五 3D卷积神经网络 在生成体素之后,我们将它们输入到三维卷积神经网络。以下是一些制作3D-CNN的基本模块。 A.3D卷积 三维卷积可以表示为c(n,d,f)。...B.三维池化 一个3d池化可以表示为P(n,g),即输入大小为n×n×n的池和一个池内核g×g×g,我们使用3d 最大池化。

2.3K30

R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)

p=23184 本文中,我们将学习如何使用keras,用手写数字图像数据集(即MNIST)进行深度学习。本文的目的是为了让大家亲身体验并熟悉培训课程神经网络部分。...input_matrix 3 卷积神经网络模型 本节,我们将展示如何使用卷积神经网络(CNN)对MNIST手写数据集进行分类,将图像分为数字。...一个典型的池化将2x2池大小的最大值作为输出的新值,这基本上是将大小减少到一半。除了池化邻居值之外,也可以使用Dropout。...几个二维卷积之后,我们还需要将三维张量输出 "扁平化 "为一维张量,然后添加一个或几个密集,将二维卷积的输出连接到目标因变量类别。...3.3.1 定义一个CNN模型结构 现在我们定义一个CNN模型,其中有两个带有最大池的二维卷积,第2带有附加滤波以防止过拟合。然后将输出扁平化,并使用两个密集连接到图像的类别。

1.3K30

R语言深度学习卷积神经网络 (CNN)对 CIFAR 图像进行分类:训练与结果评估可视化

作为输入,CNN接受形状的张量(image\_height, image\_width, color\_channels),忽略了批次大小。...在这个例子,你将配置我们的CNN来处理形状为(32,32,3)的输入,这是CIFAR图像的格式。你可以通过将参数input_shape传递给我们的第一来做到这一点。...通常情况下,随着宽度和高度的缩小,你可以承受(计算上)每个Conv2D增加更多的输出通道。...顶部添加密集 为了完成我们的模型,您需要将卷积基(形状为 (3, 3, 64))的最后一个输出张量输入一个或多个 Dense 以执行分类。密集将向量作为输入(1D),而当前输出是 3D 张量。...首先,您将 3D 输出展平(或展开)为 1D,然后顶部添加一个或多个 Dense 。CIFAR 有 10 个输出类,因此您使用具有 10 个输出和 softmax 激活的最终 Dense

1.4K20

OpenAI 发布稀疏计算内核,更宽更深的网络,一样的计算开销

稀疏权重矩阵密集权重矩阵有明显的不同,就是其中的很多值都是零。稀疏权重矩阵是许多模型所向往的基础部件,因为有稀疏的块参与的矩阵乘法和卷积操作的计算成本只是和块中非零数字的数目成比例而已。...对于卷积来说,这个内核的输入和输出特征维度都可以是稀疏的;而空间维度的连接性不受到任何影响。...训练后的网络文本生成建模、半监督情感分类上都有更好的表现。 OpenAI 的研究人员们训练了参数数目差不多的稀疏块权重网络和密集权重矩阵网络,对比它们的表现。...带有稀疏块的线性架构如果换成密集连接的线性,这个结果也可以得到进一步的提高。...神经网络的多数权重在训练结束后都可以剪枝。如果让剪枝动作配合此次的稀疏内核使用,那推理时能节省多少计算时间、提高多少计算速度呢?

53750

CNN(卷积神经网络)模型以及R语言实现

视频:CNN(卷积神经网络)模型以及R语言实现 神经网络结构 神经网络通常包含一个输入,一个或多个隐藏以及一个输出输入由p个预测变量或输入单位/节点组成。不用说,通常最好将变量标准化。...这些输入单元可以连接到第一隐藏的一个或多个隐藏单元。与上一完全连接的隐藏称为密集图中,两个隐藏都是密集的。 ? 输出的计算预测 输出计算预测,其中的单元数由具体的问题确定。...可以基于颜色强度将图像表示为数值矩阵。单色图像使用2D卷积进行处理,而彩色图像则需要3D卷积,我们使用前者。 核(也称为滤镜)将像素的正方形块卷积为后续卷积的标量,从上到下扫描图像。...我们之前使用Python进行CNN模型回归 ,本视频,我们R实现相同的方法。 我们使用一维卷积函数来应用CNN模型。我们需要Keras R接口才能在R中使用Keras神经网络API。...本教程,我们简要学习了如何使用R的keras CNN模型拟合和预测回归数据。 ---- ? 最受欢迎的见解

2.7K20
领券