文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

业界 | Uber提出SBNet：利用激活的稀疏性加速卷积网络

为了利用经过高度优化的密集的卷积算子，我们定义了两个运算操作来将稀疏的激活变换成仅包含非零元素的更小的特征图。...首先通过使用来自输入张量的重叠块来在注意掩码上执行池化运算，然后将其转换成一个传递给块收集操作的索引列表，SBNet 实现了这一目标，如图 2 所示： ?...图 2：为了利用 CNN 激活中的稀疏性，SBNet 首先将计算掩码转换成 tile 索引列表 然后聚（gather）操作会将 tile 沿批（batch）维度堆叠在一起，形成一个新的张量。...然后使用已有的优化过的密集卷积实现，然后一个自定义的散（scatter） 操作会执行一个反向的运算并将结果写在原始密集输入张量之上。...这些变体基于两个不同的稀疏性信息来源：一个使用了预计算的道路地图（事先已知），另一个使用了预测得到的前景掩码。道路地图可以从离线的地图中提取，这不会给检测器增加计算时间。

1.1K60

Uber提出SBNet：利用激活的稀疏性加速卷积网络

为了利用经过高度优化的密集的卷积算子，我们定义了两个运算操作来将稀疏的激活变换成仅包含非零元素的更小的特征图。...首先通过使用来自输入张量的重叠块来在注意掩码上执行池化运算，然后将其转换成一个传递给块收集操作的索引列表，SBNet 实现了这一目标，如图 2 所示： 图 2：为了利用 CNN 激活中的稀疏性，SBNet...首先将计算掩码转换成 tile 索引列表 然后聚（gather）操作会将 tile 沿批（batch）维度堆叠在一起，形成一个新的张量。...然后使用已有的优化过的密集卷积实现，然后一个自定义的散（scatter） 操作会执行一个反向的运算并将结果写在原始密集输入张量之上。...这些变体基于两个不同的稀疏性信息来源：一个使用了预计算的道路地图（事先已知），另一个使用了预测得到的前景掩码。道路地图可以从离线的地图中提取，这不会给检测器增加计算时间。

78980
您找到你想要的搜索结果了吗？
是的
没有找到

Python人工智能在贪吃蛇游戏中的运用与探索（中）

如何表示这么多的内容，并准确的传入神经网络进行计算呢？ 我们使用了一个很重要的数据结构-----「张量」。 这一次，我们的主题是：「张量(Tensor)是什么，是怎么流动的(Flow)？」...「张量通过numpy 实现数据的流动」 NumPy是Python中科学计算的基础包。...它是一个提供多维数组对象，各种派生对象（如掩码数组和矩阵），以及用于数组快速操作的各种例程，包括数学，逻辑，形状操作，排序，选择，I / O离散傅立叶变换，基本线性代数，基本统计运算，随机模拟等等。...一般的操作过程是：tensorflow定义所有的计算过程，即计算流图，并建立神经网络，创建输入tensor，这时候，表示一个定义计算过程，并不真正进行计算；然后进入下一步，tensor通过显性或者隐性自动转换成...从上面图中可以看到，存储的数据往往有18项，最终我们通过tensorflow和numpy数据处理，将18个float8数据化成了action，即用0,1,2,3来表示方向。

2.3K50

TensorFlow官方教程翻译：TensorFlow调试器

TensorFlow调试器是TensorFlow专门的调试器。它提供运行的TensorFlow的图其内部的结构和状态的可见性。从这种可见性中获得的洞察力有利于调试各种模型在训练和推断中出现的错误。...这个教程将展现tfdbg的命令行界面的功能，并聚焦于如何调试在TensorFLow的模型开发中经常发生的一种错误：错误数值（nan和inf）导致的训练失败。...它可以用操作或者张量注释创建它们的Python文件的每行。...调试器在图中插入了额外的特殊目的的调试节点，来记录中间的张量的数值。这些节点肯定会减缓图的运行。如果你对剖析你的模型感兴趣，查看TensorFlow的tfprof和其他剖析工具。...2.在运行时，减少使用的批处理的大小。 3.使用tfbdg的过滤器选项运行命令，仅查看图中特殊的节点。例如： tfdbg> run --node_name_filter .

1.4K60

TensorFlow是什么？怎么用？终于有人讲明白了

导读：在开始使用TensorFlow之前，必须了解它背后的理念。该库很大程度上基于计算图的概念，除非了解它们是如何工作的，否则无法理解如何使用该库。...要理解的一个重要方面是，这样的图仅定义了对两个输入值（在这里为x和y）执行什么操作（在这里为求和）以获得结果（在这里为z）。它基本上定义了“如何”。...▲图1-19 要计算图1-18中的图，必须为输入节点x、y和A赋值，然后通过图计算节点 神经网络基本上是一个非常复杂的计算图，其中每个神经元由图中的几个节点组成，这些节点将它们的输出馈送到一定数量的其他神经元...我将在下一节展示如何使用这三种不同类型的张量，以及在开发模型时应该考虑哪些方面。 03 创建和运行计算图 下面开始使用TensorFlow来创建计算图。...请记住，也可以要求TensorFlow仅计算中间步骤。

74820

TensorFlow是什么？怎么用？终于有人讲明白了

导读：在开始使用TensorFlow之前，必须了解它背后的理念。该库很大程度上基于计算图的概念，除非了解它们是如何工作的，否则无法理解如何使用该库。...要理解的一个重要方面是，这样的图仅定义了对两个输入值（在这里为x和y）执行什么操作（在这里为求和）以获得结果（在这里为z）。它基本上定义了“如何”。...▲图1-19 要计算图1-18中的图，必须为输入节点x、y和A赋值，然后通过图计算节点 神经网络基本上是一个非常复杂的计算图，其中每个神经元由图中的几个节点组成，这些节点将它们的输出馈送到一定数量的其他神经元...我将在下一节展示如何使用这三种不同类型的张量，以及在开发模型时应该考虑哪些方面。 03 创建和运行计算图 下面开始使用TensorFlow来创建计算图。...请记住，也可以要求TensorFlow仅计算中间步骤。

1.2K10

TensorFlow是什么？怎么用？终于有人讲明白了

导读：在开始使用TensorFlow之前，必须了解它背后的理念。该库很大程度上基于计算图的概念，除非了解它们是如何工作的，否则无法理解如何使用该库。...01 计算图 要了解TensorFlow的工作原理，必须了解计算图是什么。计算图是一幅图，其中每个节点对应于一个操作或一个变量。变量可以将其值输入操作，操作可以将其结果输入其他操作。...要理解的一个重要方面是，这样的图仅定义了对两个输入值（在这里为x和y）执行什么操作（在这里为求和）以获得结果（在这里为z）。它基本上定义了“如何”。...我将在下一节展示如何使用这三种不同类型的张量，以及在开发模型时应该考虑哪些方面。 03 创建和运行计算图 下面开始使用TensorFlow来创建计算图。...请记住，也可以要求TensorFlow仅计算中间步骤。

84110

TensorFlow 分布式之论文篇 TensorFlow : Large-Scale Machine Learning on Heterogeneous Distributed Syst

变量是一种特殊的操作，它返回持久可变张量的句柄，这些句柄可以被传递给少量特殊的操作，例如 Assign 和AssignAdd（相当于+=），通过这些操作就可以改变这些变量引用的张量。 3....布局（placement）算法的一个输入是成本模型（cost model），该模型包含每个计算图节点的输入和输出张量的大小（字节）估计，以及每个节点在获得输入张量之后所需的计算时间估计。...如果一个 TensorFlow 计算图中的张量 C 可能通过一个复杂的操作子图依赖于一组张量{ }，那么一个内置函数将返回张量集{ }。...张量 C 依赖于张量 I，当 TensorFlow 需要计算张量 C 相对于张量I的梯度时，它首先在计算图中找到从 I 到 C 的路径。...4.5 输入操作 虽然可以通过 feed 节点把输入数据提供给计算调用，但用于训练大规模机器学习模型的另一种常见机制是在图中部署有特定的输入操作节点，这种节点通常配置成一组文件名，该节点每次执行时产生一个张量

3.3K20

Transformers 4.37 中文文档（九十四）

可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得值，例如通过 soundfile 库（pip install soundfile）。...值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如通过 soundfile 库（pip install soundfile）。...这种情况也被称为弱监督，因为模型本身必须仅根据问题的答案学习适当的聚合操作符（SUM/COUNT/AVERAGE/NONE）。...您可以在数据框上使用.astype(str)将其转换为仅文本数据。当然，这只是如何对单个训练示例进行编码的示例。...您可以在数据框上使用.astype(str)将其转换为仅文本数据。当然，这仅显示了如何对单个训练示例进行编码。

600

PyTorch 模型性能分析和优化 - 第 3 部分

您无需成为 CUDA 专家即可通过应用我们在帖子中讨论的技术获得有意义的性能提升。...只有通过分析，我们才能识别潜在的性能瓶颈和训练加速的潜在机会。那么，话不多说，让我们看看我们的模型的表现如何。...然而，在我们的例子中，我们实际上不需要知道唯一标签的值，我们只需要知道唯一标签的数量。这可以通过在展平的目标张量上应用 torch.sort 操作并计算所得步骤函数中的步骤数来计算。...布尔掩码是我们常用的例程，用于减少所需的机器操作总数。在我们的例子中，我们的目的是通过删除“忽略”像素并将交叉熵计算限制为感兴趣的像素来减少计算量。显然，这适得其反。...例如，在布尔掩码的情况下，如果我们的掩码非常稀疏并且原始张量非常大，那么应用掩码所节省的计算量可能会超过主机设备同步的成本。重要的是，应根据具体情况评估每次优化的影响。

32520

写给初学者的Tensorflow介绍

本文的主要目的是为TensorFlow提供一个对初学者友好的介绍，我假设您已经知道一些python知识。 TensorFlow的核心组件是通过边遍历所有节点的计算图和张量。我们来逐个简单介绍一下。...意即，操作永远不会发生在图的开头，由此我们可以推断图中的每个操作都应该接受一个张量并产生一个新的张量。同样，张量不能作为非叶子节点出现，这意味着它们应始终作为输入提供给操作/节点。...当我们正向遍历时，遇到的顶点总是成为下一个顶点的依赖关系，例如没有a和b就无法获得c，同样的，如果不解决c和d则无法获得e。 同级节点的操作彼此独立，这是计算图的重要属性之一。...分布执行 Tensorflow允许用户使用并行计算设备更快地执行操作。计算的节点或操作自动调度进行并行计算。这一切都发生在内部，例如在上图中，可以在CPU上调度操作c，在GPU上调度操作d。...计算子图 子图是主图的一部分，其本身就是计算图。例如，在上面的图中，我们可以获得许多子图，其中之一如下所示 ?

1.1K10

深度学习框架机器学习的开源库TensorFlow

通过一种使用秩来显示维数的简单表示法，张量可以将复杂的 n 维矢量和超形状表示为 n 维数组。张量有两个属性：数据类型和形状。...它们使用多维数组在不同层之间传输数据或执行操作。张量在神经网络的不同层之间流动 — TensorFlow 因此而得名。 TensorFlow 的主要编程语言是 Python。...与其他架构相比，TPU 通过在每个周期中评估一个 TensorFlow 图中的每个适合执行的节点，显著减少了深度学习神经网络的训练时间。...基于 CPU、芯片集、管理程序和操作系统的特定组合，直通方法的开销可能会有所不同。通常，对于最新一代的硬件，开销要低得多。 一种给定的管理程序-操作系统组合仅支持特定的 NVIDIA GPU 卡。...要获得更多信息，请参阅 Android 中的新特性：O 开发人员预览版 2 及更多特性。 通过 Keras 简化 TensorFlow Keras 层和模型完全兼容纯 TensorFlow 张量。

1.1K10

tf.lite

(弃用)二、tf.lite.OpHint类它允许您使用一组TensorFlow操作并注释构造，以便toco知道如何将其转换为tflite。这在张量流图中嵌入了一个伪函数。...参数：张量指标:要得到的张量的张量指标。这个值可以从get_output_details中的'index'字段中获得。返回值：一个numpy数组。...注意，这将复制值中的数据。如果希望避免复制，可以使用张量()函数获得指向tflite解释器中的输入缓冲区的numpy缓冲区。参数：tensor_index:张量的张量索引。...仅当图无法加载到TensorFlow中，且input_tensors和output_tensors为空时才使用。(默认没有)output_arrays:用于冻结图形的输出张量列表。...仅当图无法加载到TensorFlow中，且input_tensors和output_tensors为空时才使用。

5.2K60

将Tensorflow调试时间减少90％

规范描述了代码应该执行的操作，而实现则描述了如何执行代码。一段代码仅在其规范方面是正确的。在Python中，您可以使用断言来编写规范，如下面所示。...如果张量B的值取决于张量A的值（例如B = A + 1），则图中的节点B到节点A之间应该有一条边。 您使用TensorBoard可视化Tensorflow图。...此可视化仅显示已注册的张量及其相关性。...使用张量方程评估对算法中的每个方程执行以下操作： 在每个优化步骤中，通过在session.run中添加它们来评估所涉及的张量。 用这些张量求值以numpy编写相同的方程式，以计算所需的值。...首先，它们要求您通过断言定义代码的正确性。编写规范并不是一个新主意，但VeriTensor使其实用： 形状断言要求您写下所引入的张量的形状-简单！ 张量依赖性仅要求您关注引入的张量。

1.2K30

TensorFlow基本使用教程

图中的节点被称之为 op (operation 的缩写)。 一个 op 获得 0 个或多个Tensor，执行计算，产生 0 个或多个 Tensor。 每个 Tensor 是一个类型化的多维数组。...注意，张量本身并不储存任何数据，它知识对运算结果的引用。通过张量，我们可以更好地组织TensorFlow程序。...TensorFlow的计算都可以通过计算图的模型来建立，而计算图上的每一个节点代表了计算，计算的结果就保存在 张量之中。...例如， 通常在构建阶段创建一个图来表示和训练神经网络，然后在执行阶段反复执行图中的训练 op。 在TensorFlow中张量可以被理解为多维数组。...Windows系统下显卡信息查看 在安装好cuda和cuDNN后，可通过以下操作查看新卡信息，这也是检测cuda和cuDNN安装是否成功的方法。 进入DOS命令框，输入nvdia-smi

1.6K40

TF-char5-TF2高级操作

char5-TF高阶操作 第五章主要是介绍了TensorFlow2的几个高阶操作，包含： 合并与分割 数据统计 张量比较 填充与复制 数据限幅 张量的高级操作 数据加载及预处理 ?...# 结果是[2,6,8] tf.stack([a,b], axis=-1) # 结果是[6,8,-1] 分割 合并的逆操作，将一个张量分成多个张量，通过tf.split(x,axis,num_or_size_splits...上面问题的解决 tf.gather_nd(x, [[1,1], [2,2], [3,3]]) tf.boolean_mask 通过掩码的方式来获取数据采样；掩码的长度必须和对应维度的长度一致 x = tf.random.uniform...tf.where 通过tf.where(cond, a, b)操作可以根据cond条件的真假从a 或 b 中读取数据 当a=b=None即 a,b 参数不指定时，``tf.where会返回cond张量中所有...只能在全0张量的白板上进行刷新，可能需要结合其他操作来实现现有张量的数据刷新功能。 shape：白板的形状 indices：需要刷新数据的索引 updates：需要插入进去的新数据 ?

2.7K10

图深度学习入门教程（二）——模型基础与实现框架

例如，调用函数tf.matmul后，在动态图与静态图中的区别如下： 在动态图中，程序会直接得到两个矩阵相乘的值。 在静态图中，程序只会生成一个OP（操作符）。...动态图的不足之处是：在动态图中，无法实现多会话（session）操作。 对于习惯了多会话（session）开发模式的用户，需要将静态图中的多会话逻辑转化单会话逻辑后才可以移植到动态图中。...这使得其没有太多的学习成本。直接拿来就用即可。 3 框架的张量封装 在神经网络框架中，主要是通过张量的封装来完成计算图上的操作的。下面来看看主流框架中是如何对张量进行封装的。...1.张量介绍 TensorFlow程序使用tensor数据结构来代表所有的数据。计算图中,操作间传递的数据都是tensor。 可以把TensorFlow tensor看作是一个n维的数组或列表。...获得张量中元素的个数 可以通过torch.numel函数来获得张量中元素的个数。

3K40

tensorflow（一）windows 10 python3.6安装tensorflow1.4与基本概念解读

数据流图是描述有向图中的数值计算过程。 有向图中，节点通常代表数学运算，边表示节点之间的某种联系，它负责传输多维数据(Tensors)。 节点可以被分配到多个计算设备上，可以异步和并行地执行操作。...你需要理解在TensorFlow中，是如何： ５步： 一.将计算流程表示成图； 二.通过Sessions来执行图计算； 三将数据表示为tensors； 四　使用Variables...一个节点获得 0 个或者多个张量 tensor，执行计算，产生0个或多个张量。...阶 在Tensorflow系统中，张量的维数被描述为阶。但是张量的阶和矩阵的阶并不是同一个概念。...对于一个二阶张量，你可以使用语句t[i, j]来访问其中的任何元素。而对于三阶张量你可以通过t[i, j, k]来访问任何元素： ?

1.5K40

tensorflow（一）windows 10 python3.6安装tensorflow1.4与基本概念解读

数据流图是描述有向图中的数值计算过程。 有向图中，节点通常代表数学运算，边表示节点之间的某种联系，它负责传输多维数据(Tensors)。 节点可以被分配到多个计算设备上，可以异步和并行地执行操作。...你需要理解在TensorFlow中，是如何： ５步： 一.将计算流程表示成图； 二.通过Sessions来执行图计算； 三将数据表示为tensors； 四　使用Variables...一个节点获得 0 个或者多个张量 tensor，执行计算，产生0个或多个张量。...阶 在Tensorflow系统中，张量的维数被描述为阶。但是张量的阶和矩阵的阶并不是同一个概念。...对于一个二阶张量，你可以使用语句t[i, j]来访问其中的任何元素。而对于三阶张量你可以通过t[i, j, k]来访问任何元素： ?

1.7K40

TensorFlow入门：一篇机器学习教程

通过简单地调用构造函数，就可以在计算图中添加变量。 一旦从训练模型开始，变量就特别有用，它们被用来保存和更新参数。作为构造函数参数传递的初始值表示可作为张量转换或返回的张量或对象。...TensorFlow还提供了一个feed机制，用于将张量修补到图中的任何操作，其中feed将用张量值替换操作的输出。供稿数据作为run()函数调用的参数传递。...占位符是TensorFlow允许开发人员通过绑定在某些表达式中的占位符将数据注入到计算图中的方式。...所以，如果你想计算一个向量x的余弦，TensorFlow操作将对通过的张量中的每个元素进行计算。...简化是通过跨越这些维度执行某些操作，从张量中移除一个或多个维度的操作。当前版本的TensorFlow支持的减少列表可以在这里找到。我们将在下面的例子中展示其中的一些。

4K10
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券