文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

einsum，一个函数走天下

简单的说，应用 einsum 就是省去求和式中的求和符号，例如下面的公式： ? 以 einsum 的写法就是： ? 后者将 ? 符号给省去了，显得更加简洁；再比如： ? ?...在实现一些算法时，数学表达式已经求出来了，需要将之转换为代码实现，简单的一些还好，有时碰到例如矩阵转置、矩阵乘法、求迹、张量乘法、数组求和等等，若是以分别以 transopse、sum、trace、tensordot...：diag 张量（沿轴）求和：sum 张量转置：transopose 矩阵乘法：dot 张量乘法：tensordot 向量内积：inner 外积：outer 该函数在 numpy、tensorflow、...对应的 einsum 实现： 下面以 numpy 做一下测试，对比 einsum 与各种函数的速度，这里使用 python 内建的 timeit 模块进行时间测试，先测试（四维）两张量相乘然后求所有元素之和...最后，再测试 einsum 与另一个常用的函数 tensordot，首先定义两个四维张量的及 tensordot 函数： 该实现对应的公式为： ?

1.9K20
您找到你想要的搜索结果了吗？
是的
没有找到

深度学习中关于张量的阶、轴和形状的解释 | Pytorch系列（二）

文 |AI_study 今天是《高效入门Pytorch》的第二篇文章，上一篇我们讲解到《张量解释——深度学习的数据结构》。 在这篇文章中，我们将深入研究张量，并介绍三个基本的张量属性，阶，轴和形状。...注意，在PyTorch中，张量的大小和形状是一样的。 3 x 3的形状告诉我们，这个2阶张量的每个轴的长度都是3，这意味着我们有三个沿着每个轴可用的索引。现在让我们看看为什么张量的形状如此重要。...现在，假设我们需要重构 t 的形状为[1,9]。这将为我们提供一个沿第一个轴的数组和沿第二个轴的九个数字。...，形状中的分量值的乘积必须等于张量中元素的总数。...很快，我们将看到在PyTorch中创建张量的各种方法。 文章中内容都是经过仔细研究的，本人水平有限，翻译无法做到完美，但是真的是费了很大功夫。

3K40

NumPy中einsum的基本介绍

现在假设我们想要： 用一种特殊的方法将A和B相乘来创建新的乘积的数组，然后可能 沿特定轴求和这个新数组，和/或 按特定顺序转置数组的轴。...要了解输出数组的计算方法，请记住以下三个规则： 在输入数组中重复的字母意味着值沿这些轴相乘。乘积结果为输出数组的值。 在本例中,我们使用字母j两次：A和B各一次。这意味着我们将A每一行与B每列相乘。...这只在标记为j的轴在两个数组中的长度相同（或者任一数组长度为1）时才有效。 输出中省略的字母意味着沿该轴的值将相加。 在这里，j不包含在输出数组的标签中。...知道如何将不同的轴相乘，然后如何对乘积求和，我们可以迅速而简单地表达许多不同的操作。这使我们可以相对容易地将问题推广到更高维度。例如，我们不必插入新的轴或转置数组以使它们的轴正确对齐。...最后，einsum并不总是NumPy中最快的选择。如函数dot和inner经常链接到BLAS例程可以超越einsum在速度方面，tensordot函数也可以与之相比。

11.8K30

PyTorch，TensorFlow和NumPy中Stack Vs Concat | PyTorch系列（二十四）

我们将研究在PyTorch，TensorFlow和NumPy中的堆栈和串联。我们开始做吧。 在大多数情况下，沿着张量的现有轴进行连接非常简单。当我们想沿着新的轴进行连接时，通常会产生混乱。...如何在张量中添加或插入轴 为了演示添加轴的想法，我们将使用PyTorch。...这意味着我们正在扩展现有轴的长度。 当我们叠加的时候，我们创建了一个新的轴这是以前不存在的这发生在我们序列中的所有张量上，然后我们沿着这个新的序列。 让我们看看如何在PyTorch中实现这一点。...请注意，每个张量都有一个轴。这意味着cat函数的结果也将具有单个轴。这是因为当我们连接时，我们沿现有的轴进行连接。请注意，在此示例中，唯一存在的轴是第一个轴。...现在，假设我们的任务是将这些张量连接在一起以形成三个图像的单批张量。 我们是串联还是堆叠？ 好吧，请注意，在此示例中，仅存在三个维度，对于一个批次，我们需要四个维度。这意味着答案是沿新轴堆叠张量。

2.5K10

盘一盘 Python 特别篇 23 - 爱因斯坦求和 einsum

在 NumPy 包中，有一个函数叫做 einsum，它做的事情就是加总 (summation)，但是是以爱因斯坦加总惯例 (Einstein's summation convention) 进行，因此得以此名...在深度学习框架 Tensorflow 和 PyTorch 也有这个函数，而且用法几乎一样，使用 einsum 首先需要从各自包中引用： from numpy import einsum from torch...这样的操作重复做最终填满形状为 (5, 2) 的二维矩阵 ("ijk,jil->kl") ，因为 A 沿轴 2 的元素个数是 5，B 沿轴 2 的元素个数是 2。...8 指标 o 对应维度中的元素个数为 5 4 总结 NumPy 包中的 einsum 可以替代如下常用的运算， 矩阵求迹: trace 求矩阵对角线: diag 张量（沿轴）求和: sum 张量转置:...transopose 矩阵乘法: dot 张量乘法: tensordot 向量内积: inner 外积: outer 另外两表胜千言！

1.9K20

JAX 中文文档（十三）

cumprod(a[, axis, dtype, out]) 返回沿给定轴的元素的累积乘积。 cumsum(a[, axis, dtype, out]) 返回沿给定轴的元素的累积和。...tensordot(a, b[, axes, precision, …]) 计算两个 N 维数组的张量点积。 tile(A, reps) 通过重复 A 指定的次数构造一个数组。...svdvals(x, /) 计算矩阵的奇异值。 tensordot(x1, x2, /, *[, axes, precision, …]) 计算两个 N 维数组的张量点积。...s（整数序列，可选） – 输出的各个转换轴的形状（s[0] 指代轴 0，s[1] 指代轴 1，等等）。这对应于 fft(x, n) 中的 n。沿任何轴，如果给定的形状比输入的小，则输入会被裁剪。...LAX 后端实现的 numpy.fft.ifft2()。 下面是原始的文档字符串。 此函数通过快速傅里叶变换（FFT）在 M 维数组中的任意数量的轴上计算二维离散傅里叶逆变换。

10610

Pytorch最新工具mm，3D可视化矩阵乘法、Transformer注意力

Pytorch团队最新的一篇文章中，介绍了「mm」，一个用于matmuls和matmuls组合的可视化工具。...现在，计算就有了几何意义： 结果矩阵中的每个位置 i, j 锚定了立方体内部沿深度维度 k 运行的向量，其中从 L 中的第 i 行延伸出水平面和从 R 中的第 j 列延伸的垂直平面相交。...第三个平面分解沿k轴进行，通过向量外积的点和计算出矩阵乘法结果。...是一个融合了向量-矩阵乘积的链条，证实了从输入到输出的整个左关联链条沿着共享的 i 轴是层状的这一几何直觉，并且可以并行化。...基本思想 简而言之，关键的一步是训练权重矩阵的因子，而不是矩阵本身：用 I x K 张量和 K x J 张量的matmul替换 I x J 权重张量，保持 K 为某个小数字。

41630

NumPy 舍入小数、对数、求和和乘积运算详解

示例：import numpy as nparr = np.arange(1, 10)print(np.log(arr))任意底数的对数NumPy 不提供任意底数的对数函数，所以我们可以使用 frompyfunc...([1, 2, 3])newarr = np.sum([arr1, arr2])print(newarr)返回：12沿轴求和如果指定 axis=1，则 NumPy 将对每个数组中的数字进行求和。...示例在以下数组上沿第一个轴执行求和：import numpy as nparr1 = np.array([1, 2, 3])arr2 = np.array([1, 2, 3])newarr = np.sum...)print(x)返回：40320，因为 1*2*3*4*5*6*7*8 = 40320沿轴的乘积如果指定 axis=1，则 NumPy 将返回每个数组的乘积。...示例在以下数组上沿第一个轴执行乘积：import numpy as nparr1 = np.array([1, 2, 3, 4])arr2 = np.array([5, 6, 7, 8])newarr

11110

tf.compat

.): 返回一个张量的指标，该指标给出了张量沿轴的排序顺序。as_dtype(...): 将给定的type_value转换为DType。....): 计算张量x沿轴的累积积。cumsum(...): 沿着轴计算张量x的累积和。custom_gradient(...): 修饰符来定义具有自定义渐变的函数。....): 计算张量沿段的最小值。segment_prod(...): 沿着张量的段计算乘积。segment_sum(...): 沿着张量的段计算和。....): 根据指标从现有张量中减去稀疏更新。tensor_scatter_update(...): 根据指标将更新分散到现有张量中。tensordot(...): a和b沿指定轴的张量收缩。....): 沿着张量的段计算乘积。unsorted_segment_sqrt_n(...): 计算张量沿段的和除以根号N。unsorted_segment_sum(...): 沿着张量的段计算和。

5.2K30

张量的数学运算

在低阶API层次上，可以把Pytorch当做一个增强版的numpy来使用。 Pytorch提供的方法比numpy更全面，运算速度更快，如果需要的话，还可以使用GPU进行加速。...标量运算符的特点是对张量实施逐元素运算。 有些标量运算符对常用的数学运算符进行了重载。并且支持类似numpy的广播特性。...u,一个对角阵s和一个正交矩阵v.t()的乘积 #svd常用于矩阵压缩和降维 a=torch.tensor([[1.0,2.0],[3.0,4.0],[5.0,6.0]]) u,s,v = torch.svd...(a) print(u,"\n") print(s,"\n") print(v,"\n") print(u@torch.diag(s)@v.t()) #利用svd分解可以在Pytorch中实现主成分分析降维...的广播规则和numpy是一样的: 1、如果张量的维度不同，将维度较小的张量进行扩展，直到两个张量的维度都一样。

2.7K20

D2L学习笔记00：Pytorch操作

具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。 可以使用 arange 创建一个行向量 x。...（沿每个轴的长度）的形状 x.shape # torch.Size([12]) x.numel() # 12 要想改变一个张量的形状而不改变元素数量和元素值，可以调用reshape函数。...只需要提供张量列表，并给出沿哪个轴连结。 下面的例子分别演示了当沿行（轴-0，形状的第一个元素）和按列（轴-1，形状的第二个元素）连结两个矩阵时，会发生什么情况。...可以看到，第一个输出张量的轴-0长度（6）是两个输入张量轴-0长度的总和（3 + 3）；第二个输出张量的轴-1长度（8）是两个输入张量轴-1长度的总和（4 + 4）。...([3.5000]), 3.5, 3.5, 3) 小结 深度学习中存储和操作数据的主要接口是张量（n维数组），Pytorch中张量的基本操作与Python数组、Numpy中基本一致，但要特别注意Pytorch

1.6K10
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券