torch.cat(tensors, dim = 0) 函数拼接操作是在现有维度上合并数据，并不会创建新的维度。如果在合并数据时，希望创建一个新的维度，则需要使用 torch.stack 操作。
🔎使用 Tensor.numpy 函数可以将张量转换为 ndarray 数组，但是共享内存，可以使用 copy 函数避免共享。
此外也可以分为更复杂的组，如分为.split([2, 1], dim=0)，表示一组是2个长度、另一组的1个长度。因使用简单，这里不再赘述。
博主的研究方向是目标检测，深度学习框架使用Pytorch，在日常的使用过程中经常会碰到一些问题，因此整理一下pytorch的一些常用接口和使用技巧。
能够以准确有效的方式构建神经网络是招聘人员在深度学习工程师中最受追捧的技能之一。PyTorch 是一个 主要用于深度学习的Python 库。PyTorch 最基本也是最重要的部分之一是创建张量，张量是数字、向量、矩阵或任何 n 维数组。在构建神经网络时为了降低计算速度必须避免使用显式循环，我们可以使用矢量化操作来避免这种循环。在构建神经网络时，足够快地计算矩阵运算的能力至关重要。
张量命名是一个非常有用的方法，这样可以方便地使用维度的名字来做索引或其他操作，大大提高了可读性、易用性，防止出错。
torch.split(Tensor, split_size_or_sections, dim)
在整个注意力过程中，模型会学习了三个权重:查询、键和值。查询、键和值的思想来源于信息检索系统。所以我们先理解数据库查询的思想。
张量是一个多维数组，它是标量、向量和矩阵概念的推广。在深度学习中，张量被广泛用于表示数据和模型参数。
Tensors are a specialized data structure that are very similar to arrays and matrices. In PyTorch, we use tensors to encode the inputs and outputs of a model, as well as the model’s parameters.
哈喽，各位同学好，从今天开始，我将不定期分享研究深度学习框架PyTorch过程中的一些学习心得和笔记。
原标题：Stack Vs Concat In PyTorch, TensorFlow & NumPy - Deep Learning Tensor Ops
BERT可能是最流行的NLP迁移学习方法。Huggingface的实现提供了许多不错的功能，并在漂亮的API之后抽象了细节。
在transformer中使用了位置编码，为什么需要位置编码。因为对于transformer中的注意力机制而言，交换两个单词，并不会影响注意力的计算，也就是说这里的注意力是对单词位置不敏感的，而单词之间的位置信息往往是很重要的，因此考虑使用位置编码。
Pytorch提供的方法比numpy更全面，运算速度更快，如果需要的话，还可以使用GPU进行加速。
张量 标量：0维张量 向量：1维张量 矩阵：2维张量 张量：一个多维数组，标量、向量、矩阵的高维扩展 Tensor
多个tensor向量在某个维度上进行堆叠。注意的是：stack只是torch的函数。
本篇文章将要总结下Pytorch常用的一些张量操作，并说明其作用，接着使用这些操作实现归一化操作的算法，如BN,GN,LN,IN等！
深度学习框架学起来还是 pytorch 更舒服，简洁易懂，个人觉得比 tensorflow 学起来更轻松，并且目前学术界大多用的也都是 pytorch 来复现代码，所以这篇博客就记录一下我学习的过程中的笔记。
“My ridiculous dog is amazing。” [sentiment：positive]
xLSTM的新闻大家可能前几天都已经看过了，原作者提出更强的xLSTM，可以将LSTM扩展到数十亿参数规模，我们今天就来将其与原始的lstm进行一个详细的对比，然后再使用Pytorch实现一个简单的xLSTM。
理论学习 胶囊结构 胶囊可以看成一种向量化的神经元。对于单个神经元而言，目前的深度网络中流动的数据均为标量。例如多层感知机的某一个神经元，其输入为若干个标量，输出为一个标量（不考虑批处理）；而对于胶囊
boradcasting简而言之有两大特点：（1）功能类似于上期讲的expand，可以实现维度扩展。（2）但它不需要复制数据，因此可以极大的节省内存空间。
回顾上文中的DDPG，DDPG是源于DQN，它使用神经网络替换maxQ(s',a')的功能来解决连续空间问题。也就是说DDPG的Actor网络输出的是一个动作，他的目标是输出一个动作，这个动作输入到Critic后，能过获得最大的Q值。和DQN一样，更新的时候如果更新目标在不断变化会使学习过程困难，所以需要固定目标网络，求target的网络更新后再赋值参数，所以需要四个网络。
对 tensors 沿指定维度拼接，但会额外增加一维拼接的维度，即拼接时来自于 tensors 中每个 tensor 中的拼接元素单独组成一个维度。
这些天无论是还是私信，很多人希望看到更多关于深度学习基础内容，这篇文章想要分享的是关于pytorch的转换函数。
1. 数据格式转换: 将不同格式的数据(如PIL图像、NumPy数组)转换为PyTorch张量,以便能够被深度学习模型处理。例如,transforms.ToTensor() 将图像转换为张量。
torch.meshgrid（）的功能是生成网格，可以用于生成坐标。函数输入两个数据类型相同的一维张量，两个输出张量的行数为第一个输入张量的元素个数，列数为第二个输入张量的元素个数，当两个输入张量数据类型不同或维度不是一维时会报错。
当然在 PyTorch 中，转换函数的主要意义主要是用于对进行数据的预处理和数据增强，使其适用于深度学习模型的训练和推理。
Pytorch很灵活，支持各种OP和Python的动态语法。但是转换到onnx的时候，有些OP（目前）并不支持，比如torch.cross。这里以一个最小化的例子来演示这个过程，以及对应的解决办法。
时间序列预测是一个经久不衰的主题，受自然语言处理领域的成功启发，transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer 模型的时间序列预测的一个起点。
改变张量的形状，如果可以，会返回一个input的view。否则，会复制一份， 参数
朋友，你还在为构建Pytorch中的数据管道而烦扰吗？你是否有遇到过一些复杂的数据集需要设计自定义collate_fn却不知如何下手的情况？你是否有遇到过数据管道加载速度过慢成为训练性能瓶颈却不知道如何优化的情况？
摘要：我们介绍DySample，一个超轻量和有效的动态上采样器。虽然最近基于内核的动态上采样器(如CARAFE、FADE和SAPA)的性能提升令人印象深刻，但它们带来了大量的工作负载，主要是由于耗时的动态卷积和用于生成动态内核的额外子网络。此外，对高特征指导的需求在某种程度上限制了它们的应用场景。为了解决这些问题，我们绕过动态卷积并从点采样的角度制定上采样，这更节省资源，并且可以很容易地使用PyTorch中的标准内置函数实现。我们首先展示了一个朴素的设计，然后演示了如何逐步加强其上采样行为，以实现我们的新上采样器DySample。与以前基于内核的动态上采样器相比，DySample不需要定制CUDA包，并且具有更少的参数、FLOPs、GPU内存和延迟。除了轻量级的特点，DySample在五个密集预测任务上优于其他上采样器，包括语义分割、目标检测、实例分割、全视分割和单目深度估计。
d[0][0]的位置是由a[0][0] 的 [1] , b[0][0] 的 [10]， c[0][0] 的 [100] ，这3个 元素叠加构成的一个size为3的新的元素[1,10,100]，所以d的维度就是3 * 3 *3。这里注意dim参数！！！！！！！虽然他们是在第二个维度相叠加，（pytorch中从0开始计数，所以也就是第一个维度是dim=0，第二个维度是dim=1），但是我在stack函数中写的dim却是 dim=2，也即第三个维度，这是说我们最终的生成结果位于第三个维度，而不是说，原来的元素是第三个维度。所以还有另外一种写法，写dim=-1，不管你原来是啥，我就指定最后一个维度。
YOLOv3是一个单阶段的目标检测器，将目标划分为不同的grid，每个grid分配3个anchor作为先验框来进行匹配。首先读一下代码中关于grid创建的部分。
d[0][0]的位置是由a[0][0] 的 [1] , b[0][0] 的 [10]， c[0][0] 的 [100] ，这3个 元素叠加构成的一个size为3的新的元素[1,10,100]
【GiantPandaCV导语】本文是笔者出于兴趣搞了一个小的库，主要是用于定位红外小目标。由于其具有尺度很小的特点，所以可以尝试用点的方式代表其位置。本文主要采用了回归和heatmap两种方式来回归关键点，是一个很简单基础的项目，代码量很小，可供新手学习。
除了空间信息(Spatial Information)，时间信息(Temporal Information)对视觉系统理解周围环境也至关重要。例如，通过Temporal Information可以推测除移动物体的速度和静态障碍物。
详细的实验分析表明，SKNet 中的神经元可以捕获具有不同比例的目标对象，实验验证了神经元根据输入自适应地调整其感受野大小的能力。
本教程的数据摘自Kaggle，该数据最初由Intel在analytics-vidhya上发布，以举办图像分类挑战赛。
此数据包含大小为150x150、分布在6个类别下的约25k图像。 {'建筑物'：0，'森林'：1，'冰川'：2，'山'：3，'海'：4，'街道'：5}
疫情在家的这段时间，系统的学习一遍 Pytorch 基础知识，因为我发现虽然直接 Pytorch 实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实， 对 Pytorch 的使用依然是模模糊糊， 跟着人家的代码用 Pytorch 玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会 Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先知道有啥东西）然后再通过实战（各个东西具体咋用）来填充这个框架。而「这个系列的目的就是在脑海中先建一个 Pytorch 的基本框架出来, 学习知识，知其然，知其所以然才更有意思」。
可以看出，torch.Tensor()没有保留数值类型，其它三个都保留了。这是因为torch.Tensor()实际上是一个类，传入的数据需要“初始化”；其它三个都是函数，而通过torch.Tensor()生成的张量的数据类型是由一个环境变量决定的，这个环境变量可以通过torch.set_default_tensor_type(t)这个函数来设定。
论文链接：https://arxiv.org/pdf/1711.02257.pdf
跟2d的FCOS差不太多， 主要是依靠图片坐标系来分配target： def _get_target_single(self, gt_bboxes, gt_labels, gt_bboxes_3d, gt_labels_3d, centers2d, depths, attr_labels, points, regress_ranges, num_points_per_lvl): "
图像处理论文详解 | Deformable Convolutional Networks | CVPR | 2017
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
