如图3中的④所示，将3D点云构造为图结构，点云中的各个点作为图的顶点，点与其邻域内的部分近邻点形成有向边，进而借助于图卷积网络（GCN），在谱域（spectral domain）[27-31]或空间域（...将中心点与其近邻点所组成的边向量分解到3个正交坐标基上，沿着各个基底（base）独立学习边特征。②特征提取（feature extraction）。...将提取到的特征与边向量和正交基之间的夹角成比例地聚合得到点之间的几何结构信息。...相关领域的应用有：在遥感领域的特殊场景（如地形）的拼接及重建；在文化遗产保护领域的古文物数字模型库（如故宫数字博物馆）的恢复与构建。...与传统的深度学习网络相比，transformer架构层次容易加深且具有更小的模型偏差，通常以自监督方式在大量训练数据上对模型进行预训练，有助于模型学习通用表征，进而针对下游任务在较小的数据集上进行微调。
模型可以将三维的卷积信息融合在 RNN 中。这种内嵌的三维卷积层使得 RNN 具有局部的动作敏感性，并可以使机器单元储存更好的短期特征。...推荐：视频预测任务新 SOTA，作者包括李飞飞等，团队包括清华大学、斯坦福大学、谷歌大脑等的研究人员。 ? 如上展示了三种将三维卷积融合到循环神经网络的方式，蓝色箭头表示使用三维卷积的数据转换路径。...a 和 b 分别在时空 LSTM 的前后加上三维卷积运算，它们本质上没有什么区别，而且将三维卷积放在 LSTM 单元外效果并不好。...c 则展示了 E3D-LSTM 的编码器解码器结构，它将三维卷积嵌入到 LSTM 单元内，从而将卷积特征用于循环网络的隐状态。...它能够为全连接（FC）、卷积（CNN）和循环（RNN）神经网络生成端到端的模型。
模型可以将三维的卷积信息融合在 RNN 中。这种内嵌的三维卷积层使得 RNN 具有局部的动作敏感性，并可以使机器单元储存更好的短期特征。...推荐：视频预测任务新 SOTA，作者包括李飞飞等，团队包括清华大学、斯坦福大学、谷歌大脑等的研究人员。 ? 如上展示了三种将三维卷积融合到循环神经网络的方式，蓝色箭头表示使用三维卷积的数据转换路径。...a 和 b 分别在时空 LSTM 的前后加上三维卷积运算，它们本质上没有什么区别，而且将三维卷积放在 LSTM 单元外效果并不好。...c 则展示了 E3D-LSTM 的编码器解码器结构，它将三维卷积嵌入到 LSTM 单元内，从而将卷积特征用于循环网络的隐状态。...，它能够为全连接（FC）、卷积（CNN）和循环（RNN）神经网络生成端到端的模型。
摘要 本文研究三维点云的标记问题。介绍了一种基于三维卷积神经网络的点云标记方法。我们的方法最大限度地减少了标记问题的先验知识，并且不像大多数以前的方法那样需要分割步骤或手工制作的特征。...我们的贡献主要包括：（1）提出了一个三维卷积神经网络（3D-CNN）的框架，并设计了一种有效的算法来标记复杂的三维点云数据。...A.3D卷积层 三维卷积层可以表示为c（n，d，f）。表示具有输入尺寸n×n×n的卷积层和具有尺寸f×f×f的d个特征映射。通常，在三维卷积层l的第m个特征图的位置（x，y，z）处的输出是 ?...我们将二维卷积层和二维池化层分别替换为三维卷积层和三维池化层，并获得我们的体系结构（图4）。 ? 图4 三维卷积神经网络。顶部的数字表示每个层中的节点数。...表1 两个三维卷积层中不同核数的比较 D.定性结果 图5显示了我们的方法在渥太华市大面积区域的标记结果。
高性能卷积计算中数据复用的动机 深度学习的发展过程中，较高的计算量是制约其应用的因素之一。卷积神经网络中，主要计算为三维的卷积计算（后简称为卷积），现有的主流处理器难以高性能，高效能的完成卷积计算。...实际上，针对三维的Tensor进行展开（即将卷积计算中的六层循环的内三层进行合并），很容易将卷积计算转化为矩阵乘法计算(im2col)。 其中一种展开方式如下图 （Ref....譬如依旧有一些简单方法可以让一个三维的MAC阵列（类似Cube Core）同时支持GEMM和GEMV操作，但依旧会有一些限制，由于数据复用的不同，这两类运算始终落在Roofline模型的不同位置。...这里引用Cloud TPU（TPU V2/3）的一些说明 Cloud TPU适合以下工作负载 由矩阵计算主导的模型 主循环内没有自定义TensorFlow操作的模型 需要训练数周或数月的模型 有效批量非常大的大型和极大型模型...Cloud TPU不适合以下工作负载 需要频繁分支或逐项代数主导的现有代数程序 稀疏方式访问内存的工作负载可能不适用于TPU 需要高精度算法的工作负载 显然，Cloud TPU聚焦在大型和极大型模型的加速上
作者单位：电子科技大学、国防科技大学 译者：Wangsy 论文、代码地址：在公众号「3D视觉工坊」，后台回复「三维卷积」，即可直接下载。...看点 问题：之前的方法的空间特征提取和时间运动补偿往往是顺序的，无法充分利用时空信息 方法：提出了一个利用可变形3D卷积（D3D）的可变形三维卷积网络（D3Dnet）来整合视频的时空信息 优点：D3D作为一个可以同时整合时间和空间的组件...： 1）对输入特征x使用三维卷积核进行采样 2）用函数w对采样值进行加权求和 具体地说，通过一个膨胀率为1的3×3×3卷积核的特征可以表示为： D3D是在C3D的基础上改进而来的，它可学习偏移量从而扩大空间感受野...最后，利用D3D采样网格生成输出特征，公式如下： 可变形三维卷积网络 首先将具有7帧的视频序列馈入到C3D层以生成特征，然后将这些特征馈入到5个残差D3D（resD3D）块以实现运动感知的深层时空特征提取...对于单阶段模型，将resD3D块替换为resC3D块，以便在不发生空间变形的情况下将这两个步骤整合在一起，对比如下图： 采用C3D比双阶段方法高0.1的PSNR。
本系列文章将利用公开的TPU V1相关资料，对其进行一定的简化、推测和修改，来实际编写一个简单版本的谷歌TPU，以更确切的了解TPU的优势和局限性。...本文将对TPU中的矩阵计算单元进行分析，并给出了SimpleTPU中32×32的脉动阵列的实现方式和采用该阵列进行卷积计算的方法，以及一个卷积的设计实例，验证了其正确性。...脉动阵列和矩阵计算 脉动阵列是一种复用输入数据的设计，对于TPU中的二维脉动阵列，很多文章中构造了脉动阵列的寄存器模型，导致阅读较为困难，而实际上TPU中的二维脉动阵列设计思路十分直接。...从矩阵乘法到三维卷积 卷积神经网络计算过程中，利用kh×kw×C的卷积核和H×W×C的featuremap进行乘加计算。...下面的MATLAB代码阐明了这种计算三维卷积的方式，9个结果错位相加的MATLAB代码如下所示 output = out1; output(2:end,2:end,:) = output(2:end,2
这几天又看了AMIR HERTZ和RANA HANOCKA的2019年的文章，关于如何在三维网格图形上应用卷积神经网络CNN。...PartA 总览 这篇文章的重点在于提供了一个在三维网格模型上应用卷积神经网络CNN的方法，并提出了能够自动简化网格模型以用于进行三维网格图形分类的神经网络MeshCNN。...之前常见到的一些三维图形CNN是基于点云的，因为网格图形的生成要比点云更加复杂且使用也更复杂，但基于网格图形可以得到与结构相关更紧密，效果更好的网络 应用在二维图像上的CNN已经很成熟了，但应用在三维模型上的网络常常需要将模型进行二维投影或使用体素网格...CNN 三维网格图形与传统CNN处理的二维图像很不相同，三维网格最大的问题在于其数据内在的不规律不统一性，需要对输入进行一些调整才能让应用卷积与池化。...PartC 网格卷积 一个网格图形是由一个二元组(V,F)定义的，V是三维顶点集合，F是三角形面定义了对应的顶点三元组，在这个组合下，图形的边集E也就定义出来了。
什么是卷积？ 如图： image.png 详细见卷积介绍。 1x1的卷积如何实现模型压缩 对于channel为1的图像，没有作用，对于大于1的图像就凸显作用了。...如果卷积核为5x5x32时候，参数量是：（5x5x32 + 1）x 192 = 153792。...image.png 中间加入一层1x1的卷积，降低输入的channel，再使用同样卷积核，参数量为： (1x1x16+ 1)x192 + (5x5x32 + 1)x16 = 16080，降低为原来：十分之一...image.png 因此这1x1的卷积核也被称为瓶颈层（bottleneck layer）。 性能？...1x1的卷积和被广泛应用，合理的构建bottleneck layer，可以显著减少参数，加速训练，且不降低网络性能，具体见吴恩达课程，youtobe，网易云课程。
，同时也拓宽了卷积神经网络的应用范围：从分类任务，物体识别，图像分割这些基本任务，拓展到人脸识别，人体关键点检测，三维重建等实际的应用场景。...第三，VGG首先训练浅网络结构，然后利用训练好的浅层网络，初始化深层网络，网络深度逐步加深（图1.1中ABCDE的深度逐步增加），可以说VGG网络将模型初始化用到了极致。...图2.1 VGG参数量 VGG模型的参数量接近AlexNet的3倍（其参数量如图2.1所示），大部分参数集中在第一个fc层，因为经过之前的特征提取网络，第一个fc层输入特征图尺度为7*7，所以第一个fc...在ILSVRC分类任务中，GoogLeNet使用7个模型集成，每张图片做144个随机裁剪的方法，达到了比VGG更高的分类精度，但7个模型的参数量依然小于VGG。...图5.2 DenseNet 总结 从2012年始，卷积神经网络的模型结构开始了飞速的发展，笔者仅仅谈到了几个经典的网络结构，但同样还有一些小而精巧的网络结构没有涉及，比如MobileNet，ShuffleNet
本文在预训练微调范式下对基于卷积的Seq2Seq模型进行了全面的实证评估。...本文发现： （1）预训练过程对卷积模型的帮助与对Transformer的帮助一样大； （2）预训练的卷积模型在模型质量和训练速度方面在某些场景中是有竞争力的替代方案。...并且遵循Transformer的主干模型，在该模型中，本文使用LayerNorm和残差连接形成每个子模块。因此，每个Conv block被写为： 就是上述的各个类型的卷积。...卷机模型 （2）卷积模型如果通过预训练或者其他方式是否能够和Transformer模型对抗，什么情况下卷积模型表现好？...（3）使用预训练的卷积模型比预训练的Transformer有什么好 处（如果有的话）？卷积比基于自注意的Transformer更快吗？
高阶张量: 三维及以上维度的数组，如三维张量可以想象为一个立方体，每个元素都有三个索引。 张量运算包括但不限于以下几种： - 加法运算：两个同阶张量的对应元素相加。...- 图像处理：图像可以视为三维张量（高度、宽度、颜色通道），张量运算用于图像的滤波、卷积、池化等操作。 - 自然语言处理：文本数据可以编码为高维张量，用于词嵌入、句子表示等任务。...它支持跨平台部署，并且可以利用 GPU 和 TPU 加速计算。TensorFlow 引入了数据流图的概念，允许用户构建复杂的计算模型，并自动微分以进行优化。 3....与 TensorFlow 相比，PyTorch 允许开发者以更直接的方式编写和调试模型，因为它支持即时（eager）执行。...PyTorch 也广泛支持GPU加速，并有一个庞大的生态系统，包括预训练模型和高级API。 4.
忙完了毕业的事情，生活又回到了正轨 由于研究的需要这几天看了AMIR HERTZ和RANA HANOCKA新鲜出炉的文章，关于如何利用生成对抗网络从一个三维模型上将它的纹理迁移到另一个三维模型上。...三角网格图形是一种特殊的图，可以用一个顶点和三角形集合(V,F)来表示，其中V是无序的三维顶点集，F是面集，每个面是由一个点的三元组组成的，这个面集隐含地描述了三角形的边 然后为了描述各个面与邻域面的关系...，这里提取了三角形边的四个特征，首先这里为各个面的各个边定义了一个本地坐标系，这个坐标系的原点是边的中点，面的法线方向是z轴，边本身的方向是x轴，y轴由x-z叉乘得到。...对称的面卷积 面的卷积是为了得到隐含的特征来指导GAN的应用。...对称面的卷积需要两部分卷积合作完成： 1*1的卷积来实现有顺序不变性特性的面特征嵌入 考虑了对应三角形面的单环领域信息的对称面卷积 面特征嵌入卷积是为了将各个面的特征转换为输入特征并学习，这里使用式子
受深度神经网络性质的限制，以往的方法通常以体积或点云的形式表示三维形状，将其转化为更易于使用的网格模型并非易事。...大量的实验表明，本文的方法不仅能定性地生成具有更好细节的网格模型，而且与现有方法相比，还能获得更高的三维形状估计精度。...整个网络可以大概分成上下两个部分： 上面部分负责用全卷积神经网络提取输入图像的特征信息； 下面部分负责用图卷积神经网络来表示三维mesh，并对三维mesh不断进行形变，目标是得到最终的输出（最后边的飞机...此时我们很好奇，如何将二维（图像卷积）和三维（Mesh）联系在一起的呢？大家是否注意到图中的由上到下的淡蓝色箭头没有？...我们知道3D mesh是由顶点v，边e，面 face来描述三维对象的，这正好对应于与图卷积神经网络M = (V, E, F)一一对应：V (N个顶点)，E (E条边)，F(N个顶点的特征向量)。
MeshCNN提出的解决方案是将三维模型作为一个图或流形来共同研究顶点及其连接或边。该方法定义了卷积和池化层在三维网格的边缘，允许我们或多或少地使用卷积神经网络的标准工具集。...b)池化操作通过合并这条边的两个顶点来溶解这条边，这两个顶点依次合并溶解边两边的边对，c)得到两条边。 任何水密三维网格的边缘都恰好发生在两个面上(边界或非流形边缘除外)。...由于这个原因，MeshCNN假设我们的模型都是三角形，流形网格。典型的三维重建方法如摄影测量、结构光扫描、激光扫描等产生三角形网格，因此该方法可以直接适用于此类数据。...给定一条边和4个邻边，每个邻边都有自己的特征，卷积需要对这些边的顺序保持不变。本文采用的简单方法是用对称函数卷积。...利用网格的拓扑结构(即顶点和面信息)，而不是将其视为点云。 网格卷积保留了卷积的便利性质，但允许应用于图形数据。三维网格的5个输入特征类似于输入图像的RGB特征。
因此我们尝试使用该 TPU 训练简单的卷积神经网络，并对比它的运行速度。...尽管简单的卷积运算 TPU 要比 K80 快很多，但这只能给我们一个大致的猜想，因此我们需要测试完整的模型。...这个模型是基于 Keras 构建的，因为除了模型转换与编译，Keras 模型在 TPU 和 GPU 的训练代码都是一样的，且用 Keras 模型做展示也非常简洁。...Keras 的模型代码非常好理解，如下第一个卷积层首先采用了批归一化，然后用 64 个 5×5 的卷积核实现卷积运算，注意这里采用的激活函数都是指数线性单元（ELU）。...随后对卷积结果做 2×2 的最大池化，并加上一个随机丢弃率为 0.25 的 Dropout 层，最后得出的结果就是第一个卷积层的输出。
该工作使用球面投影的方法将表示为3D物体表示在球面上，并利用谱域卷积进行特征学习，以得到旋转不变的特征。该工作重新引发了对3维模型旋转鲁棒性的关注，方法十分新颖，非常推荐阅读。...该工作在点云上构建图，将每一个三维点作为图顶点，用三维点坐标定义边属性。卷积滤波器的权重根据输入的三维点以及边属性动态生成，捕获图结构信息，整个流程简单来说就是三维点—图—边属性—卷积权重。...该工作构建的图卷积不受图数据不规则性的影响，同时满足卷积操作的范式，非常值得一读。...该工作也是构建图卷积网络，但动机非常直观：在点云学习中，高维特征空间中邻近的点，其在原始三维空间中所处的局部形状结构也应该相似。基于此，该工作在特征空间中寻找近邻点构建图网络。...由于每一层的特征都不同，于是所构建的图在动态变化，因此称为动态图卷积。此外，为了捕获点间关系，该工作提出边缘卷积，即对由每一层特征所构建的边特征进行卷积。
尤为重要的是，这种基于细分表示的网格卷积神经网络的提出，使得VGG、ResNet和DeepLabV3+等二维图像的骨干网络模型可以方便地应用到三维模型的学习上，从而突破了二维图像和三维模型在深度学习上的壁垒...因为网格数据较为复杂，包含点、边、面三种基本元素，缺乏规则的结构与层次化的表示，因此也更具挑战。...，边的卷积不灵活。...如图4a）所示，细分曲面建模对面片进行“一分四”的面片分裂，使得三维模型逐渐变得光滑。...图4 细分曲面的示意图 由于卷积和上下采样规则且灵活，Jittor团队实现了VGG、ResNet和DeepLabV3+等网络架构，在三维网格模型的实验中取得了显著的效果。
边策 安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI ? 搞AI，谁又没有“GPU之惑”？ 张量核心、显存带宽、16位能力……各种纷繁复杂的GPU参数让人眼花缭乱，到底怎么选？...最合适的AI加速装备，究竟什么样？ 现在，为了帮你找到最适合的装备，华盛顿大学的博士生Tim Dettmers将对比凝练成实用攻略，最新的模型和硬件也考虑在内。 到底谁能在众多GPU中脱颖而出？...因此，要衡量GPU运行ResNets等卷积架构的性能，最佳指标就是FLOPs。张量核心可以明显增加FLOPs。...TPU在训练大型Transformer GPT-2上取得了巨大的成功，BERT和机器翻译模型也可以在TPU上高效地进行训练，速度相比GPU大约快56%。...最终建议 总之，在GPU的选择上有三个原则： 1、使用GTX 1070或更好的GPU； 2、购买带有张量核心的RTX GPU； 3、在GPU上进行原型设计，然后在TPU或云GPU上训练模型。
尤为重要的是，这种基于细分表示的网格卷积神经网络的提出，使得 VGG、ResNet 和 DeepLabV3 + 等二维图像的骨干网络模型可以方便地应用到三维模型的学习上，从而突破了二维图像和三维模型在深度学习上的壁垒...因为网格数据较为复杂，包含点、边、面三种基本元素，缺乏规则的结构与层次化的表示，因此也更具挑战。...边的卷积不灵活。...如图 4a）所示，细分曲面建模对面片进行 「一分四」 的面片分裂，使得三维模型逐渐变得光滑。...图 4 细分曲面的示意图 由于卷积和上下采样规则且灵活，Jittor 团队实现了 VGG、ResNet 和 DeepLabV3 + 等网络架构，在三维网格模型的实验中取得了显著的效果。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
对象存储
云直播
