首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    微软亚研:对深度神经网络中空间注意力机制的经验性研究

    摘要:空间注意力(Spatial Attention)机制最近在深度神经网络中取得了很大的成功和广泛的应用,但是对空间注意力机制本身的理解和分析匮乏。本论文对空间注意力机制进行了详尽的经验性分析,取得了更深入的理解,有些认知是跟之前的理解很不一样的,例如,作者们发现 TransformerAttention 中对 query 和 key 的内容进行比较对于空间注意力帮助很小,但对于 Encoder-Decoder Attention(编码器-解码器注意力)是至关重要的。另一方面,将可变形卷积(DeformableConvolution)与和 query 无关的 key saliency 进行适当组合可以在空间注意力中实现最佳的准确性-效率之间的权衡。本论文的研究结果表明,空间注意力机制的设计存在很大的改进空间。

    06

    Spatial Attention Pyramid Network for Unsupervised Domain Adaptation

    无监督域适配在各种计算机视觉任务重很关键,比如目标检测、实例分割和语义分割。目的是缓解由于域漂移导致的性能下降问题。大多数之前的方法采用对抗学习依赖源域和目标域之间的单模式分布,导致在多种场景中的结果并不理想。为此,在本文中,我们设计了一个新的空口岸注意力金字塔网络来进行无监督域适配。特别的,我们首先构建了空间金字塔表示来获得目标在不同尺度的内容信息。以任务指定的信息为引导,在每个尺度上,我们组合了密集的全局结构表示和局部纹理模式,有效的使用了空间注意力截止。采用这种方式,网络被强迫关注内容信息由区别力的地方来进行域适配。我们在各种由挑战性的数据集上进行了昂贵的实验,对目标检测、实例分割和语义分割进行了域适配,这证明了我们的方法比最佳的方法有了很大的提升。

    03

    清华 & 卡梅隆 & 上交大 打破计算瓶颈,DiTFastAttn 方法优化扩散 Transformer 的图像与视频生成 !

    扩散 Transformer (DiT)最近在图像生成和视频生成中越来越受欢迎。然而,DiT的一个主要挑战是它们的计算需求量很大,特别是在生成高分辨率内容时特别明显。一方面,传统的 Transformer 架构,由于其自注意力机制,对输入标记长度L具有的复杂度。这种二次复杂度随着图像和视频分辨率的提高导致计算成本显著增加。如图1所示,随着图像分辨率的增加,注意力计算在推理过程中成为主要的计算瓶颈。具体来说,如果一个的图像被标记为16k个标记(Chen等人,2024),即使在像Nvidia A100这样的高端GPU上,注意力计算也需要几秒钟。另一方面,由于多个去噪步骤和分类器自由引导(CFG)技术,扩散推理过程需要大量的神经网络推理。

    01
    领券