首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

港科大&快手提出首个视频抠图框架!复杂背景下依然优异!CVPR2021

如何提升视频抠图效果也成为了时下重要课题之一。...显然不切实际,那么如何节省标注成、减少人力介入也是不可忽视问题(Trimap获取) 3、视频抠图与图像抠图最大区别就是前者需要考虑帧之间连续性,如何利用时域信息减少抖动成为了新挑战。...给定参照帧和目标帧,文中做法如下: 使用两个分享权重编码器,来分别提取参照帧(F_r)和目标帧(F_t)语义特征。 使用跨越注意力网络来计算目标帧与参照帧像素间相似度关系。...算法主体是一个自动编码器-解码器结构,在编码器与解码器之间有跳层连接,用来将不同层级特征连接到解码器从而重建原始尺度Alpha预测。...为了利用视频里时序信息,作者同时将目标帧以及其邻近帧送到编码器中得到对应尺度空间特征,并通过时空特征融合模块(ST-FAM)将帧特征融合,从而将时序信息编码到特征里。

1K20

CIKM22「清华+华为」DualRec:考虑过去和未来信息双网络序列推荐模型

同时缓解潜在训练和推理差距,提出了如图2(b)所示双网络。...因此,过去和未来行为建模可以相互增强。此外,在实践中,用户兴趣是尺度,因为通常既有稳定长期兴趣,也有动态短期兴趣。...2.4.1 尺度兴趣提取 用户兴趣可以分为局部兴趣、全局兴趣和其他尺度兴趣。现有方法只考虑过去行为中短期和长期兴趣。这里,考虑了用户对历史和未来行为尺度兴趣。...本文提出了一种尺度方案,该方案在不同时间尺度上提取用户兴趣表征。尺度方案可以通过在不同头部添加多尺度掩码来与多头自注意机制协作,从而聚合具有不同感受野信息。...目标是通过最小化过去和未来编码器在尺度输出分布之间双向KL散度来正则化模型(图3)。

3K20
您找到你想要的搜索结果了吗?
是的
没有找到

ECCV2020 | SOD100K:超低参数量高效显著性目标检测算法,广义OctConv和动态权重衰减

本文提出了一种灵活卷积模块——广义Oct-Conv(gOctConv),可以有效利用现阶段和跨阶段分阶段尺度特征,同时通过一种新型动态权重衰减方案来减少特征表示冗余性,有效动态权重衰减方案可稳定地提高训练期间参数稀疏性...尽管性能出色,但这些模型通常非常耗费资源,因此几乎不适用于存储/计算能力有限低功耗设备。如何构建具有SOTA性能超轻量级SOD模型是一个重要但研究较少领域。...原本OctConv需要大约60%FLOPs才能达到与标准卷积相似的性能,这对于我们设计一个高轻量级模型目标来说是不够。为了节省计算成本,在每一层中都没有必要使用不同尺度交互特征。...相反,本文方法仅使用gOctConvs从特征提取器各个阶段融合尺度特征,并生成高分辨率输出。作为效率和性能之间折衷,使用了来自最后三个阶段特征。...其中λ是动态权重衰减权重,xi表示由wi计算特征,而S(xi)是特征度量,根据任务可以具有多个定义。在本文中,目标是根据稳定通道之间特征进行权重分配。

96310

CVPR2021|快手: 深度视频抠图

该算法两个阶段都不需要计算光流,为并行计算提供了便利。在深度视频抠图技术尚未被有效探索之际,该研究填补了这一技术空缺。...给定参照帧和目标帧,文中做法如下: 使用两个分享权重编码器,来分别提取参照帧(F_r)和目标帧(F_t)语义特征。 使用跨越注意力网络来计算目标帧与参照帧像素间相似度关系。...算法主体是一个自动编码器-解码器结构,在编码器与解码器之间有跳层连接,用来将不同层级特征连接到解码器从而重建原始尺度Alpha预测。...为了利用视频里时序信息,作者同时将目标帧以及其邻近帧送到编码器中得到对应尺度空间特征,并通过时空特征融合模块(ST-FAM)将帧特征融合,从而将时序信息编码到特征里。...ST-FAM模块包括两个子模块: 时序特征对齐(TFA)模块和时许特征融合(TFF)模块,具体结构图如下图。 ? TFA模块 TFA模块是用来对齐相邻帧特征

1.2K11

又改YOLO | 项目如何改进YOLOv5?这篇告诉你如何修改让检测更快、更稳!!!

特征金字塔是解决这一问题常用方法,但它可能会破坏交通标志在不同尺度特征一致性。而且,在实际应用中,普通方法难以在保证实时检测同时提高尺度交通标志检测精度。...如何提高交通标志检测与识别技术准确性和实时性,是该技术走向实际应用时需要解决关键问题。...近年来,大多数先进目标检测算法,如Faster R-CNN、R-FCN、SSD和YOLO,都使用了卷积神经网络,并在目标检测任务中取得了丰硕成果。...特征金字塔网络(Feature Pyramid Network, FPN)是一种常用多层特征融合方法,利用其尺度表达能力衍生出许多检测精度较高网络,如Mask R-CNN和RetinaNet。...在搜索空间中,有S=5个子策略,每个子策略由两个图像操作组成,依次应用。随机选择一个子策略并应用于当前图像。此外,每个操作还与两个超参数相关:应用操作概率和操作大小。

2.6K20

KDD22|序列推荐:多行为超图增强Transformer

{R}^d 为交互类型, p_j \in \mathbb{R}^d 为可学习位置编码,经过计算后可以得到h矩阵 H\in \mathbb{R}^{J \times d} \mathbf{h}_{j}...本文设计了一个基于 Transformer 架构尺度序列偏好编码器,以捕获用户行为感知交互序列中粒度行为动态。...这里,C表示低秩尺度,J/C表示输入行为感知交互序列 S_i 上低秩潜在表征空间数量。...为了赋予MBHT模型有效学习尺度行为模式能力,使用分层结构增强基于低秩Transformer,以便捕获特定粒度行为动态。...mathbb{R}^{\frac{J}{p_2} \times d} 2.1.3 尺度行为模式融合 为了将尺度动态行为模式集成到一个共同潜在表征空间中,将上述编码特定尺度embedding与如下所示融合层进行聚合

1K10

zeta多样性:基于发生率多样性统一框架

zeta多样性协调了多种不同生物多样性模式,包括物种积累曲线、种面积关系、物种发生模式和物种地方性尺度。 zeta多样性指数形式和幂律形式与随机性对生态位装配过程有关。...Whittaker’s (1960): beta = gamma/alpha Lande’s (1996) : gamma = alpha + beta Whittaker, R....当涉及到三个或更多集合比较时,使用成对相似度平均值。 因此,没有一种基于发生率在不同地点物种更替指标能够计算出所有的多样性成分。...换句话说,三个或三个以上组合多样性成分不能全部用alpha和beta来表示。例如,在三种组合情况下,不能仅从alpha和beta计算仅在两个群落中及三个群落中出现物种。...American Naturalist 172:116–127 Scheiner, S. M., A. Chiarucci, G. A.Fox, M. R. Helmus, D. J.

1.9K31

目标检测 | RetinaNet:Focal Loss for Dense Object Detection

two-stage、proposal-driven网络,如R-CNN架构。...尽管可以使用类似的抽样探索法(如hard example mining)来补救,但这样效率不高,因为训练过程仍然被简单背景样本主导,导致模型更多地学习了背景而没有很好地学习检测目标   在解决以上问题同时...主干网络用于提取特征,第一个子网用于类别分类,第二个子网用于bndbox回归 Feature Pyramid Network Backbone   RetinaNet采用FPN作为主干,FPN通过自上而下路径以及横行连接来增强卷积网络特征提取能力...,能够从一张图片中构造出丰富以及尺度特征金字塔,结构如图3(a)-(b)。   ...因此,FL更适用于dense detector训练 Model Architecture Design Anchor Density   one-stage检测器使用固定网格进行预测,一个提高预测性能方法是使用尺度

79900

【图像配准】SIFT算法原理及二图配准拼接

尺度空间理论最早在1962年提出,其主要思想是通过对原始图像进 行尺度变换,获得图像尺度尺度空间表示序列。 SIFT算法就是利用同一幅图像在不同尺度空间关系来提取关键点。...通过高斯卷积构建图像金字塔 根据文献《Scale-space theory: A basic tool for analysing structures at different scales》可知,高斯核是唯一可以产生 尺度空间核...alpha) + result[r, c] * alpha else: result[r, c] = imageB[r, c]...设置匹配器,这里采用匹配器为BruteForce,BruteForce也称暴力匹配算法,即从主串头开始,依次选取和模拟串等长子串,挨个字符匹配,如果匹配失败,立马检索下一个子串。...如果匹配成功关键点大于4,则计算视角变换矩阵,这里使用了cv2.findHomography这个函数,参数设置使用RANSAC方法,返回变换矩阵H(3行x3列)和状态向量(status)(1表示匹配成功

4.4K30

ReViT来袭 | 基于全新残差注意力机制改进ViT架构,增强视觉特征多样性以及模型鲁棒性

最后,作者确定所提出残差学习方法可以无缝集成到尺度 Transformer 架构中,比如尺度视觉 Transformer v2(MViTv2)和移位窗口 Transformer (Swin),验证了它在包括...作者评估了作者模块在尺度架构中无缝集成,使用了带有残差注意力MViTv2和Swin模型,在ImageNet1K数据集上进行图像分类,在COCO2017数据集上进行目标检测和实例分割。...形式上,所提出注意力机制是通过改变方程(1)中定义 S_{l} 矩阵计算来实现。...考虑到残差注意力实现,它可以轻松地被融入到现有的单尺度尺度视觉 Transformer 架构中,同时保持相似的计算成本其中 \alpha\in]0;1[ 。...此外,如上所述,作者进行了实验,以测试作者方法在尺度架构中应用效果,分别是MViTv2和Swin。为了实现这些网络,作者从它们官方PyTorch实现出发,并使用作者模块进行扩展。

40010

图像特征点匹配算法_bf模式匹配算法

01 背景及概念 同一个物体在成像时,由于远近不同,会导致在图像中大小、细节性(模糊)等方面产生差异,但是该物体又是同一个物体,所以我们不知道到底哪个是真实,该如何去衡量。...在信号处理领域中,如果把信号函数 f : RR f: \mathbb R \to R f:RR视成“温度”在空间中初始分布,那么,尺度空间出生成过程则可以看作是尺度t函数,是信号随着t变化热扩散空间分布...在尺度空间任一尺度上,都可以应用局部微分算子: $${L_{ {x^\alpha }}}\left( { \cdot ;t} \right) = {\partial _{ {x^\alpha...由于s(m)是尺度变化本身带来,我们只需要设定一个t(rm/2)系数去抵消尺度。...小结:简单原理下面是复杂数学推理和公式计算,而通透这些理论公式是非常枯燥乏味过程,但同时也是最基础最能给予人最深刻体会过程。

2.3K40

恺明团队新作ViTDet:探索ViT骨干在检测中应用

在这里,我们仅使用骨干网络最后一层特征,并通过一系列卷积、反卷积构建尺度特征,见上图右(本文将其称之为Simple Feature Pyramid)。...Global Propagation 我们在每个子模块集最后一个模块执行全局自注意力,由于全局模块数量比较少,内存占用与计算量消耗是可接受; Convolutional Propagation 另一种选择...,我们在每个子模块集最后添加一个额外卷积模块(即残差模块),同时残差模块最后一层参数初始化为0,这就使得我们可以在预训练骨干任意位置进行插入且不会改变骨干原始状态。...最早采用单尺度特征做检测应该是YOLOv1吧,但当时性能比较差,迅速被尺度特征方案吊打。自此之后,尺度特征就成目标检测标配。...本文ViTDet则对ViT这种天生尺度特征在检测中应用进行了探索,从两个维度进行了挖掘:(1) 如何在不改动整体结构前提下将预训练ViT在检测任务上微调;(2) 如何将单尺度特征与通用检测头进行耦合

89320

超全干货 | 整理了一套常用数据分析方法汇总!

总量表信度系数最好在0.8以上,0.7-0.8之间可以接受;分量表信度系数最好在0.7以上,0.6-0.7还可以接受。Cronbach 's alpha系数如果在0.6以下就要考虑重新编问卷。...内在信度:每个量表是否测量到单一概念,同时组成两表内在体项一致性如何,常用方法分半信度。 04. 列联表分析 列联表是观测数据按两个或更多属性(定性变量)分类时所列出频数表。...在r×с表中,若以pi、pj和pij分别表示总体中个体属于等级Ai,属于等级Bj和同时属于Ai、Bj概率(pi,pj称边缘概率,pij称格概率),“A、B两属性无关联”假设可以表述为H0:pij=...因素有交互方差分析:一项实验有多个影响因素,分析多个影响因素与响应变量关系,同时考虑多个影响因素之间关系 3....因素无交互方差分析:分析多个影响因素与响应变量关系,但是影响因素之间没有影响关系或忽略影响关系 4.

1K52

图像增强算法Retinex原理与实现详解

Retinex是一种经典图像增强算法,它通过对图像进行尺度高斯模糊处理和颜色恢复操作来改善图像视觉效果。...cv2.GaussianBlur(img, (0, 0), sigma)对输入图像img进行高斯模糊处理,使用高斯核进行图像平滑,其中(0, 0)表示核大小为自动计算。...2.2 尺度Retinex 尺度Retinex是在单尺度Retinex基础上进一步改进算法,它通过对不同尺度图像进行单尺度Retinex增强,并将结果累加求平均得到最终增强图像。...具体步骤如下: 对输入图像R、G、B三个通道进行分离。 分别对三个通道像素值进行对数运算,得到对数图像。 将对数图像乘以系数alpha和beta,得到颜色恢复后图像。...single_scale_retinex 函数:对图像进行单尺度 Retinex 处理,使用对数域操作计算图像亮度分量。

1.1K10

MutualNet:一种自适应相互学习网络宽度和分辨率网络

我们方法根据不同输入分辨率来训练一批具有不同宽度子网络,以相互学习每个子网络尺度表示。...然而,深度网络通常需要大量计算资源,这使得它们很难部署在移动设备和嵌入式系统上。这激发了人们去研究,如何设计出更高效卷积模块或裁剪掉不重要网络连接,来降低神经网络中冗余。...如图2所示,我们框架为不同子网络提供不同输入分辨率。由于子网络之间共享权值,每个子网络可以学习其他子网络共享知识,从而可以从网络尺度和输入分辨率中获取尺度表示。...因此,子网络能够从不同输入分辨率和网络尺度中获取尺度特征表示。因为网络宽度随机选取,该框架个子网络都可以学习尺度特征表示。 模型推理:训练好模型可以在不同宽度-分辨率配置上执行。...另一方面,MutualNet 能够学习尺度特征,进一步提升每个子网络性能。

1.1K30

【知识星球】图像降噪模型和数据集内容开启更新,经典问题永垂不朽!

Attentive Generative Adversarial Network for Raindrop Removal是一个Attention机制与GAN结合,在判别器和生成器中同时使用Attention...尺度编解码损失就是在不同尺度计算生成图和对应尺度真值图MSE差异,用了原尺寸1/4、1/2和1三个尺度。 ? 感知损失利用了一个预训练好VGG模型来进行计算。 ?...具体损失函数如下: ? ? Lmap就是添加Attention Map损失,包含生成图O和真实无雨滴图R两部分MSE损失。 那么最终效果如何呢? ? ?...RENOIR是一个真实图像降噪数据集,包含了3个子数据集,分别是Xiaomi Mi3,Canon S90,Canon T3i拍摄,拥有低噪和高噪对比图。...如何系统性掌握深度学习中数据使用 如何系统性掌握深度学习模型设计和优化 有三AI知识星球内容非常,大家可以预览一些内容如下。 ? ? ? ? ? ? ? ? ?

1.2K20

SSD原理解读-从入门到精通「建议收藏」

原因1:尺度 由SSD网络结构可以看出,SSD使用6个不同特征图检测不同尺度目标。低层预测小目标,高层预测大目标。...宽高比 α r = 1 , 2 , 3 , 1 / 2 , 1 / 3 {\alpha}_r={1,2,3,1/2,1/3} αr​=1,2,3,1/2,1/3,因此每个anchor宽 w k α =...S k α r w^{\alpha}_{k}=S_k \sqrt{ {\alpha}_r} wkα​=Sk​αr​ ​,高 h k α = S k / α r h^{\alpha}_{k}={...S_k / \sqrt{ {\alpha}_r}} hkα​=Sk​/αr​ ​,当aspect ratio为1时,作者还增加一种scaleanchor: S k ′ = S k S k +...MTCNN和SSD采用了两种不同尺度检测策略 MTCNN:首先构建图像金字塔,然后使用固定大小滑动窗口在金字塔每一级滑动,对每个滑动窗口分类回归。

50830

清华黄高团队提出分辨率自适应高效推理网络RANet!

尽管RANet和MSDNet具有相似的尺度结构,但它们结构设计和计算图存在着显著差异。...RANet基本思想是,网络将首先基于最低空间分辨率特征,使用第一个子网络预测样本,以避免对高分辨率特征执行卷积导致计算成本。...重复此过程,直到一个子网络产生可靠预测,或使用最后一个子网络。...RANet自适应推理过程如上图所示:使用H个子网络(图中H=3)和输入样本x,网络将首先生成H个S尺度基本特征图(例如,图中有3个尺度s=1表示最低分辨率)。...上一个子网络中尺度(s-1)特征通过Up-Conv(即,常规卷积+上采样)进行处理,这确保生成特征具有相同空间分辨率。然后,通过密集连接concatenation融合得到特征。

40020

R语言贝叶斯非参数模型:密度估计、非参数化随机效应meta分析心肌梗死数据|附代码数据

在这篇文章中,我们通过展示如何使用具有不同内核非参数混合模型进行密度估计。在后面的文章中,我们将采用参数化广义线性混合模型,并展示如何切换到非参数化随机效应表示,避免了正态分布随机效应假设。...这个模型可以解释为提供一个贝叶斯版本核密度估计 用于使用高斯核和自适应带宽。在数据原始尺度上,这可以转化为一个自适应对数高斯核密度估计。...需要注意是,为了从 ,得到后验样本,我们需要监控所有参与其计算随机变量,即成员变量xi,聚类参数muTilde和s2Tilde,以及浓度参数alpha。下面的代码从随机测量中生成后验样本。...下面的代码使用来自样本对象后验样本计算后验样本,并从中计算出数据密度估计。...如果数据支持这种行为,这允许随机效应分布是模态,大大增加了其灵活性。这个模型可以用以下代码指定。

10200
领券