CVPR 2020 | 中科大提出AANet：高效立体匹配的适应聚合网络

论文已上传，文末附下载方式

本文作者：Spade https://zhuanlan.zhihu.com/p/142291358 本文已由原作者授权，不得擅自二次转载

CVPR2020接受的工作，AANet: Adaptive Aggregation Network for Efficient Stereo Matching。

论文：https://arxiv.org/abs/2004.09548

代码：https://github.com/haofeixu/aanet

本文目标是为了替代聚合部分中比较消耗显存且费时的3D卷积，但提出的2个创新点，分别用于解决边缘区域和弱纹理区域，感觉更适合作为提升模型表现的方法。

这篇论文提出的两个创新点也是应用在立体匹配算法流程中的代价聚合部分。一个是尺度内的聚合，用于针对边缘区域；另一个是交叉尺度（尺度间）的聚合，用于针对弱纹理区域。

尺度内聚合：

代价聚合从形式上来讲，是对领域内所有点代价的一个加权平均：

但对于处在边缘区域的点，邻域内的点可能是一些不关联的点。如下图（b）中，对于黄色的点，它属于前景，因此邻域内的背景点（左下角绿色）在视差上与其没什么关系；红色点属于背景，那么邻域内的前景点（左上角绿色）在视差上与其没什么关系。

模型：

采用特征相关得到多尺度的代价体（每个3维）。然后就是尺度内聚合（ISA）和交叉尺度聚合（CSA），二者组成了本文的适应性聚合模块AAModule。堆叠多个AAModule即完成了本文的代价聚合。最终输出3个较低分辨率的视差图，采用StereoDRNet中的调优方法提升到图像分辨率。

另：本文虽然使用特征相关得到的代价体，但最终聚合得到的仍是一个

的结果，再用softmax转化为概率，加权平均计算最终视差值。这套策略一般是4D cost volume方法中采用的。

实验结果