论文阅读: 1912.PointRend

1912.08193：PointRend: Image Segmentation as Rendering

中心思想

• 上采样过程中不断迭代（一般是迭代5次upsample_2x）的均匀采样是导致分割边缘不精细的原因：
  • 规则网格（regular grid）会导致原本需要特殊关照的、所占像素区域极小的高频（重要）区域（非平滑边缘）被无差别对待。
• 对每次的上采样做一个精修后处理：
  • 在不增加分辨率的前提下，可以借鉴计算机图像学中的图像渲染思想，设计新module，以迭代渲染出更高质量的分割图。
  • 图像渲染中的adaptive subdivision策略：
    • 虽然输出是规则的，但计算时却不是均匀采样。通过仅对具有较高可能与其临近点的值明显不同的位置进行计算，对于其余位置的值均采用对 coarse grids 插值得到，以有效的渲染高分辨率的图像。
• PointRend：
  • PointRend（Point-based Rendering，基于点位的渲染）本质上是一种谁用谁涨点的上采样精修器。

    

    在这里插入图片描述

  • 位置：
    • 接在每个上采样之后。
    • 每次（双线性插值）上采样完都来精修一下边缘。
  • 流程设计：
    • 1.选点：点选择策略（point selection strategy）。
    • 2.精修：MLP针对点位做二次预测。
  • 点选择策略（point selection strategy）：
    • 设计：
      • train阶段：
        • 基于迭代的细分算法（iterative subdivision algorithm）：自适应随机采样（这N个点要倾向于不确定性高的边界区域，且有一定程度的均匀覆盖）：
        • 1.过采样，总共会随机采𝑘𝑁(𝑘>1)个点。
        • 2.从这𝑘𝑁个点中选择(𝛽𝑁)个最不确定的点。
        • 3.从剩下点中完全随机采样(1−𝛽)𝑁个点。
      • inference阶段：
        • 选取不确定性top的N个点（uncertain points），如二值pred mask中概率最接近0.5的点。

        

        在这里插入图片描述

    • 计算量：
      • 对于一个目标为𝑀×𝑀的分割图，PointRend只需要𝑁𝑙𝑜𝑔2𝑀𝑀0次输出。对于𝑀=224，𝑀0=7本文选择𝑁=282，是原来的1/16。
  • MLP（多层感知器，multi-layer perceptron）：
    • 是一个适用所有区域的conv_1*1的分类器，loss用ce。
    • 输入是所选点的4个最近邻的点（point-wise feature representation）。
    • 采用mildly biased方法（平衡explore和exploit），MLP能训练出最好的效果：

      

      在这里插入图片描述

性能

• 分割效果：

  

  在这里插入图片描述

• 可以灵活地用于实例分割和语义分割任务中。
• 在各种分割网络上，PointRend均能稳定涨1~2点。
• 模型太大，速度太慢。