CVPR 2018 笔记

CVPR 2018笔记，感谢李光睿的分享，谢谢~

知乎号：https://www.zhihu.com/people/chang-you-li-92/activities

Discriminative Learning of Latent Features for Zero-Shot Recognition

CVPR 2018 ORAL

zero-shot learning的解释可以详情见郑哲东在知乎中的回答，就是寻求将学习到的特征映射到另一个空间中，从而map到seen及unseen的属性或者label上

这篇文章的主要亮点在于学习了已定义label的同时，学习了latent attribute（隐含属性）。

已有方案的drawbacks：

1，在映射前，应当抽取image的feature，传统的用pretrain model等仍不是针对zero-shot learning (ZSL)特定抽取特征的最优解。

2，现有的都是学习user-defined attribute，而忽略了latent representation

3，low-level信息和的空间是分离训练的，没有大一统的framework

本文便是对应着解决了以上问题。

notation：

FNet：抽取img的feature；

ZNet： 定位最discriminative的区域并将其放大

ENet： 将img feature映射到另一个空间

下面我们先介绍各个子网络

FNet（The Image Feature Network）

这部分直接借用了已有的VGG19、GoogleNet，不细讲

ZNet（The Zoom Network）

这里的目的是定位到能够增强我们提取的特征的辨识度的region，这个region同时也要与某一个我们已经定义好了的attribute对应。

ZNet的输入是FNet最后一个卷积层的输出。

在这里运用某个已有的激活函数方法，将我们定位好了的region提取出来，即将crop操作在网络中直接实现。

然后，将ZNet的输出与original img做element-wise的乘法，最后，将region zoom到与original img相同的尺寸。

如图，再讲该输出输入到另一个FNet（第一个Fnet的copy）

ENet（The Embedding Network）

这里作者提出了一个score用于衡量img feature和attribute space的相似性（兼容性）

Enet将img feature映射到2k dim的空间中，1k是对应于已经定义了的label，并用softmax loss。

另1k则是对应潜藏属性，为了使这些特征discriminative，作者使用了triplet loss。

Synthesizing Images of Humans in Unseen Poses

pose 合成

网络的输入是original img， original pose， target pose，并预设original img和target img背景一样，人是同一个。

首先前后景分离，然后针对前景（即人），针对身体的不同部分做细致的segment

Pose Representation

人身体的pose用14个dots表示，在dots处还加入了高斯噪声，有利于regularization，且有利于网络更快学习到这个特征。

Source Image Segmentation

分前后景，前景又对应着已经定义好了的身体部分（10个）。

采用u-net，输入是original img和pose的concat，输出是各个部分的mask。

Foreground Spatial Transformation

这一过程则是将分割后的segment和target pose一一对应起来，并作相应的旋转，放缩等。

Foreground Synthesis

前一阶段我们已经根据target pose将各个segment位置变换好了，简言之，就是把人的是个部分拆开来，然后根据目标姿势重新组合，这一步则是将其彻底的合成，使其具备和真实照片一眼的一致性。

也是用的u-net，输入为target pose和已经segments，输出时foreground和target mask。

Background Synthesis

这部分则是处理新的target之间的孔洞，无新意。

Loss Function

两部分组成

VGG LOSS: 将VGG19的前16层的输出concat并计算L1距离

传统的GAN loss。

High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

本文解决了GAN生成高分辨率突破的问题，分辨率达到了2048*1024，方法精细，值得深入来看。

先来看generator:

如图言，中间部分的G1在低分辨率情况下训练，然后在前后又分别加上G2，注意左边部分的G2的输出和G1的输出concat之后作为右边G2的输入。

再来看D:

这里的dsicriminator是multi-scale，有着三个针对不同尺寸的D，三个尺寸分别是原尺寸，二分之一，四分之一。

放缩尺寸的理由不难理解，receptive field大小的问题。

objective中，三个D都纳入考虑

Improved adversarial loss

一句话概括：在D的中间多个层抽取feature map，作为分类和训练依据。

Using Instance Map:

个人认为是本文最inspiring的一点，先放对比图

图胜千言，boundary map一方面更加精细，也对边缘的处理上给出了看起来很理想的解决方案。具体的对比解释可以去文中寻找。

b map的提取不难理解，主要是基于semantic labels。

Learning an Instance-level Feature Embedding

这部分是基于前面提到的instance level信息，做一个精细化的embedding。

在generator的输入中，除了ori img，boundary map之外，还有low-dimensional feature。

为了生成这些low-dim feature，作者又设计了一个标准的encoder-decoder来生成。

在这个encoder训练好之后，还用生成的特征做了一个聚类，从而可以控制生成图片的style。

What have we learned from deep representations for action recognition?

这篇文章就是two-stream模型中间层的可视化方法，换句话说，就是探寻two-stream模型学到了怎样的时空信息。

生成总共分为两个步骤，详情如图：1，计算出输入的偏导，将计算出来的梯度用学习率scale并加到当前输入上。

Activation maximization

本文还提到了两个正则方法：

1，防止过大的值

2，限制低频信息