视觉效果一直是计算机视觉研究的一个重要领域,如风格迁移等已经是各大顶会的重要栏目。
本篇文章主要用于探索黑白照片着色的功能。
如何给黑白照片上色,如对早先的照片进行更好的渲染,可以便得宝贵的历史影像资料变得更加鲜活,视觉感官更好。
现有的主流模型挺多的,如https://github.com/baldassarreFe/deep-koalarization这个代码对应论文中提到的模型。
该框架采用编码--解码的思路来,不过在此之前,采用Inception-ResNet-V2这个目前用于做图像识别最好的模型来为编码后的信息作了一层融合。可以理解为对图像中的要素进行更好地识别之后,可以采用背后训练集中上百万张的图片的颜色来进行渲染。
看了下一些开放的代码,并进行测试,发现效果并没有网站上说的那么好。不过这也是因为训练数据集相对有限的原因吧。直接上图就行:
(1) 测试图片一:少林寺
其对应的原始图片是:
而着色效果为:
可以看出图片上的绿色部分着色效果较好,这也与训练集中绿色植物的效果最好。
(2) 测试图片二:仍旧按照灰度图,原始图和着色图来排列。
可以看到,这种原始的imagenet高度相关的图片,着色效果会更好一些,当然也不完美就是,如天空的分辨。这也不可避免,由于天空的颜色在灰度图里面是看不到任何信息的。而且也没有形状。
当然,还做了不少测试,此外就不上图了,欢迎大家交流。