专栏首页arxiv.org翻译专栏实例感知的图像着色(CS CV)
原创

实例感知的图像着色(CS CV)

图像着色本来就是一个具有多模态不确定性的问题。以往的方法利用深度神经网络将输入的灰度图像直接映射到可信的颜色输出。尽管这些基于学习的方法展示了令人印象深刻的性能,但它们通常在包含多个对象的输入图像上失败。其主要原因是现有的模型在整个图像上进行训练和色彩化。在没有明确的图形背景分离的情况下,这些模型无法有效地定位和学习有意义的对象级语义。在本文中,我们提出了一种实现实例感知着色的方法。我们的网络架构利用现成的对象检测器来获取被裁剪的对象图像,并使用实例着色网络来提取对象级特征。我们使用类似的网络提取全图像特征,并应用融合模块对全对象级和图像级特征进行融合,以预测最终的颜色。着色网络和融合模块都是从大规模数据集中训练出来的。实验结果表明,我们的工作在不同的质量指标上优于现有的方法,并在图像着色方面达到了最先进的性能。

原文题目:Instance-aware Image Colorization

原文:Image colorization is inherently an ill-posed problem with multi-modal uncertainty. Previous methods leverage the deep neural network to map input grayscale images to plausible color outputs directly. Although these learningbased methods have shown impressive performance, they usually fail on the input images that contain multiple objects. The leading cause is that existing models perform learning and colorization on the entire image. In the absence of a clear figure-ground separation, these models cannot effectively locate and learn meaningful object-level semantics. In this paper, we propose a method for achieving instance-aware colorization. Our network architecture leverages an off-the-shelf object detector to obtain cropped object images and uses an instance colorization network to extract object-level features. We use a similar network to extract the full-image features and apply a fusion module to full object-level and image-level features to predict the final colors. Both colorization networks and fusion modules are learned from a large-scale dataset. Experimental results show that our work outperforms existing methods on different quality metrics and achieves state-of-the-art performance on image colorization.

原文作者:Jheng-Wei Su, Hung-Kuo Chu, Jia-Bin Huang

原文地址:https://arxiv.org/abs/2005.10825

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 探索由电池供电的移动设备上深度卷积神经网络的训练:设计与应用(CS LG)

    移动设备上快速发展的智能应用利用预训练的深度学习模型进行推理。然而,这些模型通常不会在此后进行更新。这给适应新的数据分布留下了很大的差距。在本文中,我们进一步将...

    刘持诚
  • 基于云计算的人脸和语音识别应用于门禁控制应用(CS CV)

    本文介绍了一种通过人脸图像和语音文字识别来识别想要进入实体办公室的员工和访客的系统应用。该系统通过人脸识别帮助员工解锁入口门,不需要标签钥匙或卡片。为了防止恶意...

    刘持诚
  • 用于共享控制机器人的主动意图消歧(CS RO)

    辅助性的共享控制机器人有可能改变数百万受严重运动障碍困扰的人的生活。共享控制机器人的实用性通常依赖于其底层的自主性推断用户需求和意图的能力,而这种消除歧义的能力...

    刘持诚
  • AWS负载均衡器的创建步骤

    版权声明:本文为博主汪子熙原创文章,未经博主允许不得转载。 https://jerry.bl...

    Jerry Wang
  • 使用Fiori Elements创建的SAP UI5应用,如何支持编辑功能

    In previous blog Create a CRM Service Order Fiori application within a couple of...

    Jerry Wang
  • Ubuntu_ROS中应用kinect v2笔记

    http://www.ros.org/news/2014/09/microsoft-kinect-v2-driver-released.html

    zhangrelay
  • 利用“谷歌趋势”评估新冠病毒封锁对不快乐、孤独和无聊情绪的影响(CS CY)

    COVID-19大流行导致许多政府实施封锁措施。虽然封锁可能有助于遏制病毒的传播,但有可能对人民福祉造成重大损害。这项研究借助“谷歌趋势”的数据测试分析了在欧洲...

    Elva
  • 服务器同时存在1.1和2.0程序注意事项

    Asp.net和asp.net2.0同时部署在服务器上:发生如下错误 Server Application Unavailable The web appli...

    张善友
  • 如何使用jMeter对某个OData服务进行高并发性能测试

    For project reason I have to measure the performance of OData service being acce...

    Jerry Wang
  • 如何使用jMeter对某个OData服务进行高并发性能测试

    For project reason I have to measure the performance of OData service being acce...

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券