[1] Bertalmio, M., Sapiro, G., Caselles, V., & Ballester, C. (2000, July). Image inpainting. In SIGGRAPH (pp. 417-424). [paper]
https://arxiv.xilesou.top/pdf/1903.04227.pdf
网友们纷纷感叹好美好有气质，甚至还有人起哄说道：“赶紧把7080年代的时候的港台男女明星都修复一下，那时候颜值基本上个个都赏心悦目。”
图片来自 https://sites.google.com/site/gachoncvip/projects/image-inpainting
图像修复(Image Inpainting)技术，又称为图像填充(Region Filling)或物体删除(Object Removal)技术，是一种通过背景填充、替换的方法，去除图像中指定区域的算法，最终目标是达到用户难以感知感知、效果自然的图像修复。
像上图中的image inpainting相信大家并不陌生，OpenCV就有相关的例子。
机器之心专栏 作者：达摩院 随着数字文化产业的蓬勃发展，人工智能技术开始广泛应用于图像编辑和美化领域。其中，人像美肤无疑是应用最广、需求最大的技术之一。传统美颜算法利用基于滤波的图像编辑技术，实现了自动化的磨皮去瑕疵效果，在社交、直播等场景取得了广泛的应用。 然而，在门槛较高的专业摄影行业，由于对图像分辨率以及质量标准的较高要求，人工修图师还是作为人像美肤修图的主要生产力，完成包括匀肤、去瑕疵、美白等一系列工作。通常，一位专业修图师对一张高清人像进行美肤操作的平均处理时间为 1-2 分钟，在精度要求更高的广
由于CNN、GAN、Transformer等模型在CV与NLP领域都实现了很好的跨界，最近非常火热的Prompt也开始在多模态领域中有所应用了，因此我们有必要借鉴一些CV领域中Paper的idea，以拓宽自己的视野，那么今天就给大家分享一下图像修复（Image Inpainting）领域中值得一读的六篇顶会论文，希望能给大家带来一些不一样的灵感。
LaDI-VTON: Latent Diffusion Textual-Inversion Enhanced Virtual Try-On
虽然这里说的都是图像，但其实视频也属于计算机视觉的研究对象，所以还有视频分类、检测、生成，以及追踪，但篇幅的关系，以及目前研究工作方向也集中于图像，暂时就不介绍视频方面应用的内容。
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
之前通过三篇文章简单介绍了机器学习常用的几种经典算法，当然也包括了目前很火的 CNNs 算法了：
近年来，图像补全问题在应用深度学习技术的条件下已经实现了较好的补全效果，甚至于人眼也难以分辨。故而，该技术也已经成为图像补全问题上的一个研究热点。同时，如何修改对抗生成网络以使其更好的适应图像补全问题来构造更有效的生成模型已经得到了越来越多的关注。人脸补全作为图片补全问题的一个分支，是一种常见的人脸图像编辑技术，它也可以用来编辑人脸属性。生成的人脸图像既可以与原始人脸图像一样精确，也可以与未遮挡人脸图像在内容上保持一致，以使补全的图像看起来具有真实的视觉感受。
https://github.com/yuanxiaosc/DeepNude-an-Image-to-Image-technology
欢迎来到《每周CV论文》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
Yu Jiahui /Lin Zhe /Yang Jimei /Shen Xiaohui /Lu Xin /Huang Thomas S.
http://bamos.github.io/2016/08/09/deep-completion/
本文提出一种用于图像修复的新型双流网络，以耦合方式进行结构约束的纹理合成，以及纹理引导的结构重建，可以更好地相互利用以获得更合理的生成。此外，为增强全局一致性，设计双向门控特征融合（Bi-GFF）模块来交换和组合结构和纹理信息，并开发上下文特征聚合（CFA）模块。CelebA、Paris StreetView 和 Places2 数据集上的定性和定量实验证明了所提出方法的优越性。
本文《Self-Supervised Scene De-occlusion》由香港中文大学和南洋理工大学团队合作完成，被接收为CVPR2020的oral presentation。
本文介绍的是CVPR2020 Oral论文《 Self-Supervised Scene De-occlusion 》，论文作者来自中国香港中文大学—商汤联合实验室与南洋理工大学。
最近几个月以来，Meta发布了一款名为SAM（Segment Anything Model）的图像分割基础模型，其强大的能力和简便的操作方式引起了广泛关注。SAM模型通过简单的点击选择物体，即可实时准确地将其分割出来，其在GitHub上的受欢迎程度也可见一斑，截至4月15日，其仓库的Star数已高达26k。
在实际应用中，图像经常被噪声腐蚀。这些噪音是镜头上的灰尘或水滴，或者是旧照片的刮擦，或者是人为绘制的图像，或者图像的一部分已损坏。文献中有两种主要的图像恢复方法：
本文将介绍 DeepFloyd IF ，这是一个最先进的开源文本生成图像模型（Text-to-Image），具有高度的逼真度和语言理解能力。
作者：poetniu，腾讯 WXG 应用研究员 微信（WeChat）作为 12 亿+用户交流的平台，覆盖全球各个地区、不同语言的用户，而微信翻译作为桥梁为用户间的跨语言信息交流提供了便利。目前微信翻译每天为千万用户提供数亿次的翻译服务，且团队技术持续钻研，累计发表数十篇顶会论文、夺得多项 WMT 冠军。随着翻译质量的提升，微信翻译的应用形态从文本逐步扩展到图片、语音、网页、文档、视频等众多场景。本文以微信图片翻译为例介绍近一年的技术优化。 文章术语 ViT：Vision Transformer NLP
本文简要介绍了发表于ECCV 2022的论文“Don’t Forget Me: Accurate Background Recovery for Text Removal via Modeling Local-Global Context”的相关工作。该论文针对文本擦除中存在的复杂背景修复的问题，提出了CTRNet，它利用局部和全局的语义建模提升模型的背景还原能力，它设计了Low-level Contextual Guidance（LCG）和High-level Contextual Guidance（HCG）去挖掘不同的语义表征，然后通过Local-Global Content Modeling（LGCM）进行局部与全局的特征建模，从而提升文本擦除的能力。
自监督学习作为无监督学习的一个特例，可以理解它是一种没有人工标注标签的监督学习，即没有人类参与的监督学习。
经过预训练的文本到图像生成模型，如 SD、Imagen 和 Dall-E 2，可以在后向扩散过程中将扩散的已知区域与生成（去噪）的未知区域混合，从而完成图像补全。虽然这些方法能生成和谐且视觉上合理的补全图像，但它们缺乏对全局场景的理解，提示忽略的主要缺点表现在两种情况下：
通过图像分割和显著性检测这两个系列，我认为在开始写算法之前先放一篇综述整理会更好一些。
点击标题下「大数据文摘」可快捷关注 作者：Piotr Wendykier，专注于mathematica算法编程及研发。 原文：http://blog.wolfram.com/2014/12/01/extending-van-goghs-starry-night-with-inpainting/#comments 摘自：36氪 梵高有一幅油画叫 Starry Night，也就是《星空》。我常常想，梵高在精神病院完成这幅名作时，他眼里看到（或者脑海中）的星空浩瀚的全局究竟该有多美，或者究竟该有多悲伤。可惜我们永
【新智元导读】图像修复（Image inpainting）是一个已经被广泛研究的计算机视觉问题，即恢复图像中缺失的部分。斯坦福大学CS230课程的Mark Sabini等人提出“Image outpainting”，比图像修复更进一步，能从一个图像片段“推断”出外延的部分，补全成整个画面。这篇论文获得了CS230期末poster的第一名，效果非常惊艳。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/details/80874717
修复指的是恢复图像损失的部分并且基于背景信息将它们重建的技术。它指的是在视觉输入的指定区域中填充缺失数据的过程。在数字世界中，它指的是应用复杂算法以替代图像数据中缺失或者损坏部分。
https://github.com/KumapowerLIU/Rethinking-Inpainting-MEDFE
欢迎来到《AI产品》专栏，本专栏面向所有热爱人工智能技术的朋友、同学。在本专栏中，会多多分享给大家不同种类的且新奇有趣的AI产品，对产品中的核心技术进行深度剖析。文章底部会推荐相关核心技术学习资料，全部原创！
本文提出一项全新的图像编辑任务EditWorld，它基于真实世界和虚拟世界中的场景来定义图像编辑指令。该方法通过分类和定义各种世界指令，利用大型预训练模型（如 GPT-3.5、Video-LLava 和 SDXL）生成具有丰富场景的输入-指令-输出三元组数据集。EditWorld训练了一个基于扩散模型的图像编辑模型，并设计了一种后编辑策略来提高模型遵循指令的能力，并增强非编辑区域的外观一致性。广泛的实验表明，EditWorld在这项新任务中的表现显著优于现有的图像编辑方法。
CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo
随着 AI 的不断研究和发展，各类 AI 算法在不同场景中的应用层出不穷，关于 AI 及其在日常任务中支持甚至取代人类工作的能力的讨论无处不在。例如，在自动驾驶领域，尽管在目前的条件下自动汽车还不能完全替代人类，但关于何时能够完全取代人类驾驶员的问题仍然受到了高度关注。从长远来看，使用 AI 替代人类并非不可能，但是这种替代是否能在所有工作场景中实现？
GAN全称是Generator adversarial networks,中文是生成对抗网络，是一种生成式模型，由good fellow在14年提出，近四年来被AI研究者疯狂研（guan）究（shui），更有大神建立一个GAN zoo，收集了上百种不同的GAN：
原文链接：https://machinelearningmastery.com/impressive-applications-of-generative-adversarial-networks/
GAN全称是Generative adversarial networks,中文是生成对抗网络，是一种生成式模型，由good fellow在14年提出，近四年来被AI研究者疯狂研（guan）究（shui），更有大神建立一个GAN zoo，收集了上百种不同的GAN：
来源：机器之心本文约1400字，建议阅读5分钟本文介绍了SAM开始的二创。 论文刚发布两天，「二创」就开始了。 AI 技术的迭代，已经以天为单位。所以，如果你有什么好的想法，最好赶紧做，不然睡一觉可能就被抢先了。 这个被很多人看好的 idea 源于 Meta 两天前发布的「分割一切」AI 模型（Segment Anything Model，简称 SAM）。Meta 表示，「SAM 已经学会了关于物体的一般概念，可以为任何图像或视频中的任何物体生成 mask，甚至包括在训练过程中没有遇到过的物体和图像类
中国香港中文大学近年来在机器学习方面的成就，甚至盖过了大部分的理工科院校，这一点厉害了。尤其是在自监督学习方面，不知不觉的就走在了学术研究的前排。
链接：https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_photo/py_inpainting/py_inpainting.html#inpainting
前几天52CV发布了一篇图像修补（Image Inpainting）的文章：AI魔法手！用算法修复老照片，引起了不少朋友关注，有位朋友问有没有图像修补的最新进展，今天就跟大家分享一篇前天新出的图像修补论文：Image inpainting: A review。
香港中文大学近年来在机器学习方面的成就，甚至盖过了大部分的理工科院校，这一点厉害了。尤其是在自监督学习方面，不知不觉的就走在了学术研究的前排。
提示词如下——「two people, A couple in Hanfu, huge moon, The golden bridge asian movie poster, in the style of romantic atmosphere, soft and dreamy atmosphere, uhd image, li tiefu, impressive skies, kabuki theater, two people, a couple, solarizing master --ar 9:16」
---- 新智元编译 来源：NVIDIA 编译：肖琴 【新智元导读】英伟达的研究人员发布了一种可以编辑图像或重建已损坏图像的深度学习方法，实现了一键P图，而且“毫无ps痕迹”。通过使用“部分卷积”层，该方法优于其他方法。 在计算机视觉研究领域，NVIDIA常常让人眼前一亮。 比如“用Progressive Growing的方式训练 GAN，生成超逼真高清图像”，“用条件 GAN 进行 2048x1024 分辨率的图像合成和处理”的pix2pixHD项目，或者脑洞大开的让晴天下大雨、小猫变狮子、黑夜转
拍照的时候，想必大家都有过一种经历：背景永远有一大堆其他游客，拍完照还得找半天哪个是自己。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
