让画面更逼真！这个强化超分辨率GAN让老游戏迎来第二春 | 代码+论文+游戏MOD

乾明 发自 凹非寺 量子位 出品 | 公众号 QbitAI

能推动AI落地的，不只有利益，也有兴趣和情怀。

近期就有一群资深游戏玩家，用增强型超分辨率生成对抗网络（ESRGAN）做出了经典游戏的高清化MOD。

效果很感人。就像给近视患者戴上了眼镜一样，整个世界都清晰起来了：

原来一团模糊，现在各种纹理、细节清晰可见。

目前，《重返德军总部》、《毁灭战士》、《上古卷轴III：晨风》和《马克思·佩恩》等游戏已经有了相应的Texture Pack可供下载。（传送门在文末）

要知道，随着显卡越来越厉害，计算能力越强大，很多经典的游戏虽然玩法很经典，但在当前的硬件配置下，但粗糙的画面让人越来越难以接受。

不少游戏公司都有了“高清重制”这些游戏的想法。费时费力不说，重置版的游戏，也很少能够保留原来的游戏风格与感觉。

ESRGAN给人的，就是原汁原味的体验。

在《上古卷轴III：晨风》资源包的下方，一位资深的游戏玩家评论称，这不是一个技术噱头，而是一个相当好的“高清重制”，为游戏画面的原始纹理增加细节，还保留了其美学风格。这就是我记忆中《晨风》的样子，细节和我原来想象中的一样的。

有人发出感叹称，这个AI简直是“天赐之物”！更是有不少人用“Fu*k”来表达自己的心情。

当然，少不了有人有一些大胆的想法，那些放在硬盘里“落灰”的老游戏，能够迎来第二春了。

这个应用场景同样也引起了AI圈大佬的注意。GAN之父Ian Goodfellow在Twitter上转发了相关的信息，引发了不少的关注。

但AI圈和游戏圈的讨论画风，略显不同。

有人说，从这个效果你就能够看出，为什么英伟达和好莱坞看到GAN和NN会如此兴奋了！

也有人脑洞大开：是不是可以用相同的方法，把1080P升级到4K？

当然，有想法是好事儿。但ESRGAN到底是什么？

ESRGAN是什么？

ESRGAN，是增强型的超分辨率生成对抗网络。想要弄清楚它，还需要从超分辨率生成对抗网络（SRGAN）说起。

一般情况下，想要把游戏画面变得高清化，需要对图像的超分辨率重建。

传统的超分辨率重建方法，是用较小的倍数将图像放大。但问题是，放大到4倍以上时，图像就会出现过度平滑的现象，就变得不那么真实了。

针对这个问题，Twitter的研究团队提出了超分辨率生成对抗网络SRGAN。

他们的思路是，借助GAN的网络架构来生成图像中的细节，生成器（generator）生成一张超分辨图像，来骗过判别器（ discriminator ）。

在GAN基础上，他们还设计了感知损失（perceptual loss）函数和对抗损失（adversarial loss）函数来提升输出图像的真实感。

论文链接： https://arxiv.org/abs/1609.04802

比起传统的方法，SRGAN在效果上有了很大的提升，但这条路并无止境。

然后，ESRGAN诞生了。

与SRGAN相比，ESRGAN在不少方面有了增强。

在模型架构上的，基本和SRGAN差不多，区别在于针对基本块(BasicBlock)的替换。

在ESRGAN中，提出了新的RRDB残差密集块（RRDB），然后将残差密集块中的残差作为基本的网络构建单元，而不是进行批量预处理（归一化），从而有助于训练更深更复杂的网络结构。

除了改进生成器，他们还对SRGAN的判别器做了一些改进。基于相对GAN的想法，让判别器判断的相对真实性而不是绝对真实度。

SRGAN的判别器，仅仅针对输入图x判断真实且自然的概率，而相对判别器尝试去预测真实图像xr相对于生成结果（假的）xf更加真实地概率。

此外，ESRGAN也提出了一种更加高效的感知损失函数，而使生成的图像有更加清晰的边缘。

对比的效果是这样的：

ESRGAN的论文，被ECCV 2018收录，赢得了PIRM2018-SR挑战赛的第一名。

作者来自商汤-中国香港中文大学实验室等机构。第一作者为Xintao Wang，2016年本科毕业于浙江大学。

目前是中国香港中文大学多媒体实验室的3年级博士生，师从汤晓鸥和Chen Change Loy。

最后要说的是，ESRGAN已经开源了，也有人给出了如何在Windows上运行ESRGAN的指南。

如果你也有大胆的想法，请收好下面的传送门~

传送门

ESRGAN论文

https://arxiv.org/abs/1809.00219

ESRGAN代码

https://github.com/xinntao/ESRGAN

如何在Windows上运行ESRGAN

https://kingdomakrillic.tumblr.com/post/178254875891/i-figured-out-how-to-get-esrgan-and-sftgan

游戏模组下载

重返德军总部： https://www.dsogaming.com/news/return-to-castle-wolfenstein-gets-hd-textures-using-esrgan-available-for-download/

毁灭战士： https://www.dsogaming.com/news/this-hd-texture-pack-for-doom-upscales-the-textures-via-ai-neural-networks-and-looks-incredible/

上古卷轴III：晨风： https://www.dsogaming.com/news/morrowind-enhanced-textures-is-a-must-have-mod-that-upscales-texture-by-4x-with-esrgan-technique/

马克思·佩恩： https://www.moddb.com/games/max-payne/addons/max-payne-remastered

— 完 —