让画面更逼真!这个强化超分辨率GAN让老游戏迎来第二春 | 代码+论文+游戏MOD

乾明 发自 凹非寺 量子位 出品 | 公众号 QbitAI

能推动AI落地的,不只有利益,也有兴趣和情怀。

近期就有一群资深游戏玩家,用增强型超分辨率生成对抗网络(ESRGAN)做出了经典游戏的高清化MOD。

效果很感人。就像给近视患者戴上了眼镜一样,整个世界都清晰起来了:

原来一团模糊,现在各种纹理、细节清晰可见。

目前,《重返德军总部》、《毁灭战士》、《上古卷轴III:晨风》和《马克思·佩恩》等游戏已经有了相应的Texture Pack可供下载。(传送门在文末)

要知道,随着显卡越来越厉害,计算能力越强大,很多经典的游戏虽然玩法很经典,但在当前的硬件配置下,但粗糙的画面让人越来越难以接受。

不少游戏公司都有了“高清重制”这些游戏的想法。费时费力不说,重置版的游戏,也很少能够保留原来的游戏风格与感觉。

ESRGAN给人的,就是原汁原味的体验。

在《上古卷轴III:晨风》资源包的下方,一位资深的游戏玩家评论称,这不是一个技术噱头,而是一个相当好的“高清重制”,为游戏画面的原始纹理增加细节,还保留了其美学风格。这就是我记忆中《晨风》的样子,细节和我原来想象中的一样的。

有人发出感叹称,这个AI简直是“天赐之物”!更是有不少人用“Fu*k”来表达自己的心情。

当然,少不了有人有一些大胆的想法,那些放在硬盘里“落灰”的老游戏,能够迎来第二春了。

这个应用场景同样也引起了AI圈大佬的注意。GAN之父Ian Goodfellow在Twitter上转发了相关的信息,引发了不少的关注。

但AI圈和游戏圈的讨论画风,略显不同。

有人说,从这个效果你就能够看出,为什么英伟达和好莱坞看到GAN和NN会如此兴奋了!

也有人脑洞大开:是不是可以用相同的方法,把1080P升级到4K?

当然,有想法是好事儿。但ESRGAN到底是什么?

ESRGAN是什么?

ESRGAN,是增强型的超分辨率生成对抗网络。想要弄清楚它,还需要从超分辨率生成对抗网络(SRGAN)说起。

一般情况下,想要把游戏画面变得高清化,需要对图像的超分辨率重建。

传统的超分辨率重建方法,是用较小的倍数将图像放大。但问题是,放大到4倍以上时,图像就会出现过度平滑的现象,就变得不那么真实了。

针对这个问题,Twitter的研究团队提出了超分辨率生成对抗网络SRGAN。

他们的思路是,借助GAN的网络架构来生成图像中的细节,生成器(generator)生成一张超分辨图像,来骗过判别器( discriminator )。

在GAN基础上,他们还设计了感知损失(perceptual loss)函数和对抗损失(adversarial loss)函数来提升输出图像的真实感。

论文链接: https://arxiv.org/abs/1609.04802

比起传统的方法,SRGAN在效果上有了很大的提升,但这条路并无止境。

然后,ESRGAN诞生了。

与SRGAN相比,ESRGAN在不少方面有了增强。

在模型架构上的,基本和SRGAN差不多,区别在于针对基本块(BasicBlock)的替换。

在ESRGAN中,提出了新的RRDB残差密集块(RRDB),然后将残差密集块中的残差作为基本的网络构建单元,而不是进行批量预处理(归一化),从而有助于训练更深更复杂的网络结构。

除了改进生成器,他们还对SRGAN的判别器做了一些改进。基于相对GAN的想法,让判别器判断的相对真实性而不是绝对真实度。

SRGAN的判别器,仅仅针对输入图x判断真实且自然的概率,而相对判别器尝试去预测真实图像xr相对于生成结果(假的)xf更加真实地概率。

此外,ESRGAN也提出了一种更加高效的感知损失函数,而使生成的图像有更加清晰的边缘。

对比的效果是这样的:

ESRGAN的论文,被ECCV 2018收录,赢得了PIRM2018-SR挑战赛的第一名。

作者来自商汤-香港中文大学实验室等机构。第一作者为Xintao Wang,2016年本科毕业于浙江大学。

目前是香港中文大学多媒体实验室的3年级博士生,师从汤晓鸥和Chen Change Loy。

最后要说的是,ESRGAN已经开源了,也有人给出了如何在Windows上运行ESRGAN的指南。

如果你也有大胆的想法,请收好下面的传送门~

传送门

ESRGAN论文

https://arxiv.org/abs/1809.00219

ESRGAN代码

https://github.com/xinntao/ESRGAN

如何在Windows上运行ESRGAN

https://kingdomakrillic.tumblr.com/post/178254875891/i-figured-out-how-to-get-esrgan-and-sftgan

游戏模组下载

重返德军总部: https://www.dsogaming.com/news/return-to-castle-wolfenstein-gets-hd-textures-using-esrgan-available-for-download/

毁灭战士: https://www.dsogaming.com/news/this-hd-texture-pack-for-doom-upscales-the-textures-via-ai-neural-networks-and-looks-incredible/

上古卷轴III:晨风: https://www.dsogaming.com/news/morrowind-enhanced-textures-is-a-must-have-mod-that-upscales-texture-by-4x-with-esrgan-technique/

马克思·佩恩: https://www.moddb.com/games/max-payne/addons/max-payne-remastered

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2019-01-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券