开源漫画翻译神器！ AI 自动清除、填补漫画文字！

本文转自量子位，作者栗子

漫画汉化组，和动画字幕组，表面看都是翻译，可工作还是很不一样的。

比如，日文动画生肉一般没有加字幕，而漫画原本就充满了文字。

所以，漫画的汉化组，要先把原文抹掉，才能贴上中文。

需要抹掉的，不只气泡里的对话，还有背景里的旁白，以及字体硕大雄健的拟声词。

这样巨大的工作量，还是交给 AI 吧，只要一键搞定：

满篇的文字都消失了，人类完全没有帮忙。

AI 的名字叫 SickZil-Machine，是一群韩国小伙伴开发的，已经开源。

https://github.com/KUR-creative/SickZil-Machine

不光字去掉了，背景也修补了：

有了它，汉化组再也不用大规模手动擦除了。

面对此情此景，人类表示相见恨晚：

那么，韩国少年们是怎样孕育出这只 AI 的？

一步两步

团队说，这是一个完全自动消除漫画文字的 AI；但如果人类需要，也可以手动指定消除某一部分文字。

至于是如何擦掉文字，AI 由两个机器学习模型组成：

一个叫 SegNet，负责把需要抹掉的文字部分，分割出来；

一个叫 ComplNet，负责把抹掉之后露出的背景补全

抠出文字的 SegNet，借鉴了前辈 U-Net 图像分割技术：

U-Net 结构像个 U，从全卷积网络 (FCN) 改进而来。

分割是用成对数据训练的。这里的成对数据，就是漫画原图，加上文字部分的 mask。

只用了 285 对数据。

抠出文字之后，就该填补背景的 ComplNet 上场了。它是借鉴了前辈 DeepFillv2 图像修复算法：

DeepFillv2 来自 UIUC 和 Adobe，擦除图像的任意部位，AI 都能修补完整。

比如，抹掉一盏路灯，AI 便会把路灯背后的建筑物补好。

除此之外，还能按自己的意志修改图片：

把人类的下巴擦掉，再描个短一点的下巴，AI 就会给你一张不是马脸的人像了。

当然，漫画未必需要这样高度定制，脑补背景就够。

团队用了 31,497 张图来训练，其中 11,464 张是有文字的。

最终，成果斐然：

不过，也不一定要全靠 AI，人类可以手动选择要 (或不要) 消除的部分。

先让屏幕显示出 AI 生成的 mask (红色) 。如果发现不该变红的部分红了，就手动把这一部分从 mask 里去掉，这样 AI 就不会把它消除了。

比如上面，妹子的脸旁边，没有字的地方红了一大块。那么，把这一部分红色框起来扔掉，就好了。

最后

其实，这个好东西也不一定是汉化组才用得到。

没事做的时候，把漫画原本的台词抹掉，练习填词，也是很健康的活动哟。

比如到了这种时候，人类会说些什么呢?：