追番神器+1！即时翻译、瞬间排版，这个基于漫画的AI系统居然想消灭汉化组？

大数据文摘出品

作者：刘俊寰

看番，周更太慢！

想看原版漫画，不会日语，愁死个人！

虽然现在在各大社交媒体上都有民翻，但是想看的漫画偏偏太过小众，没人翻译！

别急别急，救星来了。

去年，一位叫作石渡祥之佑的小哥开发了一个AI系统Mantra，该系统结合了特定于漫画的图像识别技术、机器翻译和外语排版自动化技术，也就是说，能够直接在漫画原文上实现翻译。

要知道，在日本，漫画的出版占到了整体出版物的40%，人工翻译费用更是高达每本200,000到300,000日元。

这项AI技术不仅提升了漫画翻译的速度，翻译的成本也降低了60-70%。

说到这，文摘菌想到AI也曾帮助中国爽文成功出海，看来AI对文化产业仍然有十分重要的贡献。

这个项目在开发初期就接受到了来自东京大学FoundX计划、IPA、东大IPC计划的支持。最近，DEEPCORE、DMM VENTURES、Legend Co、天使投资等更是对其投资8000万日元。

看得出来，大家对漫画出海抱有十分强烈的信心和希望。

而且敲黑板划重点，Mantra服务预计将在7月正式对外开放，本年度的精神支柱就靠它了。

剑指海外发行，Mantra实现的不只是简单的文本翻译

Mantra主要实现了两项功能，首先是机器翻译，在这方面，研究人员对Mantra进行了特定于漫画的技术处理，在这个基础上，Mantra能够实现多语言无障碍翻译。

针对漫画的机器翻译技术到底是怎么回事，石渡小哥介绍道，简单来说，Mantra就是把传统的手动翻译自动化了。

人为翻译漫画主要有以下三个步骤：

• 对文本转录；
• 填充语言气泡的文本部分并进行翻译；
• 把翻译好了的文本进行正确地排版。

看得出来，漫画的机器翻译就不只是语言的转换，还包括了翻译后的排版工作。

要实现这两项功能，首先要准确定位到语言气泡，然后再对其中的文本进行识别与翻译。

听起来容易，但是要知道，漫画中的气泡文本排版没有能够总结的规律，还存在字体大小和样式的差异，这些都将使得漫画的机器翻译比传统商业翻译更为困难。

要解决这个难题，石渡小哥开发了专用于漫画字符识别的OCR引擎，在OCR引擎的助力下，系统可以准确地检测和识别气泡中的文本，即使漫画图像十分拥挤也不在话下。

左边是日语原版，右边是Mantra的机器翻译版本，可以看到翻译和排版的精度都相当高

不过总的来说，翻译的难度要大于识别难度，因为漫画里面经常出现口吃或者中途断句等口语行为，还要处理好文字和表情的关系。

目前，团队也正在针对漫画表情开发识别引擎。

要完全实现漫画翻译想必也十分耗时耗财，也正是因为如此，团队的目标首先就是降低人工翻译的花费，目前的翻译仍然需要人工修正，为了更好地进行编辑，团队也正在开发一种新工具更好地将机器翻译和人工翻译结合起来。

对于Mantra的潜在发展目标，石渡小哥表示，希望能将该技术利用到出版行业，拓展漫画的海外市场，以及将其用于个人使用，有助于漫画作者在社交媒体上自由地发布作品。

要打造一个漫画文字瞬间走向世界的未来

石渡小哥介绍道，其实Mantra的开发也是纯属偶然。

在博士阶段，他曾向ACL大会提交了一篇机器翻译的论文，当时他的一位同期日亚正在攻读图像识别领域的博士学位，他也曾向相关领域的顶会投了一些论文。

于是在他博三的暑假，他们两人一拍即合，决定一起做个副业，用机器翻译一本漫画书，这也是他们做了一些用户访谈之后定下来的方向。

“如果能好好利用机器翻译漫画相关技术，也许就能打造一个让文字漫画在瞬间走向世界的未来。”

后来，我们对这个项目越来越上心，博士毕业之后，决定以创业的方式进行正式的研究。

在Mantra的开发过程中，他们也遇到了不少困难，比如，石渡小哥就分享道，首先在训练数据上就是缺失的，当时并没有基于双语的漫画数据。

本着万事开头难的信念，他们决定抽选很少一部分已经被翻译成外语的漫画作品，从中提取出双语文本数据，这样就以很低的成本创建了首个漫画翻译领域的双语数据库。

如今，在漫画翻译上，还存在很多问题有待解决，比如有时候人物对话会突然被打断，中间出现一个文本气泡，以及在漫画对话中经常会省略主语和宾语。

最近，他们也正在针对这些问题进行逐一攻克，目前的译文准确率还不是很高，在完全没有人为修正的情况下，能勉强读懂30%的内容，他们的目标是实现70%-80%的可读性。

Mantra的目标是确保所有的漫画作品都能即时传送到全世界粉丝手上，如果一位日本漫画家的作品发布在了平台上，就会被瞬间翻译成5-10种不同的语言，这样的平台能够实现，相信也能从技术上消灭盗版。

为了让更多的人能够使用，他们也正计划把平台支持的语言扩展到目前的英文和中文之外。

汉化不能少！B站手把手教你安装，追剧不停

不要以为翻译只有输出国的技术人员在着急，输入国的粉丝简直眼睛都要望穿了，这其中，中国肯定要占上一席。

于是，汉化组们可能要哭了，因为B站上有一个UP主开源了一款OCR翻译软件。

根据介绍，当在屏幕上设定好翻译框后，出现在框中的外语都会被自动识别并快速翻译成中文，不仅支持漫画，还支持游戏、番剧、PDF文献等。

在GitHub上，官方人员总结了这款翻译软件的六大优缺点：

• 适用范围全面，几乎所有出现在屏幕的东西都可以翻译；
• 翻译接口多，目前有12个翻译接口；
• 简洁美观的界面；
• 及其简单傻瓜的操作方式；
• 相比较其他OCR翻译器配置有自动翻译模式；
• 需要联网，可能视网速不同翻译速度有差。

GitHub链接：

https://github.com/PantsuDango/Dango-Translator

不过总的来说，还是很香的，网友们也纷纷表示，太香了太香了，简直比YouTube还香！

在使用上，有人表示，虽然需要付费，但是免费额度已经足够打游戏用了。不过看到这么香的翻译软件真的能控制住想要打钱的冲动吗？

在B站上，开发人员也上传了视频对如何安装进行了手把手的教学：

视频链接：

https://www.bilibili.com/video/BV1gp4y1Q7Ts

正好，端午到了，出得去的出不去的，都浪起来！

相关报道：

https://ainow.ai/2019/12/09/181620/

https://ainow.ai/2020/06/08/223964/