专栏首页机器学习算法与Python学习【AI开源项目】深度学习工具一键抠图

【AI开源项目】深度学习工具一键抠图

对于漫画翻译人员来说,需要去除原有漫画的对话框和背景文字,并将其替换为读者使用的语言。由于一本漫画可能有数万个对话框和对话,因此工作量是很大的。现在,抠图的工作人员可以基本上解放他们的双手了。只要你有 TensorFlow,就可以快速实现一键抠图,将漫画图像中的所有文字一键去除。

项目地址:https://github.com/KUR-creative/SickZil-Machine (阅读原文直接访问)

SickZil-Machine,一键抠图

SickZil 是韩文中的作者提供了一个视频,用于展示这一工具的效果。

作者同时提供了自动工具抠图的案例。

对话框中的文字可以被完全消除。

有时候会有些文字消除不干净的情况,但基本不影响画面(漫画右上角标题符号)。同时,背景中被去掉文字后,背景画面可以被自动补全,基本不改变画面效果(画面右上角背景文字)。

从视频中可以看出,这一工具非常的方便。只需要选择待处理的漫画,然后运行工具即可。如果有一些画面被误去除,或者有一些去除不干净的情况下,用户可以手动修改需要被去除的文字。

那么,这一工具背后是什么技术呢?

技术

模型架构

据项目作者介绍,这一工具背后使用了两个模型,第一个是 Seg Net,用于检测漫画中的问题。另一个则是 Compl Net,用于处理漫画图像,去除文字并补全缺失的图像部分。

Seg Net 使用的是 U-NET。这是一种编码器-解码器架构。编码器逐渐减少池化层的空间维度,解码器逐步修复物体的细节和空间维度。

U-Net 的架构,将输入图像逐步池化后进行上采样,从而还原图像细节。

Compl Net 使用的是 deepfill v2,这是一个用于对任意被 mask 的图像进行修复的模型,可以适应各种 mask 的方式(块状遮盖或线条遮盖都可以)。deepfill 是 Adobe 等机构提出一系列图像修复工具,机器之心也曾用过 deepfill v1,但是效果似乎没有论文展示的那么好。

目前 deepfill v2 并没有官方开源,但 GitHub 上有其他开发者复现。

deepfill v2 的模型架构,可以进行图像修复。

有了这两大神器,基本上可以实现漫画文字的检测识别和去除文本后的图像补全。

数据集和训练

有了模型还不够,很多读者想知道,整个系统是怎样训练的。

在 Seg Net 上,作者使用了原始的漫画图像和文本内容遮盖数据,用于覆盖原始漫画中所有的文字部分。在 Compl Net 上,模型的输入为被移除了文字的漫画图像。模型使用了 285 个图像-遮盖对和 31500 张漫画图像,其中有将近 12000 张漫画是有文字的,因此训练的数据比较平衡。

安装和使用

作者没有透露训练模型的相关参数,但是提供了开发者需要准备的硬件配置。

对于开发者而言,运行代码需要准备 NVIDIA 驱动 410.x,CUDA 10.0,CUDNN >= 7.4.1,TensorFlow 需要大于 1.13 版本。

配置代码步骤如下:

1首先克隆相关代码:git clone https://github.com/KUR-creative/SickZil-Machine.git; cd SickZil-Machine
2
3下载 zip 文件,地址:https://github.com/KUR-creative/SickZil-Machine/releases。
4
5解压并复制文件:SickZil-Machine-0.1.1-pre0-win64-cpu-eng/resource/cnet 和 SickZil-Machine-0.1.1-pre0-win64-cpu-eng/resource/snet 到文件目录:SickZil-Machine/resource.
6
7进入目录并安装:pip install -r requirements.txt
8
9运行主程序:cd src; python main.py

本文分享自微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 代码优化指南:人生苦短,我用Python

    代码地址:https://github.com/apatrascu/hunting-python-performance

    昱良
  • 两个月成为资深数据分析师:带你Python+SQL+Tableau等五大工具一次拿下

    大数据现在有多热门?在公司里私下问一圈,发现10个同事中就有9个,正打算或者已经开始了自学数据分析。

    昱良
  • 梯度提升树GBDT原理

    关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 作者:雪伦_ 链接:http://b...

    昱良
  • Python忽略warning警告错误

    py3study
  • 从2017到2019,程序员有什么变化?

    有的是2017年和2019年自己的对比,还有一些是来自网友的恶搞,一时间热度不减,冲上热搜,都被大家玩坏了。

    老九君
  • Linux 内核学习经验总结

    学习内核,每个人都有自己的学习方法,仁者见仁智者见智。以下是我在学习过程中总结出来的东西,对自身来说,我认为比较有效率,拿出来跟大家交流一下。

    小小科
  • Linux内核学习经验总结

    学习内核,每个人都有自己的学习方法,仁者见仁智者见智。以下是我在学习过程中总结出来的东西,对自身来说,我认为比较有效率,拿出来跟大家交流一下。

    小小科
  • 如何进行小程序云函数开发

    在以前的文章中,我们给大家介绍了小程序的基本使用,近期微信团队联合腾讯云合作开发了一项新的产品,不用服务器就可以在小程序端进行服务端开发。为开发者提供完整的云端...

    英特奈特
  • 关于解决ubuntu 无法解析域名问题

    分析一:点击新的网址时非常快的显示出来无法链接,这点证明应该不是别人网站的问题,否则不会有这么快的反应速度。同时登陆本机另外一个系统,可以正常上网,则证明是这个...

    十四君
  • SQL优化误用'append'案例一则

    编辑手记:SQL是数据库系统的核心,因SQL问题引发的系统蝴蝶效应屡见不鲜,今天继续学习SQL优化的技巧。。 这是某客户关键系统的一个TOP SQL: ? 根据...

    数据和云

扫码关注云+社区

领取腾讯云代金券