图像素描风格生成

前言

论文链接:Combining Sketch and Tone for Pencil Drawing Production

Matlab版本的代码,目前找到有两个:

1、https://github.com/fumin/pencil

2、https://github.com/candycat1992/PencilDrawing

效果看起来第二个要好,而且写的代码非常简洁。

我实现了Scala的版本(有一小部分用到了python),基于第一个Matlab版本的代码:

https://github.com/Ldpe2G/Pencil-Drawing-Scala

其实是差不多实现完了才发现了第二个版本的matlab代码,后面会看看能否作些改进。

正文

首先看看从论文中截取的素描风格生成框架图:

主要是两大步组成,模拟画家画素描画的两个步骤:

1,Line Drawing,先画线,描轮廓;

2,Tone Drawing 再加上色调,比如阴影。

下面详细介绍两个步骤。

1. Line Drawing

首先来看看一幅图:

左边是画家画的一幅素描画,右边是放大细节部分。通过观察我们可以发现,画家在画

边的时候,都是用一段一段的线段组合起一幅画的。基于这个事实,文章提出了一种模

拟素描画边的方法。主要也是分两步走。

1.1 Classification

首先将输入图片转为灰度图,然后通过前向差分,分别计算x,y方向的梯度,再根据以下

公式计算大小:

公式中的 I 表示输入图片的灰度图,实现上我是用Prewitt’s operator来计算梯度的,

也试过Sobel 算子,效果差不多。

在模拟素描画线的难点在于估计每个像素点的画线方向,比较简单的方法是根据梯度方向,

但是会很容易受噪声的影响,而在文章中则提出了一个更加鲁棒的策略。

首先生成8个方向的线段(卷积核),

然后分别和G作卷积:

然后通过得到的相应图Gi来分类像素点,i (1~8):

p代表原图像素点的索引。根据公式3,我们可以知道

文章中声称以上的方法能对抗各种的噪声。

1.2 Line Shaping

获得Ci之后,首先和对应的线段卷积核作卷积,然后再加起来:

通过卷积操作可以聚集附近同一个方向的像素点,这样就可以把边原图上边上的像素点连起

来。最后的结果就是把S‘的像素值反转,然后再映射到 [0, 1] 区间。就得到结果了。

用scala代码跑的结果作演示:

2. Tone Drawing

这一步这要就是模拟画家用铅笔上色的过程,这需要利用道原始灰度图的信息。

我们首先来看一张图:

左边是自然场景图片和对应的像素值直方图,右边是素描画和对应的直方图。

可以看到直方图的分布是很不一样的。因此原图像的色调是不能直接用在色调生成上的。

然后文章中提出了一种参数化模型来解决这个问题。

2.1 Model-based Tone Transfer

文中提出了一个模型来表示色调分布:

v 表示色调值,然后 p(v)表示这个像素是用色调值v来表示的概率。Z是正则化因子。

三个 pi(v) 分别代表在素描画中的三个不同的色调层,ω 代表权值,形象的理解可以看

作是对应的色调的像素值的个数。再来看一幅图:

(a)是一幅素描画,然后 (b),是把像素值分成三类的结果,绿,橙,蓝分别代表

深,中,浅三种色调。(c)对应的三种色调的直方图。分析结果就是,自然图像和素描

画的最大的区别就是素描画空白的区域更大,亮度更高。

然后三中色调对应三个公式来表示:

然后就是如何求解公式中的参数了。

2.2 Parameter Learning

权值 ω 由每个色调层的像素个数决定。然后对每层的参数采用最大似然估计的方式来

求解。每层的像素值的均值和标准差表示为m和s。参数可以近似的表示为:

xi代表像素值,N表示每层像素值的个数。

然后学习到的参数如下:

但是其实在matlab代码的实现上,对于权值 ω的设定和三个公式的实现,并不是完全按照

论文中的定义来实现的,我做了不少实验来调节参数然后看结果,发现还是得按照matlab

代码的设定才能最大程度复现论文的结果,所以应该还有有哪里一些细节没处理好。

然后学习到参数之后,对于每一张新的输入图像,通过直方图匹配的方法来修正灰度图的

像素值,也就是用输入图像的灰度图的直方图去匹配素描画的直方图。

2.3 Pencil Texture Rendering

做完直方图匹配之后,原图的像素值分配就比较接近素描画的了,但是还不能直接就用这个

修正的灰度图和上一步生成的描边直接组合,还需要模拟一下素描画的纹理。如何生成

这个纹理是一个很难解决的问题。

文章中生成他们收集了20张左右的素描纹理图来做实验,matlab的代码中提供了3张:

每个输入图片只需要一张即可。在画家作画的时候,色调的生成就是在某处重复的画。

模拟的方法直观的理解就是,通过将纹理图作乘法。

。这个 beta 就是我们要求解的。 beta 越大则得到的得到色调越深。通过求解以

下公式可以得到 beta :

其实怎么在代码上去实现求解我是想不到的,但是好在matlab的代码实现了求解,

最后其实是在求解一个非常大的线性方程组,不过矩阵都是非常稀疏的。至于怎么能

那么实现,到目前为止我还是没看懂,不过直接把matlab的代码移植到scala还是没问

题的。个人感觉复现过程中最难的部分也就是这里了,我尝试了很多java/scala的矩阵库

(la4j, mtj, colt等等),速度上都不满意,最终发现 breeze是速度上最接近matlab的,

但是在求解稀疏矩阵相关的线性方程组的时候,breeze还不支持,最后实在没办法了,

只能把这部分求解的实现放到python中去做,用scipy这个库来解决,由此可以看到,

scala在做科学计算上还是,比不上python。最后用了一种比较low的方法,在代码中调

用python的脚本,然后再把脚本的结果读取上来。

ok,回到正题,得到 beta 之后,模拟素描画色调纹理的图就可以得到了:

最终的结果就是把色调和轮廓结合起来,用一个矩阵的点乘操作即可:

3 Color Pencil Drawing

文章还做了一些拓展,比如如何给素描画上色,就是比如把RGB转换到YUV空间,

然后把Y通道拿出来,经过之前的步骤来生成素描画,再把它放回到Y通道上,最后再

重新转换成RGB即可。文章剩下的部分就是一些结果展示和对比试验结果,想深入了解

的话可以去看看paper。

4 复现结果展示

最后展示一下用scala代码生成的一些素描图,只能说勉强复现了论文的方法。

展示格式,原图,素描轮廓图,素描图或彩色素描图。

5 参考资料

[1] http://stackoverflow.com/questions/12636896/how-to-solve-a-linear-system-of-matrices-in-scala-breeze

[2] http://statr.me/2015/09/an-overview-of-linear-algebra-libraries-in-scala-java/

[3] http://stackoverflow.com/questions/7086820/convert-rgb-to-ycbcr-c-codehttps://en.wikipedia.org/wiki/Edge_detection

[4] https://en.wikipedia.org/wiki/Edge_detection

[5] http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.301.927&rep=rep1&type=pdf

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

深度学习与神经网络:单层感知机

今天这个文章让我们一起来学习下感知机: ? 一个传统的单层感知机如上图所示,其实理解起来很简单,我们可以直接理解为输入节点接受信号之后直接传输到输出节点,然后得...

4715
来自专栏SnailTyan

ResNet论文翻译——中文版

Deep Residual Learning for Image Recognition 摘要 更深的神经网络更难训练。我们提出了一种残差学习框架来减轻网络训...

3697
来自专栏AI2ML人工智能to机器学习

矩有四子

在讨论一些方法的几何意义之前需要理解一下线性代数的一个基础知识,就是矩阵和它代表的空间的含义。

893
来自专栏PaddlePaddle

转载|使用PaddleFluid和TensorFlow训练序列标注模型

上一篇通过转载|使用PaddleFluid和TensorFlow训练RNN语言模型大家了解了:

1113
来自专栏派森公园

机器学习101(译)

3027
来自专栏奇点大数据

Pytorch神器(6)

作者介绍:高扬,奇点大数据创始人。技术畅销书《白话大数据与机器学习》、《白话深度学习与Tensorflow》、《数据科学家养成手册》著书人。重庆工商大学研究生导...

1653
来自专栏Ldpe2G的个人博客

图像素描风格生成

1792
来自专栏机器之心

教程 | 详解如何使用Keras实现Wassertein GAN

选自Deeply Random 机器之心编译 参与:晏奇、李泽南 在阅读论文 Wassertein GAN 时,作者发现理解它最好的办法就是用代码来实现其内容。...

42710
来自专栏技术与生活

从一条曲线谈损失函数优化方法

找到生成最小值的一组参数的算法被称为优化算法。我们发现随着算法复杂度的增加,则算法倾向于更高效地逼近最小值。我们将在这篇文章中讨论以下算法:

1162
来自专栏机器学习原理

机器学习篇(2)——最小二乘法概念最小二乘法

前言:主要介绍了从最小二乘法到 概念 顾名思义,线性模型就是可以用线性组合进行预测的函数,如图: ? image.png 公式如下: ? i...

5615

扫码关注云+社区