pix是什么意思(pixio)
大家好，又见面了，我是你们的朋友全栈君。
本文会介绍cGAN和pix2pix，并在 TensorFlow 中使用 pix2pix 模型。
一、cGAN原理
使用GAN可以无监督生成全新的图片，比如使用GAN生成MNIST数字，虽然可以生成数字，但是不能生成确定的数字。如果希望控制生成的结果，例如生成数字1，此时就要用到cGAN了。
cGAN 的全称为 Conditional Generative Adversarial Networks， 即条件对抗生成网 络，它为生成器、判别器都额外加入了一个条件 y， 这个条件实际是希望生成的标签 。 生成器 G 必须要生成和条件 y 匹配的样本，判别器不仅要判别图像是否真实，还要判别图像和条件y是否匹配。cGAN的输入输出为：
（1）生成器 G， 输入一个噪声 z， 一个条件 y，输出符合该条件的图像 G(z[y)。
（2）判别器 D ，输入一张图像、一个条件 y，输出该图像在该条件下的真实概率 D(x[y)。
cGAN损失定义：在GAN的优化目标中加入条件y，即：
二、pix2pix模型的原理
在自然语言处理领域，机器翻译，也就是将中文译成英文，对应的，在图像领域，也有图像翻译。例如：将白天的图片转换为夜晚的图片、将街景的标注图像变为真实图片。使用pix2pix可以处理这类问题，模型结构如下：
它是一种特殊的cGAN，设要将 Y类型的图像转换为 X类型的图像， G、 D 的任务分别为 :
（1）G 的输入是一个 Y类图像y (条件y) ，输出为生成图像 G(y)。
（2）D 的输入为一个X类图像x，一个 y类图像y。D需要判断x图像是否是真正的y对应的图像，并输出一个概率。
模型损失定义为：L1+cGAN。实验中发现，在生成图像和真实图像中加入L1/L2损失，可以加速模型收敛以及提高准确率。
在pix2pix2提出一种PatchGAN的思想：PatchGAN 对图片中每个 NxN 的小块计算概率， 然后再将这些概率求平均值作为整体的输出，这样做可以加快计算速度以及加快收敛。
三、TensorFlow中的pix2pix模型
1、执行已有数据集
Facades数据集包含了建筑的外观图像和建筑的标注 。 建筑的标注同样是图像形式，用不同颜色的色块表示不同的类别。Facades 数据集将建筑外观分为墙壁、窗户、门、檐口等 12 个类别。下载Facades 数据集：python tools/download-dataset.py facades
所有的样本图像都是两张图片拼接起来的，训练时，可以将A类图像翻译成B类图像。本例将标注图像生成真实图像，运行命令：
python pix2pix.py
--mode train # 表示从头训练模型 test表示用已有模型测试
--output_dir facades_train # 保存模型的位置
--max_epochs 200 # epoch数
--input_dir facades/train/ # 训练数据
--which_direction BtoA # 翻译方向训练结束后，使用命令进行测试：
python pix2pix.py
--mode test # 用已有模型测试
--output_dir facades_test # 保存所有图片的测试结果
--input_dir facades/val # 训练数据
--checkpoint facades_train # 之前保存模型的位置，表示从此处恢复模型执行测试后，在 facades_test 文件夹下，会产生一个 index.html 文件 。 打开后可以看到一个可视化展示生成结果的网页。
2、创建自己的数据集
通过程序，将训练数据也整理为之前所说的 A、 B 图像并列排列的形式，用对应的指令进行训练和测试，相应代码在process.py文件中。
（1）将图片缩放到同样的大小
def resize(src):
height, width, _ = src.shape
dst = src
if height != width:
if a.pad:
size = max(height, width)
# pad to correct ratio
oh = (size - height) // 2
ow = (size - width) // 2
dst = im.pad(image=dst, offset_height=oh, offset_width=ow, target_height=size, target_width=size)
else:
# crop to correct ratio
size = min(height, width)
oh = (height - size) // 2
ow = (width - size) // 2
dst = im.crop(image=dst, offset_height=oh, offset_width=ow, target_height=size, target_width=size)
assert(dst.shape[0] == dst.shape[1])
size, _, _ = dst.shape
if size > a.size:
dst = im.downscale(images=dst, size=[a.size, a.size])
elif size < a.size:
dst = im.upscale(images=dst, size=[a.size, a.size])
return dst（2）转换图像井合并
对 A 类图像做某种操作以生成对应的 B 类图像，并将转焕后的图像合起来变成一个训练样本。比如将A图像挖去一部分成为B图像，再合并。
# 填充部分图像为空白
def blank(src):
height, width, _ = src.shape
if height != width:
raise Exception("non-square image")
image_size = width
size = int(image_size * 0.3)
offset = int(image_size / 2 - size / 2)
dst = src
dst[offset:offset + size,offset:offset + size,:] = np.ones([size, size, 3])
return dst# 合并
def combine(src, src_path):
if a.b_dir is None:
raise Exception("missing b_dir")
# find corresponding file in b_dir, could have a different extension
basename, _ = os.path.splitext(os.path.basename(src_path))
for ext in [".png", ".jpg"]:
sibling_path = os.path.join(a.b_dir, basename + ext)
if os.path.exists(sibling_path):
sibling = im.load(sibling_path)
break
else:
raise Exception("could not find sibling image for " + src_path)
# make sure that dimensions are correct
height, width, _ = src.shape
if height != sibling.shape[0] or width != sibling.shape[1]:
raise Exception("differing sizes")
# convert both images to RGB if necessary
if src.shape[2] == 1:
src = im.grayscale_to_rgb(images=src)
if sibling.shape[2] == 1:
sibling = im.grayscale_to_rgb(images=sibling)
# remove alpha channel
if src.shape[2] == 4:
src = src[:,:,:3]
if sibling.shape[2] == 4:
sibling = sibling[:,:,:3]
return np.concatenate([src, sibling], axis=1)（3）分割数据集，把数据集分割为训练集和验证集
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/128999.html原文链接：https://javaforall.cn