专栏首页iOSDevLogvid2vid 视频到视频转换vid2vid

vid2vid 视频到视频转换vid2vid

vid2vid

teaser.gif

Pytorch实现了我们的高分辨率(例如2048x1024)逼真的视频到视频转换方法。

[项目] [YouTube]

论文将于8月20日在Arxiv上发布。

Pytorch实现了我们的高分辨率(例如,2048x1024)逼真的视频到视频转换方法。它可用于将语义标签贴图转换为照片般逼真的视频,合成人们从边缘地图谈话,或从姿势生成人体。

视频到视频合成 Video-to-Video Synthesis Ting-Chun Wang1, Ming-Yu Liu1, Jun-Yan Zhu2, Guilin Liu1, Andrew Tao1, Jan Kautz1, Bryan Catanzaro1 1NVIDIA Corporation, 2MIT CSAIL In arXiv, 2018.

视频到视频翻译

  • 标签到街景结果

city_change_styles.gif

city_change_labels.gif

  • 边框到面部结果

face.gif

face_multiple.gif

  • 姿势到身体的结果

pose.gif

先决条件

  • Linux或macOS
  • Python 3
  • NVIDIA GPU + CUDA cuDNN

入门

安装

pip install dominate requests
  • 克隆这个仓库:
git clone https://github.com/NVIDIA/vid2vid
cd vid2vid

测试

  • 我们在datasets文件夹中包含一个示例Cityscapes视频。
  • 首先,通过运行从https://github.com/NVIDIA/flownet2-pytorch下载并编译FlowNet2 repo的快照python scripts/download_flownet2.py
  • 请通过以下方式下载预先培训的Cityscapes模型:
python scripts/download_models.py
  • 要测试模型(bash ./scripts/test_2048.sh):
#!./scripts/test_2048.sh
python test.py --name label2city_2048 --loadSize 2048 --n_scales_spatial 3 --use_instance --fg --use_single_G

测试结果将保存到./results/label2city_2048/test_latest/index.html中。

  • 我们还提供了使用1 GPU训练的较小型号,在1024 x 512分辨率下产生稍差的性能。
    • 请下载模型

    python scripts/download_models_g1.py

    • 要测试模型(bash ./scripts/test_1024_g1.sh):

    #!./scripts/test_1024_g1.sh python test.py --name label2city_1024_g1 --loadSize 1024 --n_scales_spatial 3 --use_instance --fg --n_downsample_G 2 --use_single_G

  • 您可以在scripts目录中找到更多示例脚本。

数据集

  • 我们使用Cityscapes数据集作为示例。要在完整数据集上训练模型,请从官方网站下载(需要注册)。
  • 我们应用预先训练的分割算法来获得相应的语义地图(train_A)和实例地图(train_inst)。
  • 请将获得的图像放在datasets文件夹下,方法与提供示例图像的方式相同。

训练

  • 首先,通过运行下载FlowNet2检查点文件python scripts/download_models_flownet2.py
  • 使用8个GPU进行培训:
    • 我们采用从粗到精的方法,将分辨率从512 x 256,1024 x 512到2048 x 1024逐步增加。
    • 以512 x 256分辨率训练模型(bash ./scripts/train_512.sh

    #!./scripts/train_512.sh python train.py --name label2city_512 --gpu_ids 0,1,2,3,4,5,6,7 --n_gpus_gen 6 --n_frames_total 6 --use_instance --fg

    • 以1024 x 512分辨率训练模型(必须首先训练512 x 256)(bash ./scripts/train_1024.sh):

    #!./scripts/train_1024.sh python train.py --name label2city_1024 --loadSize 1024 --n_scales_spatial 2 --num_D 3 --gpu_ids 0,1,2,3,4,5,6,7 --n_gpus_gen 4 --use_instance --fg --niter_step 2 --niter_fix_global 10 --load_pretrain checkpoints/label2city_512

  • 要查看培训结果,请查看中间结果./checkpoints/label2city_1024/web/index.html。如果安装了TensorFlow,则可以./checkpoints/label2city_1024/logs通过添加--tf_log到培训脚本来查看TensorBoard登录。
  • 使用单个GPU进行培训:
    • 我们使用多个GPU训练我们的模型。为方便起见,我们为单GPU用户提供了一些样本培训脚本(XXX_g1.sh),分辨率高达1024 x 512。再次采用从粗到细的方法(256 x 128,512 x 256,1024 x 512)。使用这些脚本无法保证性能。
    • 例如,使用单个GPU训练256 x 128视频(bash ./scripts/train_256_g1.sh

    #!./scripts/train_256_g1.sh python train.py --name label2city_256_g1 --loadSize 256 --use_instance --fg --n_downsample_G 2 --num_D 1 --max_frames_per_gpu 6 --n_frames_total 6

全速(2k x 1k)分辨率训练

  • 要以全分辨率(2048 x 1024)训练图像,需要8个GPU,至少24G内存(bash ./scripts/train_2048.sh)。如果只有具有12G / 16G内存的GPU可用,请使用脚本./scripts/train_2048_crop.sh,该脚本将在训练期间裁剪图像。此脚本无法保证性能。

使用您自己的数据集进行培训

  • 如果您的输入是标签贴图,请生成标签贴图,这些贴图是单通道,其像素值对应于对象标签(即0,1,...,N-1,其中N是标签的数量)。这是因为我们需要从标签贴图生成单热矢量。请--label_nc N在培训和测试期间使用。
  • 如果你的输入不是一个标签映射,请注明--label_nc 0--input_nc N其中N是(默认值是3 RGB图像)输入通道的数量。
  • 预处理的默认设置是scaleWidthopt.loadSize在保持纵横比的同时,将所有训练图像的宽度缩放到(1024)。如果您需要其他设置,请使用该--resize_or_crop选项进行更改。例如,scaleWidth_and_crop首先调整图像的大小以使其具有宽度opt.loadSize,然后对大小进行随机裁剪(opt.fineSize, opt.fineSize)crop跳过调整大小步骤,仅执行随机裁剪。scaledCrop在重新训练原始宽高比时裁剪图像。如果您不想进行任何预处理,请指定none,除了确保图像可以被32整除之外什么都不做。

更多培训/测试详情

  • 我们训练模型的方式如下:假设我们有8个GPU,4个用于生成器,4个用于鉴别器,我们想要训练28个帧。此外,假设每个GPU只能生成一个帧。第一个GPU生成第一个帧,并将其传递给下一个GPU,依此类推。在生成4帧之后,将它们传递给4个鉴别器GPU以计算损耗。然后,最后生成的帧变为输入到下一批,并且训练序列中的接下来的4帧被加载到GPU中。这重复7次(4 x 7 = 28),以训练所有28帧。
  • 一些重要的标志:
    • n_gpus_gen:用于生成器的GPU数量(而其他GPU用于鉴别器)。我们将发生器和鉴别器分成不同的GPU,因为在处理高分辨率时,即使一帧也不适合GPU。如果数字设置为-1,则没有分离,并且所有GPU都用于生成器和鉴别器(仅适用于低分辨率图像)。
    • n_frames_G:馈入发电机网络的输入帧数; 即,n_frames_G - 1是我们看过去的帧数。默认值为3(以前两帧为条件)。
    • n_frames_D:要馈入时间鉴别器的帧数。默认值为3。
    • n_scales_spatial:空间域中的比例数。我们从最粗规模一直到最精细的规模进行训练。默认值为3。
    • n_scales_temporal:时间鉴别器的标度数。最精细的比例采用原始帧速率的顺序。较粗略的比例在将帧n_frames_D馈送到鉴别器之前将帧子抽样一个因子。例如,如果n_frames_D = 3n_scales_temporal = 3,则鉴别器有效地看到27帧。默认值为3。
    • max_frames_per_gpu:训练期间一个GPU中的帧数。如果您的GPU内存可以容纳更多帧,请尝试将此数字设置得更大。默认值为1。
    • max_frames_backpropagate:丢失反向传播到先前帧的帧数。例如,如果此数字为4,则帧n上的丢失将反向传播到帧n-3。增加这个数字会略微改善性能,但也会导致训练不稳定。默认值为1。
    • n_frames_total:我们想要训练的序列中的总帧数。我们在训练期间逐渐增加这个数字。
    • niter_step:我们加倍了多少个时代n_frames_total。默认值为5。
    • niter_fix_global:如果这个数字不是0,那么在开始微调所有尺度之前,只训练这个时期的最佳空间尺度。
    • batchSize:一次训练的序列数。我们通常将batchSize设置为1,因为通常,一个序列足以占用所有GPU。如果要执行batchSize> 1,则目前仅batchSize == n_gpus_gen支持。
    • no_first_img:如果未指定,模型将假定给出第一帧并合成连续帧。如果指定,模型也将尝试合成第一帧。
    • fg:如果已指定,请使用前景 - 背景分离模型。
  • 对于其他flag,请参阅options/train_options.pyoptions/base_options.py查看所有训练flag; 看到options/test_options.pyoptions/base_options.py所有测试标志。

引文

如果您发现这对您的研究有用,请使用以下内容。

@article{wang2018vid2vid,
  title={Video-to-Video Synthesis},
  author={Ting-Chun Wang and Ming-Yu Liu and Jun-Yan Zhu and Guilin Liu and Andrew Tao and Jan Kautz and Bryan Catanzaro},  
  journal={arXiv},
  year={2018}
}

致谢

这段代码大量借用了pytorch-CycleGAN-and-pix2pixpix2pixHD

原文:https://github.com/NVIDIA/vid2vid

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • scikit-learn 估计器接口

    scikit-learn 中的所有算法——无论 是预处理、监督学习还是无监督学习算法——都被实现为类。 这些类在 scikit-learn 中叫作 估计器(e...

    iOSDevLog
  • google 机器学习速成课程字幕和视频

    iOSDevLog
  • “达观杯”文本分类挑战赛新手入门代码

    **建立模型通过长文本数据正文(article),预测文本对应的类别(class) **

    iOSDevLog
  • GPRS(Air202) Lua开发: 物联网MQTT ,DTU

    1.连接上MQTT以后 mqttTask.lua调用了mqttOutMsg 里面的 mqttOutMsg.init()  函数

    杨奉武
  • IBM实现了创纪录的深度学习性能:完败Facebook微软

    陈桦 编译整理 量子位 出品 | 公众号 QbitAI 昨晚,外媒都在用夸张的标题报道IBM的人工智能又立功了,例如说IBM的速度快得很“抓马”云云。到底怎么回...

    量子位
  • Python机器学习库scikit-learn实践

    一、概述 以最广泛的分类算法为例,大致可以分为线性和非线性两大派别。线性算法有著名的逻辑回归、朴素贝叶斯、最大熵等,非线性算法有随机森林、决策树、神经网络、核...

    机器学习AI算法工程
  • 碎片︱R语言与深度学习

    笔者:受alphago影响,想看看深度学习,但是其在R语言中的应用包可谓少之又少,更多的是在matlab和python中或者是调用。整理一下目前我看到的R语言的...

    素质
  • java高并发系列 - 第7天:volatile与Java内存模型

    线程t1的run()方法中有个循环,通过flag来控制循环是否结束,主线程中休眠了1秒,将flag置为false,按说此时线程t1会检测到flag为false,...

    路人甲Java
  • 性能工具之Jmeter常用定时器

    作用:通过ThreadDelay设定每个线程请求之前的等待时间(单位为毫秒)。

    高楼Zee
  • 发现文章被疯狂转发的“基因”

    大数据文摘

扫码关注云+社区

领取腾讯云代金券