AI算法实现武侠小说中的“绝世武功”——动作残影特效！

千与编程

发布于 2023-04-28 13:58:19

3460

发布于 2023-04-28 13:58:19

文章被收录于专栏：公众号：千与编程

创作背景

“飞雪连天射白鹿，笑书神侠倚碧鸳”，相信很多90后知道这副对联的含义，这是武侠小说作家金庸先生的作品合集，说实话在所有的作品中我最喜欢的是倚天屠龙记和天龙八部，应该说基本都喜欢，但是这两部中的爱恨情仇最为突出，倚天屠龙记中周芷若和赵敏，张无忌，再到天龙八部中的乔峰。

说起来武侠小说中的武林高手是真的帅！现在的电影制作技术越来越高超了，武术特效做的效果的做的真的很酷炫。最为酷炫的一个是残影特效，说到残影特效，我们直接上效果！

‍ ‍

‍‍以上是天龙八部中的灵鹫宫宫主虚竹与鸠摩智进行比武时的武功展示，看得出来残影效果真的给人一种感觉武功深不可测的感觉，那种这种酷炫的残影效果是怎么实现的呢？今天就让我们使用百度开源的深度学习框架飞桨来实现这样的视频残影效果。

在实践历程中我们使用了Paddle框架所集成的Paddlehub的深度学习模型库，Paddlehub中包含了很多的深度学习的预训练模型，包含图像分类，目标检测，GAN图像风格迁移，在本次的视频残影生成中所使用的是deeplabv3p_xception65预训练模型，其原始用途是用来实现视频的语义分割，将其OpenCV的后续处理进行搭配，即可实现我们所说的“残影”了！

算法实现过程

算法实现环境：

百度AIstudio深度学习平台，Python3.7，Paddlepaddle1.8.4

步骤1：安装Paddlehub深度学习模型库，使用pip在jupyter notebook进行安装操作。

!pip install paddlehub==1.6.2 -i https://mirror.baidu.com/pypi/simple

步骤2：导入运行需要使用的Python工具包

import numpy as np //导入数据科学报numpy
import os  
import paddlehub as hub
import cv2
from moviepy.editor import VideoFileClip  //导入视频分帧工具
from tqdm import tqdm //导入终端输出进度条
import copy

步骤3：指定GPU编号，AIstudio上为单机单卡因此，只存在GPU：0

os.environ["CUDA_VISIBLE_DEVICES"]="0"

步骤4：进行残影效果的推理代码编写与模型的运行：

def do_seg(module, frame):
    result = module.segmentation(images=[frame],use_gpu=True)
    return result[0]['data']

module = hub.Module(name="deeplabv3p_xception65_humanseg")

originname = "test.mp4"   //test.mp4为原始的输入视频
resultname = "test_result.mp4"  //test_result.mp4为处理后的残影视频
shadowcount = 9

cap = cv2.VideoCapture(originname) //将视频转换为图片流处理
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
framecount = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))

fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter(resultname, cv2.VideoWriter_fourcc('M', 'J', 'P', 'G'), fps, (width, height))

tmpres = []

for index in tqdm(range(framecount)):
    ret, frame = cap.read()
    if not ret:
        break
    seg_mask = np.around(do_seg(module,frame) / 255)
    seg_mask3 = np.repeat(seg_mask[:,:,np.newaxis], 3, axis=2)
    background = copy.deepcopy(frame)
    stbackground = copy.deepcopy(frame)
    if len(tmpres) > shadowcount:
        tmpres = tmpres[1:]
    # tmpres.append([copy.deepcopy(seg_mask3), copy.deepcopy(cv2.GaussianBlur(seg_mask3 * background,(9,9),0))])
    tmpres.append([copy.deepcopy(seg_mask3), copy.deepcopy(seg_mask3 * background)])
    thuman = copy.deepcopy(seg_mask3 * background)
    if index > len(tmpres):
        for fi, [t_mask3, t_human] in enumerate(tmpres):
            background = t_human * (fi + 1) / len(tmpres) + t_mask3 * (len(tmpres) - 1 - fi) / len(tmpres) * stbackground + (1 - t_mask3) * background
    result = background.astype(np.uint8)
    out.write(result)
cap.release()
out.release()

可以看出，在本项目中调用了deeplabv3p_xception65模型，其原理很简单，是使用deeplabv3p_xception65模型进行图像中的人物与背景进行图像分割分离，在整个的视频流中，将处理当前帧的图片，同时与上一张的图片中使用deeplabv3p_xception65模型进行语义分割所得到人物实体部分进行同时显示播放，从而达到“影片残影”的表现效果！