深度学习神经网络：可从电影和其他视频生成漫画的智能系统

在过去的几年中，计算机科学家创造了许多计算技术，可以自动生成文本，图像和其他类型的数据。这些模型具有很高的优势，特别是对于创建人工需要人工制作的数据或创意作品而言。

研究人员最近创建了一个创新框架，该框架可以自动生成漫画漫画，这些漫画通常是由高技能的专业艺术家设计的，需要大量工作。他们的框架是通过从电视连续剧，电影，动画或其他视频中提取数据来创建。

这是一种全自动系统，无需任何人工干预即可从视频中生成漫画书。考虑到输入视频及其字幕，我们的方法首先通过分析字幕提取信息丰富的关键帧，然后将关键帧样式化为喜剧风格的图像

研究人员系统的总体流程。

（a）：关键帧提取和样式化。（b）：自动多页布局框架，红色，紫色和绿色的虚线框表示不同的组。（c）：气球的产生和放置。

在步骤（a）中，我们执行关键帧选择和样式化以获得输入视频帧的样式化关键帧。在步骤（b）中，我们首先获取框架的四个布局参数，包括关注区域，重要性等级，语义关系，然后在不同页面上分配框架。然后，我们在[2]中执行多页布局的布局算法。在步骤（c）中，我们设计了一种用于气球生成和放置的情绪感知模型。

从视频中提取关键帧并将其转换为漫画风格的图像后，研究人员设计的系统使用多页布局框架将图像分布在多个页面上，并创建反映图像之间关系的视觉吸引力的布局。

研究人员创建的框架并非像大多数其他漫画生成框架那样总是使用相同类型的语音气球，而是生成了不同类型的气球，这些气球反映了角色的单词所传达的情感。为此，它首先尝试通过分析视频的音轨和相应的字幕来把握对话的不同行所传达的情感。

模型创建的对话气球的形状和其中包含的单词的大小会根据角色传达的情感而有所不同。这显着改善了整体漫画阅读体验，产生了更具吸引力的布局，反映了不同角色之间对话的内容。

系统生成的语音气球放置在正在说话的角色附近。为此，模型首先检测视频中的不同说话者，然后将与他们所表达的情感对齐的语音气球放置在它们附近。

研究人员通过一系列实验评估了他们的系统，评估了其各个模块，并将其制作的漫画的质量与将视频转换为漫画的其他现有技术进行了比较。该系统用于根据从四部电影和系列电影（《泰坦尼克号》，《消息》，《朋友》和《空中》中）提取的16个视频片段生成漫画。这些视频剪辑的长度在两到六分钟之间。

该团队要求一群人评估由他们的模型制作的漫画的整体质量，并与其他漫画生成系统制作的漫画进行比较。参与这项研究的绝大多数用户表示，他们更喜欢研究人员模型创建的布局，而不是以前开发的系统创建的布局。

研究人员在论文中写道：“与最新的漫画生成系统相比，我们的实验证明我们的系统可以合成更具表现力和吸引力的漫画。” “尽管我们的系统显示出了令人鼓舞的结果，但是它仍然受到一些限制。例如，关键帧的选择不够准确。在某些情况下，所选关键帧彼此相似，这肯定会导致冗余。生成的漫画。”

一旦完善，由该团队的研究人员开发的漫画生成系统可用于基于电影，电视连续剧或其他视频内容自动创建引人入胜的漫画书。在他们的下一个研究中，研究人员计划开发一个用于关键帧选择的替代模块，因为这可以提高他们系统产生的版式的质量并减少关键帧的冗余。

“此外，受许多现有方法的启发，这些方法可以根据给定带有多个句子的故事来生成图像序列，有可能从文本故事中制作漫画书，并且我们有兴趣扩展我们的方法，以利用文本信息来帮助生成漫画。”研究人员在论文中得出结论