首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音

德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音

作者头像
新智元
发布2020-06-05 09:56:09
1.6K0
发布2020-06-05 09:56:09
举报
文章被收录于专栏:新智元新智元


新智元报道

来源:towardsdatascience

编辑:白峰、永上

【新智元导读】最近,国外一个技术极客Alex看了电影《阳光泉水》后深受启发,决定自己用AI来生成一部。他首先用GPT-2生成了一段荒诞不经的剧本,接着用StyleGAN2制作了一些人物和视觉特效,还找到了一个超实用的语音生成工具,一起来看下效果吧!

国外一位网友Vlad Alex十分喜欢电影(Sunspring)《阳光泉水》,着迷于其荒诞的对白,一番搜索发现,剧本的创作者是Benjamin(本杰明)。

这还没完,这位Benjamin其实是一个运用LSTM制作的人工智能程序,由Ross Goodwin 研发。Goodwin不仅是一位AI领域的研究者,还是一位大诗人。

之后曾获得英国电影协会提名的英国导演Oscar Sharp完成了影片的拍摄,Thomas Middleditch是本片主角。

这些由人工智能写作的剧情,即使充满了荒诞主义,并且由看似随机的短语组成,但在看剧的时候,我们的大脑还是在很用力的理解剧情。

Vlad Alex知道了这些后,激动不已,觉得自己也能让AI来拍一部电影,结果真的成功了。

如何制作自己的AI电影呢?

Vlad Alex考虑到自己是电影业余爱好者,没有专业的工作室,因此可以在不影响影片质量的前提下去掉一些可有可无的元素,只保留电影的必要元素:情节、演员和视觉效果、音乐。

生成一份充满荒诞派情节的电影剧本

Alex使用由Openai推出的GPT-2语言模型,为自己生成了电影脚本。

GPT-2语言模型的colab版本,可以从下面的网址进入:

https://colab.research.google.com/github/mrm8488/shared_colab_notebooks/blob/master/GPT2_with_JS_UI.ipynb

在程序中需要输入相关提示语,比如电影有几个主人公,并且设定基本的场景。

Alex为电影脚本设定了以下这些信息:

接下来从GPT-2语言模型语言模型中提供的各式文本类型中,选择荒诞剧创作,这种创作风格介于贝克特,摩罗扎克和大卫·林奇之间。

接下来GPT-2语言模型会输出荒诞剧风格的脚本创作结果:

GPT-2语言模型是OpenAI在2019年发布的一种人工智能语言处理模型。今年5月底,OpenAI发布了GPT-3语言模型,基于一系列基准测试和独立的自然语言处理系统,来实现语言翻译,以及生成新闻文章,甚至可以完成SAT考试中的问题回答。

Alex使用的GPT-2语言模型,已经学习了40G的文本内容,由15亿个参数共同来生成写作内容。而最新发布的GPT-3语言模型则有高达1750亿个参数来完成语言处理。

回看上面生成的文本,我们可以发现由GPT-2语言模型创作生成的文本,具有很强的超现实性。这些内容通常没有实际意义,但是符合一些文学语境。

毕竟,这可是学习了40G人类文本的模型啊。

StyleGAN2来一段人物视频特效

Alex是StyleGAN2的超级粉丝,使用StyleGAN2可以轻松地生成一个新面孔,甚至是转场动画。于是Alex用它生成了一些人脸和房间的图像,但是使面部表情和故事描述保持一致,着实费了他不少功夫。

使用StyleGAN2生成的一些图像

当然你也可以选择用first order model,也是一个很棒的工作。它的功能简单粗暴,给一个静态图片,给一段驱动视频,就能让静态图动起来,比如用Hinton驱动下法老。

Hinton驱动的法老

通过3 d 肯恩 · 伯恩斯效应,我们也可以将照片转换成魔性的动画。

Replica Studios生成带情感的语音

语音生成可能是最古老的机器学习方法之一。「我最喜欢的是 MelNet ,只要听取样本(演讲者或者名人数据集),就可以产生高质量语音的模型」。可惜的是,MelNet 没有一个可用的Colab Notebook。

所以他选择了Amazon Polly。作为 Amazon AWS ai / ml 服务的一部分,Polly 提供各种语言的大量语音,但是Polly产生的语音更像主持人,并不总是适合虚构的内容。

比如Alex为predictions视频生成的语音。

可以听到,对话中的声音没有多少感情,并不真正令人信服。

后来Alex发现了Replica Studios,这个工具生成的语音质量效果十分惊艳。

Replica Studios的使用非常简单。你按照时间顺序对短语进行排序,并将合适的声音应用到人物身上。

这样就完成了语音生成,直接导出mp3即可! 好了,开拍吧!

情节、演员和视觉效果、音乐都准备好了,开拍吧!

这段视频除了花费了Alex大量的精力去剪辑 ,还消耗了他家很多咖啡。。或许最棘手的事情是使用Premiere 及时拉长视频,并将它们与剧情同步。

EmptyRoom为我们展示了机器学习在生成视频方面的巨大潜力,不仅简化了流程,还分享了许多创造性的结果,当灵感枯竭的时候也许AI能带给你一股清泉,一起拥抱人工智能吧!

参考链接:

https://towardsdatascience.com/ai-as-a-movie-maker-e5865b99a06c

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-06-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 生成一份充满荒诞派情节的电影剧本
  • StyleGAN2来一段人物视频特效
  • Replica Studios生成带情感的语音
  • 这样就完成了语音生成,直接导出mp3即可! 好了,开拍吧!
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档