AI还有多远,手机拍电影应用设计

陈可辛短片《三分钟》视频截图

我已经忘了这个想法是怎么产生的了,首先想到的是抖音,它的编辑功能很强大,然后是我想拍点东西,但又不仅仅是照片,但是拍电影的话,感觉现在我这水平,还有这些工具,根本是拍摄不了。

现在也可以用手机拍电影

手机的话可以拍摄视频,然后手机上有一些不错的视频编辑工具,但是专业用来拍电影或者短片的没有。网站有许多攻略,通过一些硬件辅助,达到较为专业的水平。可以搜索以下文章:

有人用 iPhone 拍出了电影,其实你也可以

手机录视频却不可以拍电影 原因在这儿

干货 | 用手机拍大片你都需要准备什么?看这一篇就够了

陈可辛手机拍摄的短片作品《三分钟》

总结一下以上文章的内容。

首先是硬件方面。使用手机稳定器,比如大疆的Osmo(手持版的灵眸手机云台),解决手持拍照的抖动问题。关闭手机的自动对焦(追焦)或者使用滑轨或其它专业设备解决切换画面或拍摄主体时引起的焦点变化问题。通过LED补光灯或者手机的闪电灯、变焦小手电解决暗光条件的光线不足问题(暗光会造成噪点)。在安静环境录音、定向录音,使用外接麦克风解决环境噪音的问题。保证电源和容量的充足。

然后是软件应用问题。用笔记软件(如paper)记录灵感或想法,用文字编辑软件(或者专门的脚本创作软件)创作剧本,使用思维导图软件构建故事大纲(比如mindnode),使用幻灯片工具创作故事板(比如keynote)。使用专业的拍摄应用(比如FilMic Pro)或者特色滤镜相机(比如8毫米相机,旧时光滤镜)拍摄。使用剪辑工具完成粗剪、精剪和特效的制作(比如iMovie,Final Cut Pro X)。使用专业的录音(Garageband)、配乐(AudioJungle,Musicbed)、字幕工具(国产免费的ArcTime)。然后发布到各大视频网站,专业的可以发布到Vimeo上。

未来仅仅使用手机就可以拍电影了

纯手机,没有那些复杂的外设,就一个应用,不需要安装其它的软件,如何实现拍电影的功能设计呢。

AI芯片让手机更强大

硬件上,**在手机上直接实现云台设计**,结合AI芯片,通过手机的硬件或者是软件功能,防止画面抖动。软件上,多台手机同时拍摄,在虚拟的空间里,对拍摄的对象进行一个建模的操作,可以是限制角度的低精度的建横,去除背景,将拍摄的对象置于虚拟的环境,使用虚拟的道具,使用手机记录成为原始的影像素材。

常见的三轴增稳云台技术,原理是由三轴陀螺仪和三轴加速度传感器构成的IMU反馈系统和伺服电机两部份组成。传感器实时测量并获得相机的姿态与运动状态,计算之后再通过三个轴上的电机进行反向的运动补偿,从而保持相机的稳定。详细请参考《手机也能拍电影?也许你和导演之间只缺一个它!》。

对于光源问题,可以使用集成在手机上的环绕一圈的阵列光圈,光圈的每个光点都是可以变焦的手电筒,通过这个阵列光圈来实现模拟光源。光源也可以直接打在虚拟场景里面,使用软件或者硬件渲染的方式,对拍摄像对象的光感进行增强或减弱。

多台手机组成一个语音三维空间,识别手机之间距离远近,模拟立体音效果(这个也可以在软件层上实现),多台手机组成的录音系统,在噪音识别上会有一定的加强。使用**AI主动降噪的芯片**识别说话人的波段,识别环境音,然后过滤环境音。

什么是人工智能主动降噪?先是监测环境噪音信号,分析它的频谱特怀,并且预测未来某个时间点相位和振幅,然后生成反相信号进行中和。没有AI功能是使用的是出厂时设定好的滤波器参数,对于出现的噪音照着设定的滤波器参数生成反相信号,对于频段窄、频率低且固定的噪音,比如比如飞机机舱噪声,很容易就过滤掉。AI降噪分低配和高配两种,低配版则是预先设置好几套参数,根据情况判断使用哪套参数,这种降噪多了一个实时或定时对环境噪声进行判断的步骤。而高配版则是自己主动根据环境实时计算滤波器参数,设计这种AI需要在代表性的非常多的场景中通过深度学习找到最优滤波器参数,然后集成到设备上。详细参考《主动降噪也能人工智能?》一文。

集成高配版人工智能芯片主动降噪的手机可以在复杂环境中录制高质量的声音,不再受场景的限制。

AI助理辅助剧本创作

首先是灵感启发,然后是剧本写作。

灵感启发器,一个可以启发灵感的AI应用。与AI的聊天,告诉AI你要创作的电影类别,角色所处的故事的背景和时代环境,发生的时间地点和角色形象,会出现哪些场景,你喜欢什么样的故事,你喜欢哪些小说,哪些故事曾经打动过你。

没有灵感吗,让AI来帮你!

人工智能会把你提到的这些东西全部记录下来。如果你提供的是历史的一个背景,然后他会给你推荐相关的书籍电影,或者是有时代感的音乐,你可以尝试进入AI设计的场景,读一本书,看一场电影,听一场音乐会,以触发灵感。如果你提供的是一个经典的角色,他会给你建议一些演员的联系方式,分析你身边的哪个人符合这些角色的性格和形象,然后让你去跟这些人进行接触。如果你提供的是一个地点,他会建议你去这些地点去看看。人工智能把这些东西做成备忘录或者计划,你按照这个计划的一个任务进行去执行,一边人工智能进行沟通,一边强化一些细节。通过这样的一个方式,启发灵感,然后创建故事的一个轮廓。

在启发你的灵感之后,人工智能还可以辅助人类通过互动叙事的方式创建剧本。

创建角色,描述角色的具体情况,给角色添加属性,建立这个角色和另外一个角色之间的关系。给角色添加动作,并设计这个动作对角色之间关系的影响,以及对环境的影响。设计行为,描述所有角色的周期性行为,所有角色的出场和入场的条件,行为对物体对此人物释放造成的效果。

设计场景,给场景添加属性,描述场景的归属,场景对事件的影响,给场景添加环境效果,天气效果。设计历史时间线,绑定每个时间点触发的事件。设计故事线与故事支线,绑定每个故事点触发的事件。

剧本创造者添加足够多的素材之后,就可以创作剧本。创作过程中,可以进行两种操作,一个是叙述,一个是节点编辑。叙述通过于与人工智能的启发式对话,完善节点的内容细节。节点编辑是决定是否触发事件、执行动作,添加新的素材,包括角色,场景,行为事件,背景,道具等。

每种素材都可以添加图片形象,人工智能会在建立场景后在执行故事过程中,把这个图片形象添加到场景中,建立故事板。

AI辅助拍摄与素材剪辑

取消自动对焦后,由人来进行的镜头操作,在没有其它设备辅助的情况下,无法完成专业的电影拍摄,在一个小小的手机界面上很难实现精确的操作。但是一个能听懂人话的人工智能助理,在图像识别技术完全可行之后,可以实现对拍摄对象的实时跟踪拍摄,自由的切换拍摄像,精确的镜头操作,拉远拉近,模拟平移,补全缺失场景,替换背景,虚拟三维道具跟踪骨骼节点,以前由超级计算机来完全的工作,人工智能都可以在云上实现。

至于素材的剪辑,人工智能可能短时间还不能实现艺术的突破,但是它的敏锐度超过人类,在执行一个特定的任务时,可以更有效的完成。

比未来更近一点的将来

考虑拍摄低成本的短片,设计一个专用于拍摄电影的应用,它应该是怎样的呢。

一个灵感触发器,或者一个可以创作多支分支结构的任务列表。

一个互动叙事逻辑驱动的剧本编辑器(关于互动叙事请参考《游戏大师Chris Crawford谈互动叙事》)。

一个连接剧本编辑器内建素材的故事板工具,可以想象成幻灯片编辑器。

一个通过多手机协作的手动调节镜头的摄影应用,内建场景和道具,可参考未来的抖音。

一个可以多人协作的录音工具,可以模拟三维立体音。

一个影片剪辑工具,附加音乐、音效、特效库。

很多操作可以在云上进行,节省电池和存储空间。

未来还有多远呢。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180605G1IZNO00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

同媒体快讯

扫码关注云+社区

领取腾讯云代金券