(爱云资讯消息)Adobe公司正进军生成式AI视频领域。自今年年初以来,Adobe的Firefly视频模型就已开始预热,现在将在包括Premiere Pro在内的一些新工具中推出,使创作者能够扩展视频片段并从静止图像和文本提示中生成视频。
第一款工具是生成式延伸,现已在Premiere Pro中进行beta测试。它可以用于延长略短的镜头的结尾或开头,或者在拍摄过程中进行调整,比如纠正因眼神飘移或意外动作而产生的问题。
剪辑只能延长两秒钟,因此生成性扩展仅适用于小的调整,但它可以取代重新拍摄镜头以纠正细微问题的需要。扩展的剪辑可以以720p或1080p的分辨率和24帧每秒的帧率生成。它也可以用于音频,帮助平滑剪辑。比如它可以将音效和环境音延长至多10秒。
另有两款视频生成工具即将在网络上推出。Adobe的文本转视频和图片转视频工具于今年9月首次亮相,现已作为有限的公开测试版在Firefly网页应用中推出。
文本转视频的工作原理与Runway和OpenAI的Sora等其他视频生成器类似,用户只需将所需生成的内容的文本描述输入其中即可。它可以模拟各种风格,如常规的真实电影、3D动画和定格动画,生成的片段还可以通过一系列模拟摄像机控制的设置进一步细化,这些选项模拟了诸如摄像角度、运动和拍摄距离等元素。
图像转视频功能更进一步,让用户在文本提示旁边添加参考图像,以更好地控制生成的结果。Adobe建议该功能可用于从图像和照片中生成备播片段,或通过上传现有视频中的静帧来帮助可视化重拍场景。然而,下图的前后对比显示,该功能实际上并不能直接替代重拍,因为在生成的结果中可以看到一些错误,如晃动的电缆和移动的背景等。
短期内也不可能用这项技术来制作完整的电影。目前,文本转视频和图片转视频的片段的最大长度为5秒,画质最高为720p和24帧每秒。相比之下,OpenAI表示Sora可以生成长达一分钟的视频同时保持视觉质量和遵循用户的提示,但这一功能虽然在几个月前就已宣布,但目前尚未对公众开放,比Adobe的工具晚了几个月。
文本转视频、图像转视频和生成式延伸功能都需要大约90秒的时间来生成,但Adobe表示正在开发加速模式来缩短这一时间。尽管目前存在局限,但Adobe表示其基于AI视频模型的工具在商业上是安全的,因为它们是基于创意软件巨头被允许使用的内容进行训练的。考虑到其他供应商如Runway的模型被指控训练数据来自数千个从YouTube上抓取的视频,对于某些用户来说,商业可行性可能是决定性的因素。
另一个好处是,使用Adobe的Firefly视频模型创建或编辑的视频可以嵌入Content Credentials,以帮助在发布到网上时披露AI的使用情况和所有权权利。目前这些工具还处于测试阶段,但至少它们已向公众开放——这比我们能对Open AI的Sora、Meta的Movie Gen和谷歌的Veo生成器说的要多。
Adobe在Adobe MAX大会上宣布了AI视频发布功能,还在其创意应用程序中推出了一系列基于AI的功能。
领取专属 10元无门槛券
私享最新 技术干货