首页
学习
活动
专区
圈层
工具
发布

Project Fast Mask 如何从 MAX Sneak 变成 Adob​​e 用户的强大视频编辑工具

早在 2018 年,Adobe MAX 的与会者就率先体验了一项令人叹为观止的开发中新技术:Project Fast Mask。借助 Fast Mask,视频编辑者只需点击几下即可选择一个对象,然后该工具会将该选择(称为蒙版)实时应用于整个视频,使用户能够像在静态图像中一样轻松地编辑背景、在对象后放置文本以及在视频中创建散景效果。在 Project Fast Mask 出现之前,视频蒙版是一个繁琐的逐帧处理过程。

想象一下使用 Project Fast Mask 的场景,想象一下一段情侣跳舞的视频。作为剪辑师,您只需选中这对情侣,就能保留他们的每一个旋转和舞步——即使这对情侣在屏幕上移动,甚至在物体后面移动——同时还能调整颜色、背景和图层。

自首次亮相以来,Fast Mask 技术现已发展到第三代,并被内置于Adobe After Effects和Adobe Express中。

Fast Mask 从 Adobe Research 的创意到 Adobe 产品内部功能的历程

据“Fast Mask”项目的首席研究员、研究科学家 Joon-Young Lee 介绍,Fast Mask 的想法可以追溯到 2017 年。“当时,我正在思考静态图像的工具。例如,当人们在 Photoshop 中进行精细编辑时,选择对象是他们做的第一件事之一。但我意识到,在视频领域,我们还没有一个好的工具来实现这一点。对于视频来说,这是一个既困难又耗时的过程,需要进行流式传输、剪辑和时间线编辑。所以我最大的灵感就是将对象选择功能引入视频。”

Lee 和他的团队花了近两年的时间来实现这个想法。早期,他们发表了关于研究的论文,到 2018 年,团队终于有了具体的解决方案。这项工作被选入 Adobe MAX Sneak 展,团队迅速准备了一份演示文稿,向全世界揭开了“快速蒙版计划”的神秘面纱。

“媒体和 MAX 参会者的反馈极为热烈,” 李回忆道,“那时,逐帧剪辑耗时巨大,很多人甚至因畏难而从未尝试,效果也往往差强人意。大家从未见过机器学习模型能解决视频剪辑这类难题,感觉一场全新变革正在发生,这实在令人激动。”

MAX 活动后,李及其团队迅速与 After Effects 团队携手,致力于将这项技术融入 Adobe 产品。产品团队对用户使用 After Effects 工具的习惯了如指掌,因此在用户界面上无需大幅改动。然而,挑战在于如何用快速蒙版模型替换部分底层技术,并确保其与产品及用户设备兼容。

李坦言:“当时,将视频机器学习模型融入产品尚无成熟流程,我们遭遇了前所未有的新挑战,没人清楚该如何推进,只能通过大量实验摸索答案。”

2020 年,在 MAX 首次亮相两年后,快速蒙版技术成功融入 After Effects 的 Roto Brush 功能。如今,凭借自动分割功能,视频编辑人员在进行局部色彩编辑、分离或添加图层时,无需再耗费大量时间逐帧蒙版,拥有了更强大便捷的操作体验。

“Roto Brush 2 技术一经发布,我们旋即着手开发下一版本,” 李表示,“我们深知可以做得更好,最终成功研发出更稳定的新模型。”

2023 年,After Effects 中的 Roto Brush 3(即下一代 Roto Brush)推出全新 Fast Mask 模型,并在 Adobe Express 中以 “Remove Video Background” 功能首次亮相,持续引领视频剪辑技术革新潮流。

在 After Effects 中,Roto Brush 3(下一代 Roto Brush)与 Roto Brush 2 的逐帧跟踪效果存在显著差异。

Lee 解释道:“将我们的技术融入 Adobe Express,这无疑是一项令人振奋的突破。在 After Effects 中,我们凭借 Roto Brush 吸引了众多专业且经验丰富的用户。而 Adobe Express 面向的是非专业用户群体,他们期望能通过简单操作快速创作内容,不希望步骤过于繁杂。因此,Express 中的工具完全实现了自动化。用户只需轻松点击,即可一键移除背景,无需像在 After Effects 中那样反复斟酌选择与取消选择的操作。”

去年秋天,Fast Mask 技术再度于 MAX 活动中大放异彩,同时 Premiere Pro 的全新对象选择工具也进行了抢先预览。这款新工具目前虽尚未正式发布,但推出在即。届时,借助更新且更强大的模型,Premiere Pro 用户将能够轻松选择对象并进行跟踪操作。

快速蒙版、生成式人工智能与创意驱动力

Lee 指出,在生成式 AI 的大背景下,Fast Mask 技术的影响力尤为凸显。“我们一直在探索生成式 AI 助力构建创意概念的途径,但目前常受限于文本提示。而有了 Fast Mask 这类工具,我们得以将生成式 AI 与精准的用户控制相结合。这恰恰是该技术的关键价值所在 —— 将用户意图和可控性深度融入生成过程。”Lee 进一步阐述,“同时,我也在思考那些不太适合大量运用生成式 AI 的场景。比如在编辑家庭视频时,我期望拥有能够自主引导的精准编辑技术,Fast Mask 这样的工具恰好赋予了用户这种能力。”

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O7AKuCEnaovTMMRVl7VloQrA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券