Adobe推出新功能：利用AI自动标记视频，又快又准

编译：chux

出品：ATYUN订阅号

用户生成的内容（UGC）对营销人员非常重要。有证据表明它比内部媒体产生更好的投资回报率。据Adweek的数据，64％的社交媒体用户在做出购买决定之前会确定UGC，而UGC视频的浏览量是品牌视频的十倍。

然而，UGC存在一个很大的问题：营销人员经常需要花费数小时来筛选提交内容，以找到适合给定主题的相关的，可重复使用的剪辑。这并不轻松，去年YouTube用户每分钟上传300小时的视频，思科预测，到2021年，视频将占所有网络流量的82％。

因此，Adobe正在利用AI来加速这一过程。它今天推出了Smart Tags for video，这是体验管理者（AEM）的一项功能，即公司的内容管理解决方案，用于构建网站，移动应用程序和表单，新的功能可自动为每月提供的数十万个UGC剪辑生成标记。视频的智能标记现已在测试版中针对对企业用例感兴趣的精选参与者提供。

“在过去两年中，我们投入了大量真正高端的计算机视觉模型，研究团队已经使用它来自动化整理过程，”产品AEM经理Santiago Pombo表示。

视频智能标记，由Adobe Research和Adobe的搜索团队使用Adobe的Sensei机器学习平台共同构建，为每个剪辑生成两组标记。一个描述大约150,000种对象，场景和属性，第二组对应于诸如饮酒，跑步和慢跑之类的动作。

视频底层技术的智能标记建立在AEM的图像自动标记器上，通过Adobe Stock的一系列图像的训练。系统摄取目标视频中的各个帧以产生第一组标记。第二组是标记算法的产物，该算法针对的是带有附带标记的内容丰富的活动视频。将其应用于视频中的多个帧，并将结果聚合得到最终的动作标记集。

每个标记附带从零到100的分数，这是对系统预测准确性的估计。AEM客户可以记录系统不正确的标记，这会将它们从搜索索引中删除并生成解除关联的记录。标记错误的日志将作为反馈发送。

Pombo表示，有关视频智能标记的真正新颖之处在于它使用户能够根据资产内容创建搜索规则和过滤器，而不仅仅是手动标记和描述。此外，它允许他们为特定标记或标记集指定最小置信度阈值，从而确保相关的资产选择。“这些工具用于帮助减少噪音信号，结果的质量要比以前高得多。”

设计AI系统绝非易事。总的来说，AEM客户平均每秒执行十次搜索查询，这带来了严重的延迟挑战。Adobe研究团队必须设计一个可以处理大量UGC的注释管道。

Pombo说。“在应用程序方面，我们比以前更自由地选择了错误的时间，这样分类就更宽松了。我们与R&D团队密切合作，进行优化，以更好、更有效地选择帧，以获得更好的表征，我们还有一个有趣的基础设施或架构设计，基本上可以并行执行许多任务。”

结果是，视频智能标记可以在四秒或更短的时间内处理视频。未来的工作将集中在扩大系统可识别的视频量。当前迭代分类的剪辑长度为60秒。“当我们想进行权衡时，我们将优化80％的用例，但我认为下一步是将其增加到10分钟。”