全方位支持图文和音视频、100+增强功能，Facebook开源数据增强库AugLy

机器之心报道

编辑：陈萍

Facebook 近日开源了数据增强库 AugLy，包含四个子库，每个子库对应不同的模态，每个库遵循相同的接口。支持四种模态：文本、图像、音频和视频。

最近，Facebook 开源了一个新的 Python 库——AugLy，该库旨在帮助 AI 研究人员使用数据增强来评估和改进机器学习模型的可用性。AugLy 提供了复杂的数据增强工具，可以创建样本来训练和测试不同的系统。

项目地址：https://github.com/facebookresearch/AugLy

该库基于 Facebook 和 Instagram 等平台上的真实图片和视频提供了 100 多种数据增强功能，因此对于处理与社交媒体应用程序相关的模型或数据的研究工作特别有用。

目前 AugLy 支持四个模态：文本、图像、音频和视频。使用真实世界的数据进行数据增强能够帮助机器更好地理解复杂的任务。以文本短语「love the way you smell today」为例，该文本想要表达的意思是喜欢，但是将此短语应用到臭鼬的图片上时，想要表达的意思全部变了。AugLy 更类似于人们为了了解周围的世界而从多种感官获取信息的方式。随着数据集和模型变得越来越具有多模态，在一个统一的库和 API 下转换项目的所有数据是非常有必要的。

对于该数据增强库，机器学习界的大佬 Yann LeCun 也转推推荐。

AugLy 如何工作

AugLy 包含四个子库，每个子库对应不同的模态，每个库遵循相同的接口：AugLy 提供了基于函数和类格式的转换，并提供强度函数，帮助了解转换的强度（基于给定参数）。AugLy 还可以生成有用的元数据，以帮助了解数据转换过程。

此外，该库已经聚合了许多扩展，以及以前从未存在过的扩展。例如，增强功能将图像或视频叠加到社交媒体界面上，使其看起来像是用户在 Facebook 等社交网络上截屏的图像或视频，然后重新共享。这对于许多用例来说是一个有用的补充，因为 Facebook 上的用户通常会以这种方式重新共享内容。

AugLy 为何如此重要

数据增强对于确保 AI 模型的鲁棒性至关重要。如果可以教会模型对数据中不重要的属性扰动具有鲁棒性，那么模型将学会关注特定用例中数据的重要属性。

在 Facebook 中，一个重要的应用程序是检测特定内容的「相似副本」。例如，同一条信息可能以不同的形式重复出现。又例如图像经过修改后被裁剪了几个像素，或者用过滤器或新的文本覆盖进行了增强。通过使用 AugLy 数据增强 AI 模型，它们可以在上传已知侵权内容 (如歌曲或视频) 时识别出来。

使用 AugLy 训练模型来检测相似内容意味着我们可以主动阻止用户上传已知侵权的内容。例如 SimSearchNet，一个基于卷积神经网络的模型，可以专门用来检测精确复制内容，该模型是用 AugLy 增强训练的。

除了使用 AugLy 训练模型外，该库还可用于确定模型相对于一组增强的鲁棒性。事实上，AugLy 已经被用来评估 deepfake 检测模型在「Deepfake 检测挑战赛」（Deepfake Detection Challenge）中的鲁棒性，最终影响了前五名获胜者。

AugLy 支持图像增强，如裁剪、填充图像、截屏和重新共享照片。数据增强的用途是广泛的，AugLy 可以帮助研究人员从事各种工作，从物体检测模型到识别仇恨言论再到语音识别。

参考链接：

https://ai.facebook.com/blog/augly-a-new-data-augmentation-library-to-help-build-more-robust-ai-models/

https://www.marktechpost.com/2021/06/19/facebook-ai-open-sources-augly-a-new-python-library-for-data-augmentation-to-develop-robust-machine-learning-models/

高效三维深度学习及其在自动驾驶中的应用

今晚19:00-20:30，论文共同一作、 MIT在读博士生刘志健带来分享，介绍近期对高效三维深度学习的一些探索，包括如何设计高效的三维深度学习组件、自动的搜索三维神经网络架构和加速三维稀疏卷积的计算。

点击阅读原文，直达直播间。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com