前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >让AI精准识别盗版,脸书开源数据增强库:支持图文音视频,提供100多种增强方式

让AI精准识别盗版,脸书开源数据增强库:支持图文音视频,提供100多种增强方式

作者头像
量子位
发布2021-07-19 16:33:33
3180
发布2021-07-19 16:33:33
举报
文章被收录于专栏:量子位量子位
月石一 发自 凹非寺 量子位 报道 | 公众号 QbitAI

只要稍微动点手脚,就会给AI模型的鲁棒性带来挑战。

在AI眼里,下面这两张图片可能毫无关联。

现在,Facebook AI开源了用于数据增强的新Python库——AugLy

它支持音频、图像、视频和文本4种模态,提供了超过100种数据增强功能,可以对输入内容进行多种处理。

比如,改变文字的大小写、字体、编码方式,给文本添加标点、调整字母位置、模拟错别字。

以及裁剪、旋转图片,给图片加文字、增加饱和度、增加亮度、改变清晰度等等……

这一项目已经获得1.8k颗星,并且登上了GitHub热榜。

让AI识别「截屏转发」

AugLy的目的是涵盖现实网络中具体的数据增强,用来创建样本,从而训练和测试模型。

根据Facebook和Instagram等平台上的生活图像和视频,AugLy在统一的库和API下转换项目的所有数据,提供了超过100种数据增强方式。

其中包括4个子库,分别对应音频、图像、视频和文本4种模态。

这些子库包括基于函数和类的变换、组合,并且可以选择所应用的元数据及其强度

图片处理为例,AugLy可以对图片进行裁剪、旋转、添加噪声、模糊处理、灰度处理等。

就像这样:

或者图片或视频上叠加文字和emojis:

除了包含许多通用的增强功能,AugLy更大的特点在于——提供“互联网用户”类型的数据增强方式。

比如,把图片转换成屏幕截图的样式,更加符合生活中常见的样子。

使用AugLy数据增强训练AI模型,这些内容相同而形式不同的信息,能帮助模型提高鲁棒性。

复制检测言论检测版权侵权等工作中,训练后AI可以对用户上传的内容,进行更精确的识别。

此外,AugLy已经被用于Deepfake检测挑战赛,用来评估模型的鲁棒性。

网友热议

这个新的Python库也受到了网友们的关注,在Reddit上获得了350+赞。

有网友提出疑问:文本模块只支持英语吗?

一位热心网友表示:

看起来文本模块在很大程度上是对nlpaug的一种包装,因此AugLy支持其他语言,只需修改几个参数。

也有网友提出,为什么不直接把它加到pytorch里?

对此,有人回复道:

这样在安装的时候会很慢,有需要的的人单独安装就可以了,没必要让pytorch那么臃肿。

AugLy要求Python 3.6以上版本,通过pip安装,但是在虚拟环境和系统环境中,还需要用conda和sudo apt-get命令单独安装python-magic。

比较遗憾的是,AugLy目前不支持输入批量图像,不过开发人员表示,以后将会完善这一功能。

参考链接: [1]https://github.com/facebookresearch/AugLy [2]https://colab.research.google.com/github/facebookresearch/AugLy/blob/main/examples/AugLy_audio.ipynb [3]https://ai.facebook.com/blog/augly-a-new-data-augmentation-library-to-help-build-more-robust-ai-models/ [4]https://twitter.com/facebookai/status/1405558122924498944 [5]https://www.reddit.com/r/MachineLearning/comments/o3z63e/n_facebook_ai_open_sources_augly_a_new_python/ [6]https://www.reddit.com/r/MachineLearning/comments/o2gpjk/n_augly_a_new_multimodal_data_augmentation_lib/ [7]https://www.marktechpost.com/2021/06/19/facebook-ai-open-sources-augly-a-new-python-library-for-data-augmentation-to-develop-robust-machine-learning-models/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-07-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 让AI识别「截屏转发」
  • 网友热议
相关产品与服务
图片处理
图片处理(Image Processing,IP)是由腾讯云数据万象提供的丰富的图片处理服务,广泛应用于腾讯内部各产品。支持对腾讯云对象存储 COS 或第三方源的图片进行处理,提供基础处理能力(图片裁剪、转格式、缩放、打水印等)、图片瘦身能力(Guetzli 压缩、AVIF 转码压缩)、盲水印版权保护能力,同时支持先进的图像 AI 功能(图像增强、图像标签、图像评分、图像修复、商品抠图等),满足多种业务场景下的图片处理需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档