京东发布全球首个“发丝级”全自动抠图软件么么照发力买家秀

2018年4月,京东Y事业部对外发布全球首款全自动智能图片合成处理软件——么么照。么么照可实现“发丝级”识别精度的全自动抠图效果,能够满足于买家秀、社交、海报制作等应用场景,未来还将覆盖邀请函、电子名片、直播等静态图片及动态视频的应用。给用户带来更丰富有趣的玩法及全新的互动体验。

么么照以人像抠图为核心,可实时更换背景/贴纸,并支持全身效果合成,由来自于京东美国硅谷研发中心数字科技团队提供了领先的AI及AR技术,可创造出内容更加丰富的创意表达,极低的学习门槛让用户可轻松上手进行创作。目前么么照已发布iOS及Android版本,用户可前往应用商店下载体验。

“发丝级”全自动抠图让创意信手拈来

目前市面上种类繁多的图片美化软件和大部分的抠图App,几乎都是半自动化的,需要用户手动框出人物区域,用户们在选取人物或其他对象时经常有不小的麻烦,需要消耗一定的时间。

么么照解决了用户这一烦恼,规避了其他半自动抠图软件效果差不好控制的问题。采用人工智能算法,将人与复杂背景自动分割,智能识别人体部位与动作,达到发丝级识别精度,用户可通过使用app内置主题背景或自由上传背景,实现万千虚拟场景自由更换,赋予用户沉浸式的深入体验,让图片处理变得富有创意。

么么照在抠图方面采用最先进的深度学习算法对照片进行语义分割,可精准分割出人像与背景,并返回一个由浮点数组成的字符串,字符串内的每个浮点数对应原图的一个像素,浮点数的值代表相应的像素是否在人体轮廓内的置信度。

为了使用户获得最佳的用户体验,么么照针对手机端和服务器端分别采用了轻量级网络和高精度网络来做上百万的数据训练,做到了既精准又轻量化的效果。利用深度学习中的Encoder-decoder模型结合提取到的全局和局部特征,能够对每个像素进行人物、背景分类,得到高精度的人物分离,最后组合成多种处理方法,并对神经网络得到的人体模型,做进一步的细节优化,简单背景下甚至可做到PhotoShop级别的精度。

为了增加图片的趣味性,么么照还在抠图选取过程中加入了人体关键点检测,例如检测到图像中人体肩膀的位置,可自动搭配翅膀等梦幻元素,还可自动更换背景、识别背景颜色。同时通过后台算法可以检测到图像中服装属性、背景图元素,根据提取的标签信息智能匹配语料,未来更可一秒钟写好配图文章。此项技能作为AI 技术在图片领域的拓展,还能够提取用户全身照片里服装风格信息,可用于用户偏好等标签数据信息梳理。

进击的娱乐化趋向 动态视频实现一键抠图

根据2015 CNNIC数据显示,截止2015年底,在中国30岁以下的网民占比超过一半(54%),20岁以下网民占比24.1%,互联网娱乐继续向低龄群体渗透。这些崛起的90后是各大平台都无法忽视的新兴消费势力,日益成为影响中国互联网未来发展的关键力量。从供需两端看,90后最关注的行业是文娱,而短视频又是对文娱类产业影响最大的部分,深入到产品层面的改变,在产品设计及运营策略等方面各大企业也都在迎合着90后,么么照正是抓住了年轻群体娱乐化的需求,在市面上静态抠图尚不精准的情况下率先进行了动态视频抠图处理的研发。

么么照能够检测到图像中所包含人物中脸的各个关键点位置,捕捉用户脸部形态,进行人脸实时视频抠图,完成82个人脸关键点定位检测深度模型,服务器GPU可达322 fps,手机端(iphone7)GPU为33 fps。在动态抠图方面,后台算法会根据视频输入的每一帧计算出一张二值掩蔽图,通过对大批量视频进行分割训练,保证帧之间的连续性,加上对沙漏型分割网络架构的改进,能够提高并解决视频在手机端的速度问题。

么么照在动态抠图过程中可以识别到点头、摇头、手势等动作,使用神经网络能够做到毫秒级的动效跟踪和贴纸展示,此外在移动中拍摄识别依旧准确。作为全身视频的新颖玩法,适用于体感游戏在短视频平台上的应用,能够让用户真实体验线下Cosplay,例如实时制作出用户翱翔太空、深入火山等效果,同时可以进行一键分享社交圈,实时互动传播。

未来通过与AR技术结合,么么照针对用户对于照片效果美化的需求,还将加入“人脸关键点检测”萌颜+实时抠图功能,并通过美颜与滤镜赋予萌颜效果,不管是静态图片还是动态视频都能带给用户前所未有的视觉体验。

助力京东买家秀 用数据看懂你的美

么么照一方面可满足用户对照片美化处理的个性化需求,还将作为京东在买家秀上的重要基础工具来提供入口,消费者可通过么么照的处理对商品进行更个性化的评价展示,增强B端与C端的互动,提高转化率。同时么么照通过对用户穿衣风格的识别可不断积累用户对服装搭配,色彩偏向等数据,在与京东用户数据打通后,可围绕数据标签展开精准且具有针对性的营销活动,提供给用户更多个性化推荐,以及更适合的活动策略。

京东技术 ∣关注技术的公众号

原文发布于微信公众号 - 京东技术(jingdongjishu)

原文发表时间:2018-04-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

揭秘Google地图:算法再强,也需人工

1858
来自专栏MixLab科技+设计实验室

电影封面海报个性化推荐+人工智能设计师

本文结合Netflix的个性化推荐案例,继续谈《人工智能设计师》的应用。 ? Netflix,让每个用户都看到不一样的电影海报 这家视频网站在最近宣布了他们利用...

3236
来自专栏华章科技

分析一天1000万北京地铁客流,我们发现...

832
来自专栏嵌入式程序猿

安全实验,且行且注意

对于嵌入式工程师来说,经常要做实验,接触电学,被电过的工程师应该不在少数,曾经跟几个同事聊天,谈到这个问题,都反映被电过,有的被220V电...

3337
来自专栏深度学习之tensorflow实战篇

用户画像行为分析流程

什么是用户画像? 简而言之,用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作即是给用户贴“标签”,...

4518
来自专栏CDA数据分析师

基于大数据的用户画像构建(理论篇)

文 | 罗宇矗 什么是用户画像? 简而言之,用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作即是给用户...

2798
来自专栏黄成甲

互联网产品如何建立用户画像?

过年时,闲来无聊,便想起年前和啊喔科技的的朋友聊到过“不写就出局”用户活跃度的话题,大家共同讲起了需要建立产品的用户画像。去年十月,雨花客厅程冲老师在产品课程上...

752
来自专栏镁客网

上传一张照片,让算法告诉你是否患有抑郁症

1057
来自专栏机器人网

力传感器在机器人上的应用

力矩传感器首次制造出来,是用于打磨、抛光等应用。由于这些应用都很难实现自动化,因为机器人需要某些力反馈来确定它推动的力够不够。

701
来自专栏全栈数据化营销

数据分析:以手机卖点为例,如何通过文本分析找到市场反馈,快速优化产品

最近在做一款app的完善工作,其中,很重要的参考资料就是采集了电商购物平台的评论信息,并且对这些评论文本信息做分析,得到了用户对产品使用后最为真是的评价,也就明...

3308

扫码关注云+社区