比男友更了解你的穿搭喜好,这个模型可以陪你挑衣服 | 论文

安妮 编译自 arXiv 量子位 出品 | 公众号 QbitAI

购物网站总想通过推荐系统让你多买几件衣服。

但穿搭可是个不太好把控的东西,复杂的服装风格不仅让人挑得眼花缭乱,推荐系统也无法准确推荐出你想买的。最近一项研究表示,有个模型能准确判断衣服的风格,推荐最有可能被购买的服装。

这项成果来自首尔国立大学计算机科学与工程学系的Hanbit Lee、Jinseok Seol和Sang-goo Lee三人。本周一,他们在arXiv上发表了题为《Style2Vec: Representation Learning for Fashion Items from Style Sets》的论文。

量子位挑选精彩的部分编译整理,与大家分享这个比男友更了解你穿搭喜好的模型。

论文摘要

随着在线时尚产业的发展,我们对潮流推荐系统的需求越来越大且要求越来越高。对于推荐系统来说,找到用户喜欢的风格比根据购买记录推荐相似衣服重要得多。

只知道用户一个月中购买了礼服和工装裤还不能做些什么,因为我们不知道这些服装具有什么特征。如果能用一种可行的方式表示时装的风格特征,并将它们整理成连贯的风格集,将能向用户准确推荐他喜欢的衣服。

在这里,我们引入了一种服装向量表示模型,并将它命名为Style2Vec。基于词嵌入中使用的直观分布式语义,Style2Vec通过对照数据集中的穿衣搭配了解时尚的表现形式。

为了准确评估,我们用类比测试评估各种与时尚相关的语义,如形状、颜色、图案甚至是潜在的样式。最后,用Style2Vec将衣物风格分类,结果显示,它能胜任时装相关的分类任务。

数据集

Polyvore是一个服装在线搭配的网站,搜罗了几百万件网店的流行单品,用户可以根据自己的喜好将服装图片自行组合查看穿搭效果。

图片来自Polyvore

研究人员在Polyvore上选取了将近30万套流行服装的搭配,总共包含53460件上装、43180件下装、31199件外塔、77981双鞋子和30852件连衣裙,总共23万多件不重复的单品,每一套搭配中含有2到4样。

获取了这么多服装搭配的样例后,研究人员用一个16层的VGGNet结构将图片映射成1024维的向量。

整个网络用小批量梯度下降法(Mini-batch Gradient Descent,MBGD)通过batch normalization的Adam优化器进行训练。

风格化样式空间

之后,研究人员用t-SNE算法将1024维的服装特征嵌入2D空间。

可视化样式空间

从上图可以看到,算法做的不错。左上角是划分出的正装区,包含一些西服、礼裙与高跟鞋;左下是朋克区,汇集了张扬的摇滚元素与朋克范;右上是休闲区,带着满满的居家与舒适感;紧挨着休闲区的右下部分是被分出的运动鞋与休闲鞋。

这个风格化的样式空间证明了模型可以比较准确地将图像转换到合理的样式空间中。

类比测试

为了研究这些潜在风格特征的内在特征,研究人员进行了潮流类比测试。测试题很有意思,也很固定——如果x对应y,那么z对应着?

比如这个问题:“如果朋克靴对应夹克,那么高跟鞋对应什么?”研究人员想用这种形式测试是否存在一些潜在的与风格有关的规则。下面这张图是模型匹配的结果——

我们可以看到,模型类比推理显示出很多隐藏的规则。(a)表示了颜色和样式的转移,即粉色短裙-黑色短裙和黑色夹克-粉色夹克之间的匹配;(b)案例与(a)类似,是格子裤-黑裤与黑裙-格子裙之间的转换;(c)(d)是风格的转换,即朋克上衣-休闲上衣与朋克裤-休闲裤的匹配;(e)与(f)显示出正装与休闲装的转换。

通过这项对比实验,我们可以看出模型的特征向量具有颜色、图案、形状等基本特征以及潜在的分类特征。

能够判断出你喜爱哪一类风格的服饰,知道这些风格含有哪些时尚元素——看来,这个模型有能力做你的穿搭助手,有潜力被应用在网店的推荐系统中。

而你,离剁手又进了一步。

最后,附论文地址:

https://arxiv.org/pdf/1708.04014v1.pdf

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-08-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【数据科学】数据科学家教你用数据模型来恋爱。

男生和女生分别是来自不同星球的科学事实已经众所周知的了.男生们总是认为,女生们都是迷一样的生物,他们的情感状态浮动似乎是以秒单位在变化的,难以理解,更勿论预测了...

21770
来自专栏CSDN技术头条

大数据专家教你用数据模型来找女朋友

男生和女生分别是来自不同星球的科学事实已经众所周知的了.男生们总是认为,女生们都是迷一样的生物,他们的情感状态浮动似乎是以秒单位在变化的,难以理解,更勿论预测了...

27590
来自专栏机器之心

2018谷歌学术期刊&出版物排名公布:CVPR挤进前20

榜单链接:https://scholar.google.com/citations?view_op=top_venues

18320
来自专栏AI2ML人工智能to机器学习

人工智能深度学习人物关系[全]

为庆祝祖国母亲生日和自己终于脱单,给大家献上这篇绝对的干货!也提前祝大家国庆快乐!

14410
来自专栏大数据文摘

数学之美:两点之间最快的路径

19590
来自专栏AI2ML人工智能to机器学习

哈密尔顿,不变的爱

前面我们提到两大变( “变分の美” 和 “Legendre变变变” ), 那么一直在变的话,什么时候不再变呢? 这就是我们今天想概述的。 所谓物极必反, 又所...

19420
来自专栏机器学习AI算法工程

用R语言构建神经网络模型评估银行客户信用的好坏

随着银行业务的扩展、P2P的出现、第三方支付提供个人贷、以及X宝等借贷平台的出现,使得个人信用评估在银行、第三方支付、商业借贷平台等上的应用越来越重要。本文利用...

37170
来自专栏PPV课数据科学社区

干货 | 17张思维导图,一网打尽机器学习统计基础(附原图下载)

本文用一系列「思维导图」由浅入深的总结了「统计学」领域的基础知识,是对之前系列文章做的一次完整的梳理,也是我至今为止所有与统计有关的学习笔记。众所周知,「统计学...

29590
来自专栏量子位

怎样用GAN生成各种胖吉猫?谷歌大脑程序员教你撩妹神技

Facebook聊天框里出道的灰色短毛猫Pusheen,是柔软的微胖界宠儿,中文名字叫胖吉。

17020
来自专栏SIGAI学习与实践平台

理解计算-从根号2到AlphaGo 第4季 凛冬将至

在新中国诞生的那一年,加拿大生理学家唐纳德﹒赫布(Donald O. Hebb)出版了《行为的组织》 (《The Organization of Behavio...

10220

扫码关注云+社区

领取腾讯云代金券