比科幻小说还科幻:沃尔玛大数据技术未来展望

曾创造了”啤酒与尿布”的经典商业案例的沃尔玛是最早开始投资和部署大数据应用的传统企业巨头之一,通俗得讲,大数据天然不是沃尔玛,但沃尔玛天然是大数据。

在大数据概念引爆流行产业界之前,沃尔玛已经开始了网站数据库整合迁移和Hadoop集群扩展工作,收购Kosmix,在此基础上建立Walmart Labs,并在近年着手收购专注于数据挖掘或移动社交的初创公司如OneOps、Inkiru,Tasty Labs,OneRiot,进军互联网。

沃尔玛希望通过大数据应用让消费者成为bigger spender,同时在电子商务领域奋起直追领导者亚马逊。

通过自身数据积累整合及并购研发,沃尔玛已然拥有一个涵盖消费者线下交易数据、沃尔玛网络商城电子数据与社交媒体应用数据为一体的实时更新积累的大数据库,为沃尔玛在做出决策前,将执行成本降到最低,并且创造新的消费机会。

可以虚拟一个场景来讲沃尔玛的数据操作:

Sam,是沃尔玛的资深会员,其近五年来购买商品的品种、数量、型号、时间信息,支付方式信息,商品配送信息,会员卡信息,住址、联系方式,甚至包括Sam在沃尔玛的购物流程监控视频、门禁数据等线下消费信息都已被沃尔玛的信息系统详细记录。

当Sam近日再一次驱车来到最近的沃尔玛大卖场时,刚进入停车场,Sam的手机或者iPad等移动终端的沃尔玛App可能已经收到购物清单上百分之八十以上商品的推荐信息和电子优惠券信息,App上还按商场流程标注了每件商品的具体位置、型号信息,沃尔玛测试中的“Scan and Go”的系统未来允许Sam用手机扫描商品,然后收银台手机扫描支付。而移动支付完成的瞬间,沃尔玛已经在数据端开始更新Sam的相关消费信息,并开始预判Sam下一次购买比如牛奶和啤酒等商品的时间和数量,并提交数据给APP推荐业务。

另外,Sam很喜欢一款899美金威尔逊网球拍但没有加入扫描清单,球拍旁边的塑胶运动模特脑袋里边的摄像头记录下了他的一举一动,包括Sam的停留时间,拿起网球拍的次数及观察端详球拍的视角,甚至他是左手握拍还是右手握拍等等,而第二个月,Sam的手机推送信息中已经有了沃尔玛推荐的性价比更高的一款Babolat轻碳球拍。

在Sam案例风光的背后,是沃尔玛实验室及相关团队在维持其大数据工作。Walmart Labs着手整合了沃尔玛旗下网站,将试点Hadoop数据节点正式集群扩展,把分散存放在Oracle、Neteeza、Greenplum等数据库中资源统一存入Hadoop数据仓库,并尝试进行内部数据共享分析。通过开发大数据工具加载交易数据,体量相对较小但结构化程度较高的线下零售数据结合电子商务网站数据为前向购物选择预测提供了基本支撑。

2000年网上商店作为应景产品上线,但ebay和亚马逊让沃尔玛认识到电子商务的可怕,便在随后几年开始发力线上。Walmart Labs 推出的 The Social Genome 能够让沃尔玛将消费者线下购物数据、网络浏览点击数据、社交网络关系数据及消费者个人数据等组合成实时更新扩展且具有定向预测功能的强大数据库,逐步解决线上环节与线下渠道数据匹配上的难点,并借助于消费者在社交网络上展现的兴趣,预测他们可能在Walmart下一个购买的产品。

通过对社交网络进行深度的数据挖掘,实现网站主页、商品搜索个性化,依据消费者的兴趣来排列页面上的结果。数据显示,截止到13年1月31日,沃尔玛全球互联网销售额增长30 %增幅十年来第一次超越亚马逊。

接着讲Sam的沃尔玛购物故事:

月末Sam车被借走了,所以选择去沃尔玛的网上商城,cookie自动登录后显示自己上一次登陆沃尔玛网店是在六个月前。Sam的首页推荐上有会员八折的罐装威尔逊网球,还有新款特价的全钢西门子榨汁机,Sam会心一笑:邻居Peter在twitter上抱怨自家的榨汁机真垃圾,自己前天点了赞,沃尔玛竟然知道了!随后Sam发现自己的facebook上的唯一关注音乐人Robbie Williams的新专辑就在眼前。

另外,自家附近的一家健身房年卡正在打折出售,Sam摸摸肚子上的赘肉一咬牙把年卡加入了购物车,心里还抱怨沃尔玛你TM怎么都知道这么多。

实际上,沃尔玛电子商城的消费者线上数据如浏览商品种类时间,购物车状态及支付方式,搜索记录等都将结构化然后汇入全球统一的Hadoop数据仓库,半年前Sam通过Polaris搜索引擎寻找网球拍的数据已经为沃尔玛实体店通过APP给Sam推Babolat轻碳球拍做好了准备。沃尔玛的线上大数据已经能够为其线下营收带来销售增量。

收编Kosmix团队,沃尔玛看重的是Kosmix对社交媒体的语义分析功能,利用Facebook和Twitter的数据,工程师从每天热门消息中,推出与社会时事呼应的商品,创造消费需求,同时,针对社交网络快消息流的性质,沃尔玛内部的大数据实验室专门发展出一套追踪系统,结合手机上网,专门管理追踪庞大的社交动态,每天能处理的资讯量超过10亿笔。

沃尔玛资讯中心副总经理特瑞尔指出,“沃尔玛本身就是一个海量资料系统,适用各种商业上的分析行为”。媒体称沃尔玛拥有将近七成美国人的相关消费数据,八成以上的境内邮箱信息。通过其强大数据库的算法推荐和预测方案,个人消费数据能够预测一系列的高敏感个人信息,沃尔玛将清楚地知道你是谁,你要买什么,甚至你下一步要干什么。

由于缺乏个人信息保护意识,很多有色,低收入,边缘化社区人群个人数据信息受到大数据商业计划侵犯,而弱势人群在沃尔玛的数据标签化分类中很容易被识别区分出来,遭受弱歧视化待遇。

大数据会随着数据的结构化和规模化滚动雪球,越来越“大”,越来越“快”,这个世界上最大的零售商在利用数据技术追逐利润的同时也逐渐引起人们的担忧:

科技在带来商业大发展的同时会不会催生出类似《一九八四》中的Big Brother 2.0。

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2014-08-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【职场】盘点2014年最火的IT认证及薪酬排行榜

2014年关将至,对于IT专业人士来说,跳槽、转型、进修又成了热门话题,而IT专业认证作为IT人才市场的风向标,也是个人职业发展的敲门砖。近日调查公司Foote...

44250
来自专栏ThoughtWorks

从集装箱历史看DevOps的发展进程

什么样的技术会带来生产力的极大提升?技术含量是否与生产力提升成正比关系? ? 带着问题,我们先看一个例子:在工业革命时期,瓦特用于“改良”蒸汽机的技术,就是极大...

30240
来自专栏人称T客

Oracle的数据库大会已演变成一场复仇之战

一年一度的甲骨文大会在北京万达索菲特举行,与相比前几年的数据库大会,规模上有所缩减,内容上更聚焦,目的上更明确,与其说这是一场数据库上的技术盛宴,不如说这是甲骨...

37370
来自专栏大数据文摘

黑无止境——Kcon 2015 黑客大会

24160
来自专栏大数据文摘

APUS全球移动应用分析报告(2014年11月)

13530
来自专栏小程序制作

站在风口猪都能飞起来 微信小程序代理这个风口你抓住了吗?

   愿意花时间看我这篇文章的人,大家都应该知道微信小程序,但是,除了微信小程序之后,你知道支付宝小程序?淘宝小程序?谷歌小程序?还有手机厂商推出的快应用吗?

63760
来自专栏机器人网

黑客劫持扫地机器人疯狂偷拍家中视频,你还敢用吗?

“万物联网”是移动互联网发展的下一个发展阶段,但物联网设备的安全性,近年来一直备受质疑。试想一下,当你家中的物品都能联网,一旦遭到破解,你所有的隐私可能全都暴露...

26240
来自专栏腾讯大讲堂的专栏

你的原创文章被抄袭?可以一键维权了!

28530
来自专栏大数据文摘

D-News | TensorFlow1.0重磅发布

17140
来自专栏FreeBuf

观点 | 浅谈信息安全建设与ISO27001体系的结合

公司安全部门成立的较晚(目前就我一个人负责),高层领导也对信息安全没有什么认识,甚至连安全策略和针对性的法律法规文件都没有,但是运营侧小伙伴却兴致勃勃的搞起了I...

14420

扫码关注云+社区

领取腾讯云代金券