揭秘eBay四大系统 从行为数据中寻找价值

喜欢海淘的朋友应该对eBay并不陌生,如果你还不了解,可以把eBay+PayPal理解为淘宝+支付宝的组合,当然eBay不仅有C2C还有B2C的模式。虽然介绍了背景,但今天要说的并不是电子商务的发展,而是大数据在电商内如何发挥价值。

因为不论国外还是国内的电子商务企业,他们的相同点都是以业务为导向。eBay的做法是用数据驱动商业,其上所有的数据产品都是针对业务而生,数据部门需要对不断变化的用户需求找到解决之法,也就是从客户的行为数据中来寻找价值。

行为数据用混合的手段来处理

数据是eBay发展的基础和价值所在,所以eBay数据服务和解决方案团队从eBay成立的第一天就已经存在,从数据仓库到数据分析再到数据服务,部门的名字一直随着发展在不断变化。但万变不离其宗,数据服务和解决方案团队就是一个针对数据展开想象的部门。

eBay数据服务和解决方案团队分布在美国西雅图、圣何塞以及中国上海,而中国团队全职和外包人员总共将近有100人,其中有不同的职位和分工,包括数据科学家、数据工程师、商业需求分析师、产品经理四大类。两个区域的团队互相协作,共同开发核心数据的同时也支持不同的业务部门。

eBay中国数据服务和解决方案团队主管李炜

eBay目前整体有四大系统,其中三个为生产系统,一个为测试开发系统。生产系统包括:第一,保存交易型数据和用户数据的企业及数据仓库(Enterprise Data Warehouse);第二,Teradata为eBay特别定制的分析系统,主要进行非结构化的用户行为数据处理;第三,专门为数据分析师使用,方便快速找到想要的数据。eBay中国数据服务和解决方案团队主管李炜指出,前两个系统主要为生产环境做批处理,最后一个系统是帮助数据科学家进行测试和制作分析报告。

由于eBay电子商务的属性,其用户行为数据占80%以上,而通过买家和卖家的行为数据eBay可以做很多个性化的应用。买家更喜欢买哪些种类下的产品,有哪些购物习惯、什么时间购买,这些数据可以帮助卖家了解哪些是自己最大的客户群,以及基于机器学习对未来的热点市场进行预测。

“eBay的行为数据都是非结构化数据,这对于关系型数据库的压力非常大。”李炜谈到。因此eBay则使用了混合方案,使用Hadoop来应对海量非结构化数据,将原始数据首先加载到Hadoop上,完成行级结构化处理,在将这些预处理好的数据送到不同的系统,之后处理已经模式化的数据和半结构化数据。

eBay拥有庞大的Hadoop节点和Teradata节点,这也带来了三大挑战:

第一、不同系统间的数据搬移,eBay每天产生的数据量是巨大的,这些数据要在多个平台上搬移,在搬移的过程中要保证不同系统中数据的同步和数据质量。

第二、不同系统的管理,随着eBay系统平台的越来越多样化,对于Teradata和Hadoop等系统的管理,以及搬移数据的管理都需要不断增强。

第三、技术能力不断提升,不同平台有不同的技术,这就需要员工具备综合技术能力。

只要有业务需求就有数据产品

对于eBay来讲数据平台要具备高可靠性、高可用性、易用性。eBay与Teradata的合作已有20年之久,eBay也是目前Teradata最大的客户之一。李炜回顾了Teradata系统在eBay上这20年中经历了多次演变,到目前为止eBay的核心数据、交易型企业级数据和用户行为数据都在Teradata上进行存储管理和应用。

以数据驱动商业是eBay的文化,大数据平台最终是为了产生价值,现在除了传统的数据整合,eBay在各个业务环境中都有着不同的数据产品。

eBay有一款针对卖家的线上免费工具Seller Hub,可以为每一位卖家进行深入的分析,哪些商品更畅销,产品如何标价才能具备竞争优势等。这中间会使用到数据模型,李炜强调模型不仅仅从eBay网站中的所有类目中调取价格,同时还会比对相似产品的关联价格,最终为卖家提供指导价格。

结合了自身数据和第三方数据也让eBay可以完善网站上不能捕获的一些数据来绘制用户画像,像性别、职业、收入等。包括对用户画像进行分级,哪些是潜力卖家,哪些是高风险买家,从而更精准地进行市场推广。

刚刚更多说的是eBay如何用数据提供一些产品,在内部eBay同样用数据在优化自身网站,在对页面的设计、新功能的设计上都会提供相应的建议。

2016年,eBay还将继续发展B2C和C2C市场,但是B2C、C2C、二手货多种卖家的存在,让eBay如何管理各个类目中的商品成为一个非常大的挑战,eBay要做到把大部分的类目最终关联到结构化的产品系列中,实现精细化的管理。

用户的需求是多样化的,eBay也会有越来越多的需求,未来与Teradata的合作上,不仅仅是硬件一体机层面,在美国eBay已经开始使用了Teradata提供的云服务,并且已经落地了一些具体的应用。

内容来源:数据分析网

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2016-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏罗超频道

太突然!陌陌8.0首页被改得面目全非,只为让你找人更有效率?

这几天陌陌推送8.0新版,更新之后我发现它已彻底改头换面,首页不再是TAB+信息流设计,扁平化设计将点点、直播和短视频等核心功能放在重点位置,还引入了狼人、快聊...

3594
来自专栏数据猿

大数据全面解读95后 “国民老公”竟成95后代言人

<数据猿导读> 近日网络上发布了一篇95后大数据分析报告,报告中所呈现的95后他们独立且叛逆,他们既八卦逗逼又同时敢作敢为,然而令人想像不到的是,在他们眼中最能...

2976
来自专栏灯塔大数据

让大数据思维 助力“生命线”

习主席在全军政治工作会议上指出,要研究把握信息网络时代政治工作特点和规律,增强政治工作主动性和实效性。大数据作为信息网络时代的重要标志,它不仅是一种技术,更涉...

3696
来自专栏罗超频道

如果你觉得陌陌7.0新功能是照抄snapchat 那你就错了……

中国社交App正在进入7时代:陌陌7.0近日正式发布,微信已停留6时代两年之久,7.0版本呼之欲出。一款App进入7时代意味着已十分成熟,之后将很难有大的变化。...

3628
来自专栏机器人网

专家建议向机器人灌输人类价值观,以防背叛

据国外媒体报道,随着人工智能的发展,越来越多的科学家开始担忧人工智能会给人类带来各种难以预计的影响,甚至可能是灾难。在近日开幕的“TED2017”大会上,计算机...

3375
来自专栏微信公众号:Java团长

程序员如何在百忙中更有效地利用时间,如何不走岔路,不白忙!

程序员忙,似乎是个公论,有些程序员甚至会认为,不忙的程序员无法快速地进步,从而会落伍。或者说,不忙的程序员有可能被公司末尾淘汰掉。对此,一直危机感很重的我深以为...

852
来自专栏大数据文摘

业界 | 机器人温柔而忐忑的眼神,你挡得住么?

对于这些难题,业界一直在做着努力,例如,2018年I/O大会上,谷歌助理以令人惊叹的表现通过了图灵测试,就标志着这智能语音出现了里程碑的进步。

542
来自专栏罗超频道

音乐视频互动直播,这事儿为什么是陌陌在做?

最近打开陌陌能明显感受到它正在大力推广一项新业务:陌陌现场。在发现菜单,陌陌现场位列同城服务、附近活动之前,在附近的人这样的重点入口,有时也会出现正在陌陌现场的...

3557
来自专栏小程序

小程序——实体行业探索的新方向!

有没有发觉你的手机微信群里时不时就收到一个微信小程序?然而小程序不是一下子就被大家所熟知的,任何新生事物,其影响都是一步步扩大而来的。当年我们还不清楚什么是公众...

1073
来自专栏娱乐心理测试

努力的意义

自项目完成后,整个人感觉很空,顿时失去了目标,失去了方向感,不知自己该往哪走,该看什么,学什么了。

1215

扫码关注云+社区

领取腾讯云代金券