前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >eBay开源新数据库技术Kylin,支持TB到PB级数据量

eBay开源新数据库技术Kylin,支持TB到PB级数据量

作者头像
CSDN技术头条
发布2018-02-08 17:12:46
1.1K0
发布2018-02-08 17:12:46
举报
文章被收录于专栏:CSDN技术头条

【编者按】eBay开源了一种名为 Kylin 的数据库技术,eBay在周三的一篇博客上分享了Kylin 的诸多细节,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量,Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。这些都表明eBay在使用Hadoop技术等方面取得了不俗的成绩。

以下为译文:

在线拍卖网站eBay开源了一种名为 Kylin 的数据库技术,该公司宣称这项技术能够在Hadoop上支持PB级数据存储的快速查询。eBay并不是像Google和Facebook那样的大数据公司,但它运用Hadoop等技术已经达到了一个相当大的规模,Kylin就是一个很好的例子,这说明它在该领域的创新已经走在前头。

eBay在周三的一篇博客上分享了Kylin的细节,包括REST API、ANSI-SQL兼容性、连接分析工具Tableau和Excel,以及在一些查询上低于秒级的延迟。然而, Kylin最独特的特性是它如何处理scale。eBay表示,它可以查询数十亿行数据——在高达14TB的数据集上,速度比使用传统的Apache Hive工具快得多。

Kylin工作在一个很高级别上,它从Hive取数据;使用MapReduce预处理大型查询;然后将这些结果作为键值cuboids存储在HBase上。当用户用一组特定的变量值运行一个Kylin查询,结果已经准备就绪,不需要再重新处理,这和已经使用多年的分析型数据库完全不同。

下面是eBay分享的Kylin如何在公司内部的使用情况:

开放Kylin的时候,我们已经有一些eBay业务单元在生产中使用它。我们最大的用例是120+亿源记录生成的14 +TB cube。它的90%查询延迟小于5秒。现在,我们的用例瞄准分析师和业务用户,他们可以轻松的通过Tableau分析并且得到结果——不再需要Hive查询,shell命令等等。

想要知道Kylin在与下一版本的Hive、Spark SQL以及Hadoop SQL分析的其他选项较量中谁会胜出,将是一件非常有趣的事情,Kylin作为YARN资源管理器一部分可以在Apache Hadoop的最新版本上获得。我猜它会慢一点,但比内存选项或那些不需要MapReduce处理的更具扩展性,不过这对于那些仍然在运行更早软件版本的用户可能是一个可靠的选择。

原文:eBay open sources a big, fast SQL-on-Hadoop database 

(编译/魏伟 审校/仲浩)

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2014-10-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CSDN技术头条 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档