在这篇博客中，我们将深入探讨Apache Kylin的工作原理、优势以及如何高效使用它来处理大数据。这篇文章是为了帮助那些对大数据分析、数据立方体、OLAP技术感兴趣的读者，无论是初学者还是行业专家。我们将探讨Kylin的关键特性，如预计算数据立方体、多维分析和海量数据支持，以及如何在实际项目中应用这些特性。
在之前的博客中，博主已经为大家带来了Kylin的简单介绍，环境搭建以及简单入门使用。本篇博客，博主为大家带来的是关于Kylin工作原理的介绍!
从2016年开始，美团到店餐饮技术团队就开始使用Apache Kylin作为OLAP引擎，但是随着业务的高速发展，在构建和查询层面都出现了效率问题。于是，技术团队从原理解读开始，然后对过程进行层层拆解，并制定了由点及面的实施路线。本文总结了一些经验和心得，希望能够帮助业界更多的技术团队提高数据的产出效率。
导语 |为了满足贝壳日益复杂、多样化业务场景下的多维数据分析需求，贝壳 OLAP 平台经历了从早期基 于Hive+MySQL 原始阶段，到基于 Kylin单一引擎的平台化建设，再到支持多种不同OLAP引擎的灵活架构的发展历程。本文是对贝壳找房数据智能中心资深研发工程师——肖赞在云+社区沙龙online的分享整理，希望与大家一同交流。
本文作者：康凯森，来源于：https://blog.bcmeng.com，文章写的非常详细，从各个方面对Kylin和Doris进行了对比。
近几年，Apache Kylin作为一个高速的开源分布式大数据查询引擎正在迅速崛起。它充分发挥Hadoop、Spark、HBase等技术的优势，通过对超大规模数据集进行预计算，实现秒级甚至亚秒级的查询响应时间，同时提供标准SQL接口。目前，Apache Kylin已在全球范围得到了广泛应用，如百度、美团、今日头条、eBay等，支撑着单个业务上万亿规模的数据查询业务。在超高性能的背后，Cube是至关重要的核心。一个优化得当的Cube既能满足高速查询的需要，又能节省集群资源。本文将从多个方面入手，介绍如何通过优
数据流程简单，数据处理流程简单，数据包括日志、DB log等，经Sqoop批量或Kafka实时接入大数据平台HDFS里，在大数据平台进行ETL后，通过大数据调度系统Ooize，每天定时写入到关系型数据库MySQL，再以MySQL中数据为基础产出各种报表。
欢迎来到 MTData 小讲堂，本期 MT 酱带大家认识 Apache Kylin™
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
Apache Kylin的广泛应用还得益于它对很多软件都非常的支持，这篇文章我们将汇总一下Apache Kylin支持的BI报表软件有哪些。
很多朋友对大数据行业心向往之，却苦于不知道该如何下手。作为一个零基础大数据入门学习者该看哪些书？今天给大家推荐一位知乎网友挖矿老司机的指导贴，作为参考。
最近工作中应用到了 Kylin，因此调研了 Kylin 的原理和行业应用。本文参考了官网和众多其他公司中 Kylin 的应用案例，希望对大家有帮助。
Apache Kylin，作为一款开源的大数据分析平台，以其独特的预计算技术，为用户提供亚秒级的OLAP查询体验。无论是数据分析师还是大数据工程师，掌握Kylin的使用技巧，都将极大地提升数据洞察力和决策效率。本文将从Kylin的基本概念出发，深入解析其工作原理，分享我在使用过程中的常见问题及解决方案，同时附上实战代码示例，帮助你更有效地驾驭这一强大的分析工具。
“带你走进Apache Kylin的世界”
前言 我们在上一篇 Kylin 的入门级介绍（👉第一个“国产“Apache顶级项目——Kylin，了解一下！）中，就已经谈到了有很多可以与 Kylin 结合使用的可视化工具，例如 ODBC：与Tableau、Excel、Power BI等工具集成。 JDBC：与Saiku、BIRT等Java工具集成 REST API：与JavaScript、Web网页集成。 Kylin开发团队还贡献了 Zepplin 的插件，也可以使用Zepplin来访问Kylin服务 本期
Apache Kylin(麒麟)是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
最近工作中应用到了 Kylin，因此调研了 Kylin的原理和行业应用。本文参考了官网和众多其他公司中 Kylin的应用案例，文末给出了出处，希望对大家有帮助。
本文主要讲解如何部署Kylin集群，采取多个Kylin实例共享HBase存储的模式，如果需要事先了解Kylin基本概念的朋友可以查看《Apache Kylin基本原理及概念》。
Kylin沿用了原来的数据仓库技术中的Cube概念，把无限数据按有限的维度进行“预处理”，然后将结果（Cube）加载到Hbase里，供用户查询使用。
Apache Kylin是一个开源的大数据分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力（可以把Kylin定义为OLAP on Hadoop）。Apache Kylin于2015年11月正式毕业成为Apache基金会(ASF) 顶级项目，是第一个由中国团队完整贡献到Apache的顶级项目。
至于clickhouse/druid/pinot三者的比较可以参见这篇文章：Comparison of the Open Source OLAP Systems for Big Data: ClickHouse, Druid, and Pinot，整体写的非常好而且有深度，对比表格翻译如下：
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。
由于工作需要，前段时间对kylin简单入了个门，现在来写写笔记（我的文字或许能帮助到你入门kylin，至少看完这篇应该能知道kylin是干什么的）。
不熟悉Apache软件基金会的朋友也不用担心，大家可以去Apache官网，下拉到最下边的页面，查看Apache有哪些开源项目。
现今，大数据行业发展得如火如荼，新技术层出不穷，整个生态欣欣向荣。作为大数据领域最重要的技术的 Apache Hadoop 最初致力于简单的分布式存储，然后在此基础之上实现大规模并行计算，到如今在实时分析、多维分析、交互式分析、机器学习甚至人工智能等方面有了长足的发展。
身处于大数据时代，即使我们使用的大规模并发对数据进行查询，由于数据量的原因，用户想快速的对数据进行分析还是较为困难的；预计算是其中一个比较直观的解决方案，提前将数据算好，需要的时候直接拿出来，看上去是非常美好的，但是预计算是需要成本的，由于分析场景的复杂，预计算的结果被复用的概率可能没那么高，但是这一步还是需要有人进行探索和实践。本文主要描述了Apache Kylin 4.0.1的原理来帮助大家打开思路。
作者：teachzhang 腾讯PCG工程师 |导语 大数据多维分析是业务中非常常见的分析场景，目前也有许多落地方案，但是在遇到上百亿数据、维度个数不限、秒级返回结果这样的场景时，实现的时候还是遇到了一些挑战。本文介绍了一种参考kylin的预聚合模式实现的存储方案，支持对上百亿数据以及数百个维度的多维分析，并且能在秒级返回查询结果。该方案可以运用于多维指标拆解分析，异动归因分析业务场景。希望给其他有类似分析场景的同学提供一种参考方案，对本内容感兴趣的同学，欢迎一起交流学习。 1. 背景 周报场景：微视
本期有 HBase、MySQL、Spark、Kylin、MongoDB、分布式。 希望大家会喜欢！
突发看到一篇文章说OLAP已死的，心想这又是谁在语不惊人死不休。顺手点进去看了眼发现某名奇妙的Apache Druid 就被Diss了。我说大哥，Apache Druid和Apache Kylin都是搞OLAP的，我以为你这文章是给OLAP站台的,科普一下啥叫空间换时间和数据立方体的意义和学术原理。怎么就突然风向大变把你同行Druid兄弟冷不丁一脚踢下去了呢。就那么大个圈子那么多点事。这么赤裸裸的冷不丁冒一句，作为Druid的爱好者，不喘口气都以为全是哑巴。
该过程主要封装在 OLAPToEnumerableConverter#implement 中，主要流程如下：
https://mp.weixin.qq.com/s/L0C2TajMEM3veHgB0Yazxg
volatile的原理和实现机制 || volatile到底如何保证可见性和禁止指令重排序的？
上一篇博文我们已经介绍过，在没有采取任何优化措施的情况下，Kylin会对每一种维度的组合进行预计算，每种维度的组合的预计算结果被称为Cuboid。假设有4个维度，我们最终会有24 =16个Cuboid需要计算。 但在现实情况中，用户的维度数量一般远远大于4个。假设用户有10 个维度，那么没有经过任何优化的Cube就会存在210 =1024个Cuboid；而如果用户有20个维度，那么Cube中总共会存在220 =1048576个Cuboid。虽然每个Cuboid的大小存在很大的差异，但是单单想到Cuboid的数量就足以让人想象到这样的Cube对构建引擎、存储引擎来说压力有多么巨大。因此，在构建维度数量较多的Cube时，尤其要注意Cube的剪枝优化（即减少Cuboid的生成）。
大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。
Kylin中Cube的思想是用空间换时间， 通过预先的计算，把索引及结果存储起来，以换取查询时候的高性能。在Kylin v1.5以前，Kylin中的Cube只有一种算法：layered cubing，也称逐层算法，它是逐层由底向上，把所有组合算完的过程。Kylin v1.5以后，推出Fast Cubing，也称快速数据立方算法，是一个新的Cube算法。
本期有 HBase、数据库排名、MySQL、ES、Apache Kylin。 希望大家会喜欢！
2015年，整个IT技术领域发生了许多深刻而又复杂的变化，InfoQ策划了“解读2015”年终技术盘点系列文章，希望能够给读者清晰地梳理出技术领域在这一年的发展变化，回顾过去，继续前行。 本文是大数据解读篇，在这篇文章里我们将回顾2015展望2016，看看过去的一年里广受关注的技术有哪些进展，了解下数据科学家这个职业的火热。 在关键技术进展部分我们在大数据生态圈众多技术中选取了Hadoop、Spark、Elasticsearch和Apache Kylin四个点，分别请了四位专家：Hulu的董西成、明略数
2015年，整个IT技术领域发生了许多深刻而又复杂的变化。本文是大数据解读篇，在这篇文章里我们将回顾2015展望2016，看看过去的一年里广受关注的技术有哪些进展，了解下数据科学家这个职业的火热。 在
问：为什么还没有更新10月的文章？ 答：没学会呢。 问：10月PBI更新又没有特别复杂的内容。 答：非也。10月PBI更新是PBI史上里程碑。
以上是在大数据处理方面常用的四种技术原理， 上面这些处理数据的方式极大程度的提高了单位时间内数据处理的能力， 但是其还是没有摆脱数据量和查询时间的线性关系。 于是在OLAP处理方式上， 我们多了一种：
由于Kylin的本身架构（广播特性）和业务特点通常不适用于单套Kylin集群的节点过多，通常大家采用拆分Kylin集群但是共用底层的Hbase集群和计算集群的方式进行部署。本文主要根据目前咱们的实践经验对于此种场景集群配置进行分享，希望对大家有所帮助。
Kylin介绍： 关于Kylin的简介网上资料有很多，就不做过多的赘述了，这里给一个中文链接： http://kylin.apache.org/cn/ 搭建步骤：
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 下面是单机安装采坑记，直接上配置和问题解决。 找一台干净的机器，把hadoop hive hbase从原有节点分别拷贝一份，主要目的是配置文件，可以不在kylin所在机器启动相关进程。 开源版本搭建，非整合HDP和CDH。 个别问题解决参考其他博客。 官网http://kylin.apache.org/cn/docs/ MapReduce构建Cube的问题也已解决，所以使用MapReduce构建Cube也是正常的。
在大数据领域，数据量持续增长，数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题，Apache Kylin应运而生。
在运行 Spark cubing 前，建议查看一下这些配置并根据集群的情况进行自定义。下面是建议配置，开启了 Spark 动态资源分配：
本文转载自bigdata029，从apachekylin公众号系列文章整理。 随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组（Aggregation Group）、联合维度（Joint Dimension）、层级维度（Hierachy Dimension）和必要维度（Mandatory Dimension）等。” 众所周知，Apache Kylin 的主要
构建过程是一个MapReduce任务，比较耗时，构建之前确保MapReduce History Server是启动的，否则会报错
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
