作者：teachzhang 腾讯PCG工程师 |导语 大数据多维分析是业务中非常常见的分析场景，目前也有许多落地方案，但是在遇到上百亿数据、维度个数不限、秒级返回结果这样的场景时，实现的时候还是遇到了一些挑战。本文介绍了一种参考kylin的预聚合模式实现的存储方案，支持对上百亿数据以及数百个维度的多维分析，并且能在秒级返回查询结果。该方案可以运用于多维指标拆解分析，异动归因分析业务场景。希望给其他有类似分析场景的同学提供一种参考方案，对本内容感兴趣的同学，欢迎一起交流学习。 1. 背景 周报场景：微视
OLAP（On-Line Analysis Processing）在线分析处理是一种共享多维信息的快速分析技术；OLAP利用多维数据库技术使用户从不同角度观察数据；OLAP用于支持复杂的分析操作，侧重于对管理人员的决策支持，可以满足分析人员快速、灵活地进行大数据复量的复杂查询的要求，并且以一种直观、易懂的形式呈现查询结果，辅助决策。 上面是OLAP的一些不同的解释，本文将从以下几个方面介绍OLAP。 开源OLAP引擎：Mondrian快速入门 OLAP的基本概念 OLAP的特点 OLAP的操作
为了满足业务管理和决策的报表系统（包括传统报表、数据仓库、OLAP等）也被创建出来，企业主管通过报表了解企业的总体运行状态。 但是，随着企业间竞争的加剧和市场节奏的进一步加快，企业的日常管理需要对关键业务指标的更加实时的监控和反馈。比如：制造业需要更及时的仓库调度、金融业需要更实时的风险防范、电信业需要更及时的服务指标监控。于是，越来越多的企业提出实时企业的要求，传统的ERP等信息系统和报表系统无法满足这些需求。实时业务监控解决方案旨在更好支撑客户此类需求。 http://www.tuicool.com/articl... 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
OLAP（Online AnalyticalProcessing）是一种数据处理技术，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持。
导语｜本文将重点介绍 AI 与数据分析结合的应用，通过实际案例与相关技巧，描述 ChatGPT 如何助力数据分析，帮助读者更好地理解并掌握这一领域的创新实践。
Boussole 作为多维分析平台，与大多数实时分析系统有类似的数据流向。从数据源拉取数据并经过前置清洗，通过用户在平台中定义的指标和维度以及汇聚方式实时聚合后，将产生的结果数据落入持久化存储，用户通过平台前端配置的相关视图及 Dashboard 实时观测这些最新汇聚出的数据结果。
OLAP(OnLine Analytical Processing)，即联机分析处理。OLAP对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。它主要用于支持企业决策管理分析，是许多商务智能（BI）应用程序背后的技术。OLAP使最终用户可以对多个维度的数据进行即席分析，从而获取他们所需知识，以便更好地制定决策。OLAP技术已被定义为实现“快速访问共享的多维信息”的能力。
数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。
数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。前者一般仅反映数据的最新状态，按单条记录事务性来处理；其优化的核心是更快地处理事务。后者往往是反映数据一段时间的状态变化，按大批量方式处理数据；其核心是高性能、多维度处理数据。通常我们将操作型系统简称为OLTP（On-Line Transaction Processing）— 联机事务处理，将分析型系统简称为OLAP（On-Line Analytical Processing）— 联机分析处理。
1.何为建模？ 数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。前者一般仅反映数据的最新状态，按单条记录事务性来处理；其优化的核心是更快地处理事务。后者往往是反映数据一段时间的状态变化，按大批量方式处理数据；其核心是高性能、多维度处理数据。通常我们将操作型系统简称为OLTP（On-Line Transaction Processing）— 联机事务处理，将分析型系统简称为OLAP（On-Line Analytical Processing）— 联机分析处理。 针对这两种不同的数据用途，如何组织数据，更好地满足数据使用需求。这里就涉及到数据建模问题。即设计一种数据组织方式（模型），来满足不同场景。在OLTP场景中，常用的是使用实体关系模型（ER）来存储，从而在事务处理中解决数据的冗余和一致性问题。在OLAP场景中，有多种建模方式有：ER模型、星型模型和多维模型。下面分别说明下：
作为数据仓库实施的核心组件，OLAP 为商业智能 (BI) 和决策支持应用程序提供快速、灵活的多维数据分析。 什么是 OLAP？ OLAP（用于在线分析处理）是一种软件，用于对来自数据仓库、数据集市或其他一些统一的集中式数据存储的大量数据进行高速多维分析。 大多数业务数据都有多个维度——数据被分解为多个类别以进行展示、跟踪或分析。例如，销售数据可能具有与位置（地区、国家、州/省、商店）、时间（年、月、周、日）、产品（服装、男/女/童、品牌、类型）相关的多个维度，和更多。 但在数据仓库中，数据集存储在表中，
OLAP是英文Online Analytical Processing的缩写，中文称为联机分析处理。它是一种基于多维数据模型的分析处理技术，用于从不同的角度进行数据挖掘和分析，以帮助用户快速发现数据之间的相关性和趋势。
微信的多维指标监控平台，具备自定义维度、指标的监控能力，主要服务于用户自定义监控。作为框架级监控的补充，它承载着聚合前 45亿/min、4万亿/天的数据量。当前，针对数据层的查询请求也达到了峰值 40万/min，3亿/天。较大的查询请求使得数据查询遇到了性能瓶颈：查询平均耗时 > 1000ms，失败率居高不下。针对这些问题，微信团队对数据层查询接口进行了针对性的优化来满足上述场景，将平均查询速度从1000ms+优化到了100ms级别。本文为各位分享优化过程，希望对你有用！
多维表达式 (MDX) 是用于在 MicrosoftAnalysis Services 中处理和检索多维数据的查询语言。MDX 基于 XML for Analysis (XMLA) 规范，并带有特定于 SQL ServerAnalysis Services 的扩展。MDX 使用由标识符、值、语句、函数和运算符组成的表达式，Analysis Services 可以通过计算表达式来检索某个对象（如集或成员）或标量值（如字符串或数字）。
👉腾小云导读 微信的多维指标监控平台，具备自定义维度、指标的监控能力，主要服务于用户自定义监控。作为框架级监控的补充，它承载着聚合前 45亿/min、4万亿/天的数据量。当前，针对数据层的查询请求也达到了峰值 40万/min，3亿/天。较大的查询请求使得数据查询遇到了性能瓶颈：查询平均耗时 > 1000ms，失败率居高不下。针对这些问题，微信团队对数据层查询接口进行了针对性的优化来满足上述场景，将平均查询速度从1000ms+优化到了100ms级别。本文为各位分享优化过程，希望对你有用！ 👉目录 1 背景介绍
大数据的价值我们已经有目共睹，与此同时，国家也在大力推动“互联网+”战略，大数据在政务工作中的应用也越来越广泛。
数据仓库：数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确，因为它必须在特定的时间基础上从操作环境中提取出来。 数据集市：数据仓库只限于单个主题的区域，例如顾客、部门、地点等。数据集市在从数据仓库获取数据时可以依赖于数据仓库，或者当它们从操作系统中获取数据时就不依赖于数据仓库。 事实：事实是数据仓库中的信息单元，也是多维空间中的一个单元，受分析单元的限制。事实存储于一张表中（当使用关系数据库时）或者是多
早在 1993年，关系数据库之父 E.F.Codd[1] 提出了 OLAP 概念，不遗余力指出面向记录的OLTP关系型数据库从根本上不适合查询分析的需求。
当我们有了能可靠地对大数据进行采集、处理和存储的能力后，我们可以将这些能力用于哪些实际业务场景，并让数据产生价值呢？
微信的多维指标监控平台，具备自定义维度、指标的监控能力，主要服务于用户自定义监控。作为框架级监控的补充，它承载着聚合前 45亿/min、4万亿/天的数据量。
数据仓库理论的创始人W.H.Inmon在其《Building the Data Warehouse》一书中，给出了数据仓库的四个基本特征：面向主题，数据是集成的，数据是不可更新的，数据是随时间不断变化的。
实时数仓的主要思想就是：在数据仓库中将保存的数据分为两类，一种为静态数据，一种为动态数据，静态数据满足用户的查询分析要求；而动态数据是为了适应实时性，数据源发声的更新可以立刻传回到数仓中的动态数据中，在经过相应的转换，满足实时的要求。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51757011
这篇博文讨论了在大数据环境中使用面向 OLAP 的数据库。重点关注 Hive 作为用于实现大数据仓库 (BDW) 的 SQL-on-Hadoop 引擎，探讨如何在 Hive 中将维度模型转换为表格模型。文章还介绍了 Druid 等新兴技术，用于对大型数据集进行实时分析。
在Kimball的维度建模的数据仓库中，关于多维体系结构（MD）有三个关键性概念：总线架构（Bus Architecture），一致性维度（Conformed Dimension）和一致性事实（Conformed Fact）。
在OLAP分析引擎领域，Apache Kylin可以说是一个重要的成员，相比于大规模并行处理指导思想下的Hive、Presto等组件，Apache Kylin采取了新的计算模式，提供不同的解决方案。今天的大数据开发分享，我们就主要来讲讲OLAP分析引擎Apache Kylin入门。
数据仓库的核心是展现层和提供优质的服务。ETL 及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。
数据分析和可视化一直是大数据时代的热门话题。如今这一个数据为王的时代，当你使用某个产品，划划手指，动动鼠标，甚至一颦一笑都会被记录下来，送至服务器。然而，大量的数据光收集是没有意义的，就好比资料控在硬盘里放了几百个G的电子书却只收集不阅读一样，如果不分析数据，不可视化，那么数据再多也不过是一堆毫无用处的符号而已。本文转自和途客圈颇有渊源的一位正在创业的朋友的文章，讲述他自己在自百度起，到创立SensorsData，对多维数据分析模型孜孜以求的经历和感悟，供大家参考。感兴趣的，可以尝试他们的服务：sensor
新冠肺炎是一种具有最长达24天潜伏期的新型突发性传染疾病，这种特性给疫情防控带来了巨大的挑战，随着感染规模的不断扩增，简单的人为治理已不太奏效，使用“大数据”技术手段来辅助人为治理社会有助于快速准确的定位问题关键，帮助决策者及时作出下一步规划。
核心原理： 1. 多维数据模型： OLAP的核心是一个多维数据模型，通常体现为数据立方体（Data Cube）。数据立方体由维度（Dimensions）、层次（Levels）和度量（Measures）组成。维度代表分析的角度，如时间、地理位置或产品类型；层次则提供了维度内的粒度细化，如年、季度、月；度量是分析的具体数值，如销售额、利润等。 2. 预计算与缓存： 为了加快查询速度，OLAP引擎通常采用预计算（Precomputation）策略，通过预先计算并存储可能的查询结果（如聚合数据），减少实时计算负担。这包括使用技术如cube构建，其中汇总数据被提前计算并存储起来，以便快速响应查询。 3. MPP架构（Massively Parallel Processing）： 许多现代OLAP引擎采用MPP架构，如Apache Kylin和ClickHouse，这种架构中，数据分布在多个节点上，每个节点独立处理自己的数据部分，然后汇总结果。MPP系统提供了水平扩展性，能够处理PB级别的数据集，并保持高性能。 4. 列式存储： 与传统的行式存储相比，OLAP引擎常采用列式存储，这种存储方式特别适合于数据分析场景，因为它可以显著加速涉及大量聚合操作的查询。列式存储减少了需要读取的数据量，并且可以更有效地利用CPU的向量化执行能力。 5. 向量化执行引擎： 一些OLAP引擎，如ClickHouse，采用了向量化执行引擎，这意味着它们会批量处理数据而不是逐行处理，从而提高了CPU的利用率和处理速度。SIMD（Single Instruction Multiple Data）指令集进一步优化了这种处理方式。 6. 索引与压缩： 为了提高数据访问速度，OLAP引擎使用高效的索引结构，如稀疏索引和B树，以及数据压缩技术，减少存储空间需求并加速数据检索过程。 7. 实时与近实时处理： 随着技术的发展，一些OLAP引擎如Apache Druid，专注于实时或近实时分析，能够在数据流入系统后几乎立即对其进行处理和分析，满足即时决策支持的需求。 OLAP引擎能够在大数据环境下提供快速、灵活的分析能力，支撑企业决策和业务洞察。
在之前的博客中，博主已经为大家带来了Kylin的简单介绍，环境搭建以及简单入门使用。本篇博客，博主为大家带来的是关于Kylin工作原理的介绍!
本文共1300字，建议阅读6分钟。 本文与你探讨多维分析初始状态时该预先汇总哪些组合。
背景 美团点评作为全球最大的生活服务平台，承接超过千万的POI，服务于数量庞大的活跃用户。在海量数据的前提下，定位运营业务、准确找到需要数据的位置，并快速提供正确、一致、易读的数据就变得异常困难，这些困难主要体现在以下方面： 取数门槛高，找不到切合的数据，口径复杂不易计算，对运营人员有一定的技能要求，人力成本增大； 数据处理非常耗时，缺少底层离线数仓模型建设和预计算支撑，Ad-hoc平台查询缓慢； 数据不一致，不同渠道口径不一致，缺少对杂乱指标的统一管理； 数据反馈形式不友好，缺少数据可视化的形式，无法呈现
当针对业务搭建好指标体系后，作为产品/运营同学，通常会选择1-2个「北极星指标」来度量产品的健康度。而作为数据同学，我们需要协助产品来监控日常指标波动，如果发现指标波动不符合预期，则需要对其进行查询。
维度建模的数据仓库中，有一个概念叫Bus Architecture，中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是一致性维度（Conformed Dimension）和一致性事实（Conformed Fact）。
星型模型是最简单的数据集市模型，是最广泛用于开发数据仓库和维度数据集市的方法。星型模型由一个或多个引用任意数量的维度表的事实表组成。 星型模型是雪花模型的一个重要特例，对于处理更简单的查询更有效。
实现数据仓库和OLAP（联机分析处理）操作的Java应用程序需要借助一些相关的工具和技术。下面将向您介绍如何用Java实现数据仓库和OLAP操作，并提供一些示例代码和最佳实践。
经过多年来企业信息化建设，大部分都拥有了自己的财务，OA，CRM 等软件。这些系统都有自己的独立数据库，记录着企业运行情况某个方面的数据。但是单独看这些系统的报表，并不一定能对企业运行情况有全面客观的了解。就像只凭身高不能判断一个人是否健康，所以体检的时候我们需要化验许多指标，做各种检测，就是为了对身体情况有更全面的了解，作出更准确的判断。 同样对一个企业，不能仅根据出勤率就判断一个人的绩效高低，因为你不知道他的工作成果情况。仅根据财务报表输入支出也体现不了各部门的收益情况，这个部门有多少工作人员，完成了哪
摘要：Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。
由于工作需要，前段时间对kylin简单入了个门，现在来写写笔记（我的文字或许能帮助到你入门kylin，至少看完这篇应该能知道kylin是干什么的）。
Apache Kylin(麒麟)是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
以上是在大数据处理方面常用的四种技术原理， 上面这些处理数据的方式极大程度的提高了单位时间内数据处理的能力， 但是其还是没有摆脱数据量和查询时间的线性关系。 于是在OLAP处理方式上， 我们多了一种：
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/80422836
对于sql开发人员来说，需要了解开发的数据库应用于哪种类型，下面对数据库的应用做了分类
Kylin沿用了原来的数据仓库技术中的Cube概念，把无限数据按有限的维度进行“预处理”，然后将结果（Cube）加载到Hbase里，供用户查询使用。
微博广告基础架构团队负责人、技术专家，商业大数据平台及智能监控平台发起人，目前负责广告核心引擎基础架构、Hubble智能监控系统、商业基础数据平台（D+）等基础设施建设。关注计算广告、大数据、人工智能、高可用系统架构设计、区块链等方向。在加入微博之前，曾就职于百度负责大数据平台建设，曾担任趣点科技联合创始人兼CTO等职位。毕业于西北工业大学，曾在国内外知名期刊发表多篇学术论文，拥有9项发明专利。
最近工作中应用到了 Kylin，因此调研了 Kylin 的原理和行业应用。本文参考了官网和众多其他公司中 Kylin 的应用案例，希望对大家有帮助。
OLAP的标准概念叫作“联机分析处理系统”，与之对应的是OLTP“联机事务处理系统”。OLTP对于事务性的要求非常高，常用于银行、证券等系统，但运行速度相对有限。有感于此，关系数据库之父Codd便在1993年提出了OLAP的概念，认为用户的很多决策需要依赖大量的计算与多维的分析才能解决，并作为一类单独的产品，与OLTP区分开来。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
