Hbase理论知识点概要 问题01：Hbase的功能与应用场景？ 功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的、NoSQL数据库 应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景 问题02：Hbase有什么特点？ 分布式的，可以实现高并发的数据读写 上层构建分布式内存，可以实现高性能、随机、实时的读写 底层基于HDFS，可以实现大数据 按列存储，基于列实现数据存储，灵活性更高 问题03：Hbase设计思想是什么？ 设计思想
Apache Kylin采用“预计算”的模式，用户只需要提前定义好查询维度，Kylin将帮助我们进行计算，并将结果存储到HBase中，为海量数据的查询和分析提供亚秒级返回，是一种典型的“空间换时间”的解决方案。
在Hive中对于日期数据我们经常使用String类型存储，但是在ClickHouse中建表时针对日期类型数据存储建议使用日期类型存储，不使用String类型存储，因为在使用到日期时日期类型可以直接处理，String类型的日期数据还需要使用函数进行处理，执行效率低。例如：
•创建全局索引，会自动构建一张索引表 •索引表结构 –Rowkey：索引字段+原表的rowkey –列：占位置x •特点：如果查询字段或者查询条件不是索引字段，就不会走索引 •应用：适合于读多写少
因为没有建立索引，组合条件查询效率较低，而通过使用Phoenix，我们可以非常方便地创建二级索引。Phoenix中的索引，其实底层还是表现为HBase中的表结构。这些索引表专门用来加快查询速度。
之前简单介绍了一下列式存储和其起源：和谐号为啥快？因为铁轨是列式存储！ ， 列式存储的起源：DSM 。在人们发现了列式存储的优点之后，就开始设计列存系统了。这些系统基本都是从头设计实现的。但是牛顿说过，要站在巨人的肩膀上。那么能不能在一个传统关系数据库基础上应用列式存储的思想，让其达到列式存储的效果呢？
“带你走进Apache Kylin的世界”
数据专业人员经常做的工作之一是将多个数据集追加到一起。无论这些数据集是包含在一个 Excel 工作簿中，还是分布在多个文件中，问题是它们需要被纵向【追加】到一个表中。
leaf 叶子 存储数据行时就是有序的 直接将数据行的page作为叶子节点（相邻的叶子节点，有双向指针）
hbase的内部使用KeyValue的形式存储，其key时rowKey：family:column:logTime,value是其存储的内容。
去年刚开始写博客的时候写了一篇《MySQL性能调优参考》，文章中提到优化的几个技巧，比如数据类型的使用、范式和反范式的合理使用、索引的使用及其使用的注意事项等等。其中我们接触最多的就是索引，你可能知道索引的底层结构是B+Tree、使用索引要遵守最左匹配原则，那你知道为什么要用B+Tree、为什么使用索引有那么多注意事项吗？所以还是要知其然知其所以然，看完这篇文章你就懂了。
理论上，对于N维，你最终会得到2 ^ N维组合。但是对于某些维度组，不需要创建这么多组合。例如，如果您有三个维度：洲，国家，城市（在层次结构中，“更大”维度首先出现）。在深入分析时，您只需要以下三种组合组合：
分析型数据库AnalyticDB（原名 ADS）是阿里巴巴针对海量数据分析自主研发的实时高并发在线分析系统，可以针对万亿级别的数据进行多维度分析透视和业务探索。采用分布式计算，具有强大的实时计算能力。
元数据打通数据源、数据仓库、数据应用，记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息（也就是MetaStore）；动态的任务、表依赖映射关系；数据仓库的模型定义、数据生命周期；以及ETL任务调度信息、输入输出等。
在 Citus 集群上运行高效查询要求数据在机器之间正确分布。这因应用程序类型及其查询模式而异。
大家好，又见面了，我是你们的朋友全栈君。列存储，作为一种针对数据查询和数据分析设计的数据存储策略，在“大数据”越来越普及的今天可以说是相当地火热。相较于行存储，列存储的最大优势有二，其一就是查询涉及到数据库的哪几个列就读哪几个列，不读一点与查询不相关的列，大大减少了数据的读取，其二就是数据库数据分为多个独立的列来存储，相同数据类型的数据连续存储在一起，易于数据压缩，而这再次减少了数据的读取。以上正是列存储在处理数据查询和数据分析方面的天然优势，其中也有很多值得探讨的东西。关于前者，本博主涉其未深，不便胡说，倒是近日通过阅读些许文章晓得了几种列存中的数据压缩算法，可以写出来与众看客们分享一二三点。
前一阵子，又跑出去搞了一场面试，心态算是崩了，关于MySQL索引的原理及使用被面试官怼的体无完肤，立志要总结一番，然后一直没有时间（其实是懒……），准备好了吗？
毫无疑问，对于开始就以表格形式处理数据的人来说，最简单的方法之一是打开 Excel 并开始在工作表中记录数据。虽然 Excel 并不是真正打算充当数据库的角色，但这正是实际发生的事情，因此 Power Query 将 Excel 文件和数据视为有效数据源。
Doris的存储结构是类似LSM-Tree设计的，因此很多方面都是通用的，先阅读了解LSM相关的知识，再看Doris的底层存储与读取流程会清晰透彻很多，如下是几个关键的设计:
身处于大数据时代，即使我们使用的大规模并发对数据进行查询，由于数据量的原因，用户想快速的对数据进行分析还是较为困难的；预计算是其中一个比较直观的解决方案，提前将数据算好，需要的时候直接拿出来，看上去是非常美好的，但是预计算是需要成本的，由于分析场景的复杂，预计算的结果被复用的概率可能没那么高，但是这一步还是需要有人进行探索和实践。本文主要描述了Apache Kylin 4.0.1的原理来帮助大家打开思路。
本篇博客，博主为大家介绍的是关于Kylin的增量构建的步骤过程，以及其与全量构建的差异对比！看完之后，相信你也一定能够感受到这里面的大学问~
以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。
本文的意义是在使用过程中，对一些查询进行一些优化，使查询效率提升。 无论是在单表查询，还是在多表查询，或者是分布式表的查询。
MyCat++ 分库分表：以空间换取时间 1.通过查询mysql中的数据库表([1])，和 mycat中配置的schema([2]) 和 rule([3]) 信息，构建一个路由图 并根据路由规则自动创建子表，mycat server 保存着分库分表的元数据信息，这些元数据信息 可根据[1],[2],[3]进行重建； dataBase-hostNode 分配策略；数据库应该分配在哪台mysql服务器上； table-dataBase 分配策略；表应该分到哪个database里。 分配算法：
数据仓库的索引是个棘手的问题。如果索引太多，数据插入很快但是查询响应就会很慢。如果太多索引，数据导入就很慢并且数据存储空间更大，但是查询响应更快。数据库中索引的作用就是加快查询速度，不论是传统数据库还是数据仓库。尤其是对于大数据量的表以及设计表连接的复杂查询。之前接触数据仓库比较少，这里只是介绍一点小经验。 当然，在创建数据仓库索引的时候需要考虑一些参数比如数据仓库类型、维度表和事实表大小、是否分区、是否AD hoc等等。这些参数决定了你的索引结构。本篇主要介绍如何对数据仓库中的关系表建立索引，注意是在关系
和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：
本文作者：康凯森，来源于：https://blog.bcmeng.com，文章写的非常详细，从各个方面对Kylin和Doris进行了对比。
文章开头的面试场景不是我编出来的，兄弟们，刚毕业一两年面试的我就出现过这种问题。仅仅问你失效场景，只要准备过面试的人都能答出来。但是再往下问问，就不知道怎么答了。
Prewhere 和 where 语句的作用相同，用来过滤数据。不同之处在于 prewhere 只支持*MergeTree 族系列引擎的表，首先会读取指定的列数据，来判断数据过滤，等待数据过滤之后再读取 select 声明的列字段来补全其余属性。 当查询列明显多于筛选列时使用 Prewhere 可十倍提升查询性能，Prewhere 会自动优化执行过滤阶段的数据读取方式，降低 io 操作。 在某些场合下，prewhere 语句比 where 语句处理的数据量更少性能更高
前面的几篇文章中，我们大体上介绍了 SQL 中基本的创建、查询语句，甚至也学习了相对复杂的连接查询和子查询，这些基本功相信你也一定掌握的不错，那么本篇则着重介绍几个技巧方面的关键字，能够让你更快更有效率的写出一些 SQL。
本文来自社区伙伴对《DAX 权威指南（第二版）》的学习笔记，有问题可以留言或联系BI佐罗修改，感谢你的支持。
在MySQL 5.7中，支持两种Generated Column，即Virtual Generated Column和Stored Generated Column，前者只将Generated Column保存在数据字典中（表的元数据），并不会将这一列数据持久化到磁盘上；后者会将Generated Column持久化到磁盘上，而不是每次读取的时候计算所得。很明显，后者存放了可以通过已有数据计算而得的数据，需要更多的磁盘空间，与Virtual Column相比并没有优势，因此，MySQL 5.7中，不指定Generated Column的类型，默认是Virtual Column。
国庆期间看了数据库的很多资料和书籍，这点我在总结的数据库文章里面也提过了，然后我发现我对索引的介绍不全，所以整理了一下自己的笔记，决定来个索引完整版，老规矩可能还是没我正常文章风格那么跳，但是干货一定也能让你有所收获。
说到索引，很多人都知道“索引是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址，在数据十分庞大的时候，索引可以大大加快查询的速度，这是因为使用索引后可以不用扫描全表来定位某行的数据，而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据。”
只能在文本类型CHAR,VARCHAR,TEXT类型字段上创建全文索引。字段长度比较大时，如果创建普通索引，在进行like模糊查询时效率比较低，这时可以创建全文索引。 MyISAM和InnoDB中都可以使用全文索引。
现今，大数据行业发展得如火如荼，新技术层出不穷，整个生态欣欣向荣。作为大数据领域最重要的技术的 Apache Hadoop 最初致力于简单的分布式存储，然后在此基础之上实现大规模并行计算，到如今在实时分析、多维分析、交互式分析、机器学习甚至人工智能等方面有了长足的发展。
索引是对数据库表中一列或多列的值进行排序的一种结构。MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询语句。
Apche Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。它采用多维立方体（Cube）预计算技术，可以将某些场景下的大数据 SQL 查询速度提升到亚秒级别。相对于之前的分钟乃至小时级别的查询速度。
术语事务（ transaction ）由来有一些历史原因。早期的数据库使用方多为商业交易（commercial ），比如买卖、发工资等等。但是随着数据库应用不断扩大，交易\事务作为名词保留了下来。
在正式开始之前，我们先来看下 MySQL 服务器的配置和版本号信息，如下图所示：
最左优先，以最左边的为起点任何连续的索引都能匹配上。同时遇到范围查询(>、<、between、like)就会停止匹配。
在这篇博客文章中，我将与大家分享我在学习过程中编写的JPA原生SQL查询代码。这段代码演示了如何使用JPA进行数据库查询，而无需将数据绑定到实体对象。通过本文，你将了解如何使用原生SQL查询从数据库中高效地检索数据。
通过灵活组合以上元素，SELECT语句实现了对数据库中数据的灵活、高效的检索和处理，是SQL中最基础、重要的命令之一。理解和熟练掌握SELECT语句的使用对数据库查询操作至关重要。
连接（Join）是数据仓库工作负载的一个组成部分。 当连接的表存储在内存中时，IM列存储增强了连接的性能。
数据库和索引的关系就像新华字典和目录的关系一样，索引存在的目的就是为了提高数据查询效率。索引其实就是一种数据结构，存储引擎能通过索引能快速找到你想要的数据。尤其是当下海量数据存储的情况下，索引的使用显得尤为重要。索引能大大减少磁盘扫描的数量，可以将随机IO变为顺序IO，避免排序，高效的索引能将查询性能提升N多倍，今天我们就说一说关于”索引”的那些事。
Hydra是企业级数据仓库的开源替代品。速度快且功能丰富，开发人员可以更快的构建更好的分析。支持列存PG的更新和删除是#1客户功能请求，现在GA了。之前博文“如何为分析构建最快的PG数据库”中，回顾了Hydra团队如何将列存、向量化和查询并行化添加到PG中，以及使用ClickBench的基准测试结果。目前对WHERE进行了向量化。但未用SIMD，声称很快会提供。平均下来，查询性能比基本PG提高了23倍！这也太夸张了吧，可以弄下来测试下，文末有源码地址。
随着闲鱼业务的发展，用户规模达到数亿级，用户维度的数据指标，达到上百个之多。如何从亿级别的数据中，快速筛选出符合期望的用户人群，进行精细化人群运营，是技术需要解决的问题。业界的很多方案常常需要分钟级甚至小时级才能生成查询结果。本文提供了一种解决大数据场景下的高效数据筛选、统计和分析方法，从亿级别数据中，任意组合查询条件，筛选需要的数据，做到毫秒级返回。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
