前言 在使用RabbitMQ消息中间件时，因为消息的投递是异步的，默认情况下，RabbitMQ会删除那些无法路由的消息。为了能够检出消息是否顺利投递到队列，我们需要相应的处理机制。...中需要开启： spring: rabbitmq: # 通常选择 correlated publisher-confirm-type: 通常有三种选择： NONE ，禁用发布确认模式，是默认值...CORRELATED，发布消息时会携带一个CorrelationData，被ack/nack时CorrelationData会被返回进行对照处理，CorrelationData可以包含比较丰富的元信息进行回调逻辑的处理...correlationData.getId()); } else { log.debug("消息发送到exchange失败,原因: {}", cause); } }); 当消息投递到一个不存在的交换机...但是请注意这个并不是发生在消费阶段，是否成功消费并不是由这两种回调来处理，我们有空再对消息的消费确认进行讲解。多多关注：码农小胖哥 获取更多的编程干货。
PostgreSQL HSTORE类型 提要：在本教程中，我们将向您展示如何使用 PostgreSQL HSTORE 数据类型。...hstore 模块实现了将键/值对存储到单个值的 HSTORE 数据类型。注意，HSTORE 中的 键 和 值 都只能是字符串。...启用 hstore 模块 使用 HSTORE 数据类型之前，需要先启用 hstore 模块： CREATE EXTENSION hstore; 创建包含 HSTORE 数据类型的表 CREATE TABLE... HSTORE 字段是否包含某个键 SELECT title, attr->'publisher' as publisher, attr FROM books WHERE attr ?...'publisher'; 判断是否含有某键值对 SELECT title FROM books WHERE attr @> '"weight"=>"412 克"' :: hstore; 判断是否包含多个键
2）Major操作是对Region下的HStore下的所有StoreFile执行合并操作，最终的结果是整理合并出一个文件。...2) 判断是否需要进行majorCompaction，这是很多判断条件的合成，其中最为重要的一个是 hbase.hregion.majorcompaction设置的值，也就是判断上次进行majorCompaction...4) 如果确定Minor Compaction方式执行，会检查经过过滤过的fileToCompact的大小是否满足minFilesToCompact最低标准，如果不满足，忽略本次操作。...确定执行的Minor Compaction的操作时，会使用一个smart算法，从filesToCompact当中选出匹配的storefiles。...如下图所示，我们假定该RegionServer上仅有一个Region，由于不同的Row是在列簇上有所区别，就会出现有些不同Store内占用的内存不一致的情况，这里会根据整体内存使用的情况，或者RS使用内存的情况来决定是否执行
在非结构化，半结构化数据横行的今天，除了MONGODB 让人“羡慕嫉妒恨”，以外能想到的好像也只有PG了，在支持json, josnb下的PG另类hstore数据类型是否多余，还是对多种应用提供了更良好的支持...先建立一个POSTGRESQL 的hstore类型，是骡子，还是千里马，的出来溜溜。 ?...那具体在数据库的维度上，问题的关注点可能会转移到，是否有什么案例可以说明这个数据库的字段类型（或许叫字段类型表达不了，这个类型的内涵），在实际当中的意义。...在这样的情况下还有一些，非传统的二维表格的需求。hstore 其实是一个很好的补充和支持。...所以POSTGRESQL 的 hstore 是一个在传统数据库中，非结构化，半结构化的良好的解决方案。 ?
首先，hstore是一个扩展模块，它允许你保存key=>values键值对，且键值都只能是texts类型（但是，值也允许sql的NULL） json与jsonb 允许你保存一个有效的json值(定义)....相比json, hstore只是它的一个很小的子集(但是，如果你只需要这个子集，也OK的) json与jsonb的区别主要是它们的存储方式： json是保存为文本格式的 jsonb是保存为二进制格式的...jsonb也支持索引，这也是一个明显的优势。 因为json类型存储输入文本的精确拷贝，它将保存令牌间语义上无关紧要的空格，和JSON对象中键的顺序。...另外，如果值中的一个JSON对象多次包含相同的键，那么保存所有的键/值对。（处理函数将最后一个值当做操作值。）相比之下， jsonb不保存空格，也不保存对象键的顺序，并且不保存重复对象键。...总体来说 jsonb 写入比 json 稍慢, 但检索较 json 快些，官方做过测试比较的，用的时候，根据业务来确定。
[1502694630819_6838_1502694630958.png] 另一个成员变量compactSplitThread负责该region server上的compact/split请求具体执行...，遍历region上的所有store（HStore）判断是否需要compact，这里判断是 [1502694702415_487_1502694702531.png] [1502694713835...2.Major操作是对Region下的HStore下的所有StoreFile执行合并操作，最终的结果是整理合并出一个文件。...chore方法中needsCompaction判断的是minor compact是否需要执行。...设置的值，也就是判断上次进行majorCompaction到当前的时间间隔，如果超过设置值，则满足一个条件，同时另外一个条件是compactSelection.getFilesToCompact().size
HRegion 包含多个 HStore 。 一个 CF 组成一个 HStore ，默认是 10 G，如果大于 10G 会进行分裂。...HStore 是 HBase 的核心存储单元，一个 HStore 由 MemStore 和 StoreFile 组成。...在 HStore 对应着的是 Table 里面的 Column Family，不管有 CF 中有多少的数据，都会存储在 HStore 中，为了避免访问不同的 HStore 而导致的效率低下。...所有的数据在写入的时候先是记录在 WAL 中，同时检查关于 MemStore 是否满了，如果是满了，那么就会进行刷盘，输出到一个 Hfile 中，如果没有满的话，那么就是先写进 Memstore 中，然后再刷到...福利 看完后，是否对 HBase 的存储结构有所了解了呢？
下图是对读优化思路的一点总结，主要分为四个方面：客户端优化、服务器端优化、列族设计优化以及HDFS相关优化，下面每一个小点都会按照场景分类，文章最后进行归纳总结。下面分别进行详细讲解： ?...默认是3个；设置需要根据Region大小确定，通常可以简单的认为hbase.hstore.compaction.max.size = RegionSize / hbase.hstore.compactionThreshold...如果不确定业务查询类型，设置为row。...该机制基本工作原理为：客户端发起一个本地读，一旦一段时间之后还没有返回，客户端将会向其他DataNode发送相同数据的请求。哪一个请求先返回，另一个就会被丢弃。...HBase读性能优化总结 性能优化是任何一个系统都会遇到的话题，每个系统也都有自己的优化方式。 HBase作为分布式KV数据库，优化点又格外不同，更多得融入了分布式特性以及存储系统优化特性。
==要牢记至少留10%的内存给操作系统来进行必要的操作== 如何给出一个合理的JVM 内存大小设置，举一个ambari官方提供的例子吧。...它会通过拆分热点Region来缓解热点 Region的压力，但是根据热点来拆分Region也会带来很多不确定性因 素，因为你也不知道下一个被拆分的Region是哪个。...不过它被废弃还有一个更大的原因，这就是有另一个更好的Cache方案产生了，也用到了堆外内存，它就是BucketCache。...配置项 hbase.hstore.compaction.date.tiered.base.window.millis：基本的时间窗口时长。默认是6小时。...在同一个窗口里面的文件如果达到最小合并数量（hbase.hstore.compaction.min）就会进行合并，但不 是简单地合并成一个，而是根据 hbase.hstore.compaction.date.tiered.window.policy.class
这里又生成一个mutations的原因是区分put和delete 6.mvcc 开始处理，也即是把通过生成的mvccId生成写Id并把当前cell放入mvcc的写队列。...memstore中根据不同的CF对应了不同的HStore实例，HStore实例又对应了多个HFile。memstore的实际内存映射就是这些HStore。...原理其实很简单，为了不中断读写，在prepare部分，新建一个新的memstore（HStore）并把相关指标清零，旧的memstore就作为快照刷入HFile。...prepare部分另一个中间数据结构分别为：totalFlushableSizeOfFlushableStores,storeFlushCtxs,committedFiles,storeFlushableSize...他们都被定义为以CF做key的TreeMap，分别代表了store的CF实际执行（StoreFlusherImpl）和最终刷写的HFlile文件： StoreFlusherImpl是HStore的内部类
内存总和开销超过配置上限，默认是配置heap的40%，这会导致写入被阻塞。...如何避免RS OOM?...---- 一种是加快flush速度： 1.hbase.hstore.blockingWaitTime = 90000 ms 2.hbase.hstore.flusher.count = 2 3.hbase.hstore.blockingStoreFiles...阻塞时间是hbase.hstore.blockingWaitTime，可以改小这个时间。...如果不是导入数据，一般而言是够了。好在这个配置在云HBase内是可以动态调整的，不需要重启。 上述配置都需要人工干预，如果干预不及时server可能已经OOM了，这时候有没有更好的控制方法?
2）Major操作是对Region下的HStore下的所有StoreFile执行合并操作，最终的结果是整理合并出一个文件。...1、创建CompactionContext 2、判断是否是非高峰时间，下面是这两个参数的值 int startHour = conf.getInt("hbase.offpeak.start.hour",...hbase.hstore.compaction.ratio 高峰时段，默认值是1.2 hbase.hstore.compaction.ratio.offpeak 非高峰时段...不过没关系，实在选不出文件来，它会退出的。咱们可以将它这个参数hbase.hstore.blockingStoreFiles设置得大一些，弄出来一个比较大的数字。...getDesiredMaxFileSize()默认是10G，由这个参数来确定hbase.hregion.max.filesize, 当没超过10G的时候它就会根据128MB * （该表在这个RS上的region
1.什么是dblink? dblink是psql下的扩展功能，可以实现在一个数据库中远程操作另外一个数据库，是实现跨库的一种方法。...2.安装扩展的报错提示 在使用create extension dblink;安装扩展时，出现下无错误提示： 3.报错的解决 根据上面提示，到到扩展目录查看，没有dblink： [root@KVMNODE01extension... pg_stat_statements--1.4--1.5.sql adminpack.control hstore--unpackaged...--1.0--1.1.sql pgrowlocks--1.0--1.1.sql uuid-ossp.control hstore--1.1--...1.2.sql pgrowlocks--1.1--1.2.sql uuid-ossp--unpackaged--1.0.sql hstore-
下面是一个简单示意图 ?...一次 Minor Compaction 的结果是更少并且更大的StoreFile。...HBase每次flush之后，都会判断是否要进行compaction，一旦满足minor compaction或major compaction的条件便会触发执行。...5.hbase.hstore.compaction.ratio 这个ratio参数的作用是判断文件大小 > hbase.hstore.compaction.min.size的StoreFile是否也是适合进行...6.hbase.hstore.compaction.ratio.offpeak 此参数与compaction ratio参数含义相同，是在原有文件选择策略基础上增加了一个非高峰期的ratio控制，默认值
Major Compaction称为大合并，会将一个列族下的所有HFile合并成一个大的HFile，同时删除过期数据、已删除数据（打了Delete标记的）、版本过大的数据等三类无效数据。 2....参数调优 1).hbase.hstore.compaction.min 默认值 3，一个列族下的HFile数量超过该值就会触发Minor Compaction，这个参数默认值小了，一般情况下建议调大到5...（旧版本中该参数是hbase.hstore.compactionthreshold） 2).hbase.hstore.compaction.max 默认值 10，一次Minor Compaction最多合并的...这个参数要比上一个参数hbase.hstore.compaction.min值大，通常是其2~3倍。...6).hbase.hstore.blockingStoreFiles 默认值 10，一个列族下HFile数量达到该值就会阻塞写入，等待Compaction完成。
// 而blockingMemStoreSize是HRegion上设定的MemStore的一个阈值，当MemStore的大小超过这个阈值时，将会阻塞数据更新操作 if (this.memstoreSize.get...设置的是256M，hbase.hregion.memstore.block.multiplier设置的是3，因此：blockingMemStoreSize=805306368。...三、如何避免RS OOM？...一种是加快flush速度： hbase.hstore.blockingWaitTime = 90000 ms hbase.hstore.flusher.count = 2 hbase.hstore.blockingStoreFiles...阻塞时间是hbase.hstore.blockingWaitTime，可以改小这个时间。
的 hfile 是否过多，如果过多就会暂停 flush 而进行 compact 操作并阻塞一定时间后才进行 flush 操作，阻塞文件参数由参数 hbase.hstore.blockingStoreFiles...，对应的参数为 hbase.hstore.defaultengine.compactionpolicy.class，在默认的 ExploringCompactionPolicy 挑选算法中判断是否需要合并的逻辑是当前...hfile 的个数是否大于参数 hbase.hstore.compaction.min 设定的值，该值默认为 3，当 compaction 请求到达 CompactSplitThread 后具体是放入...中，即放入 small pool , 而如果是人为触发的，比如 HBase shell，则还要看 HStore 中合并请求大小是否超过阈值，超过则放入 longCompactions，即 large...和 flush 不同的是，该线程优先检查文件数＃是否大于，一旦大于就会触发 compaction。
极易扩展：HBase的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储能力（HDFS）的扩展。...选择合适的GC策略 另一个重要方面是 HBase JVM 的 GC 优化，其实 HBase 读写路径上的很多设计都是围绕 GC 优化做的。...默认是3个；设置需要根据Region大小确定，通常可以简单的认为hbase.hstore.compaction.max.size = RegionSize / hbase.hstore.compactionThreshold...该机制基本工作原理为：客户端发起一个本地读，一旦一段时间之后还没有返回，客户端将会向其他DataNode发送相同数据的请求。哪一个请求先返回，另一个就会被丢弃。...优化原理：另一个需要考虑的问题是写入请求是否均衡，如果不均衡，一方面会导致系统并发度较低，另一方面也有可能造成部分节点负载很高，进而影响其他业务。
MemStore占用内存是否达到RegionServer Flush阈值 ?...MemStore未达阈值 检查Region Server是否存在太多HFile cat /var/log/hbase/hbase-cmf-hbase-REGIONSERVER-dn3.changan.com.cn.log.out...出现错误日志，基本确定是因为该表的HFile过多导致异常 确定集群的hbase.hstore.blockingStoreFiles阈值，检查异常Region的StoreFile数量 hbase.hstore.blockingStoreFiles...查了一下prefixtree是Hbase在0.96版本中引入的新的BlockEncoding算法，检索Hbase issue后发现了prefixtree会造成compaction阻塞，和bug报告中的情况一毛一样...故障处理方案 确定环境上使用到PREFIX_TREE编码的表，建立去除PREFIX_TREE属性的备表，进行数据迁移 需要新增的Hbase监控项 监控Hbase的StoreFile数量，发现存在数量异常
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
