腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

文渊之博

专栏作者

182

文章

305625

阅读量

38

订阅数

HBase常用的Filter总结

hbase TDSQL MySQL 版 node.js unix

简介：根据技术调研的过程可以明显的体会到hbase的存储方式和数据库的存储有着明显的区别，查询的方式也有着很大不同，HBase主要是通过这种filter来对数据进行筛选。同时对于数据的体量较大（10亿级别以上的数据数据量），检索和修改的场景较多时是比较适合使用hbase。 HBase过滤器可以根据分为：列簇与列类型过滤器，行键过滤器，其他过滤器 HBase Filter 概览查询hbase支持的filter 列表

2022-07-29

1.1K0

kafka 数据清除机制

在Kafka中，存在数据过期的机制，称为data expire。如何处理过期数据是根据指定的policy（策略）决定的，而处理过期数据的行为，即为log cleanup。

2022-05-06

1.9K0

ck中如何查询同比环比

在一些提供了开窗函数的数据库中(如Oracle、Hive)，可以利用lag()、lead()函数配合over()，非常方便的实现同比和环比的查询。

2022-05-06

6470

ES 最佳实践配置

node.js Elasticsearch Service es nest 搜索引擎

Elasticsearch 是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。作为一个开箱即用的产品，在生产环境上线之后，我们其实不一定能确保其的性能和稳定性。如何根据实际情况提高服务的性能，其实有很多技巧。这章我们分享从实战经验中总结出来的 elasticsearch 性能优化，主要从硬件配置优化、索引优化设置、查询方面优化、数据结构优化、集群架构优化等方面讲解。

2020-07-14

4.5K0

phoenix 索引实践

专用宿主机 node.js hbase html5 java

开启索引支持 HBase --> 配置 --> 高级 --> 搜索 hbase-site.xml。在服务端添加下面配置：

2020-06-19

1.2K0

yarn-site.xml 配置介绍

yarn node.js jvm java

yarn-site.xml 配置介绍 yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb 说明：单个容器可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值，从这个角度看，最小值有点想操作系统中的页。最小值还有另外一种用途，计算一个节点的最大container数目注：这两个值一经设定不能动态改变(此处所说的动态改变是指应用运行时)。默认值：1024/8192 yarn.scheduler.minimum-allocation-vcores yarn.scheduler.maximum-allocation-vcores 参数解释：单个可申请的最小/最大虚拟CPU个数。比如设置为1和4，则运行MapRedce作业时，每个Task最少可申请1个虚拟CPU，最多可申请4个虚拟CPU。默认值：1/32 yarn.nodemanager.resource.memory-mb yarn.nodemanager.vmem-pmem-ratio 说明：每个节点可用的最大内存，RM中的两个值不应该超过此值。此数值可以用于计算container最大数目，即：用此值除以RM中的最小容器内存。虚拟内存率，是占task所用内存的百分比，默认值为2.1倍;注意：第一个参数是不可修改的，一旦设置，整个运行过程中不可动态修改，且该值的默认大小是8G，即使计算机内存不足8G也会按着8G内存来使用。默认值：8G /2.1 yarn.nodemanager.resource.cpu-vcores 参数解释：NodeManager总的可用虚拟CPU个数。默认值：8 AM内存配置相关参数，此处以MapReduce为例进行说明（这两个值是AM特性，应在mapred-site.xml中配置），如下： mapreduce.map.memory.mb mapreduce.reduce.memory.mb 说明：这两个参数指定用于MapReduce的两个任务（Map and Reduce task）的内存大小，其值应该在RM中的最大最小container之间。如果没有配置则通过如下简单公式获得： max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers)) 一般的reduce应该是map的2倍。注：这两个值可以在应用启动时通过参数改变； AM中其它与内存相关的参数，还有JVM相关的参数，这些参数可以通过，如下选项配置： mapreduce.map.java.opts mapreduce.reduce.java.opts 说明：这两个参主要是为需要运行JVM程序（java、scala等）准备的，通过这两个设置可以向JVM中传递参数的，与内存有关的是，-Xmx，-Xms等选项。此数值大小，应该在AM中的map.mb和reduce.mb之间。我们对上面的内容进行下总结，当配置Yarn内存的时候主要是配置如下三个方面：每个Map和Reduce可用物理内存限制；对于每个任务的JVM对大小的限制；虚拟内存的限制；下面通过一个具体错误实例，进行内存相关说明，错误如下： Container[pid=41884,containerID=container_1405950053048_0016_01_000284] is running beyond virtual memory limits. Current usage: 314.6 MB of 2.9 GB physical memory used; 8.7 GB of 6.2 GB virtual memory used. Killing container. 配置如下：

2020-06-19

1.6K0

mysql 层级结构查询

node.js 云数据库 SQL Server sql 数据库

描述：最近遇到了一个问题，在mysql中如何完成节点下的所有节点或节点上的所有父节点的查询？在Oracle中我们知道有一个Hierarchical Queries可以通过CONNECT BY来查询，但是，在MySQL中还没有对应的函数!!! 下面给出一个function来完成的方法下面是sql脚本，想要运行的直接赋值粘贴进数据库即可。

2019-05-25

3.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态