IT技术精选文摘-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT技术精选文摘

专栏成员

542

文章

799625

阅读量

136

订阅数

大数据查询——HBase读写设计与实践

大数据 hbase hadoop 分布式

背景介绍本项目主要解决 check 和 opinion2 张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。原实现基于 Oracle 提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说，放在业务链条上游比较重。本项目将其置于下游数据处理 Hadoop 分布式平台来实现此需求。下面列一些具体的需求指标：数据量：目前 check 表的累计数据量为 5000w+ 行，11GB；opinion 表的

2018-01-30

1.3K0

HBase Region自动切分细节

数据库 hbase

Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的，这里面涉及很多知识点，比如Region切分的触发条件是什么、Region切分的切分点在哪里、如何切分才能最大的保证Region的可用性、如何做好切分过程中的异常处理、切分过程中要不要将数据移动等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBa

2018-01-30

2.1K0

通过案例来学习TCP的MSS、MTU

容器镜像服务 hbase

问题的描述最近要通过Docker的方式把产品部署到客户机房，过程中需要部署一个hbase集群，hbase总是部署失败（在我们自己的环境没有问题）发现hbase卡在同步文件，人工登上hbase 所在的容器中看到在hbase节点之间scp同步一些文件的时候，同样总是失败（稳定重现）手工尝试scp那些文件，发现总是在传送某个文件的时候scp卡死了尝试单独scp这个文件依然卡死在这个容器上scp其它文件没问题换一个容器scp这个文件没问题分析过程实在很难理解为什么单单这个文件在这个容器上scp就卡

2018-01-30

1.6K0

Hbase 技术细节笔记（上）

hbase 大数据数据库

前言最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hb

2018-01-30

6450

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态