xingoo, 一个梦想做发明家的程序员-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

xingoo, 一个梦想做发明家的程序员

专栏成员

805

文章

937600

阅读量

80

订阅数

HBase官方文档之 Region的相关知识

hbase 存储大数据

一般来说对于每个Region Server，官方推荐最好是控制Region的数量在20-200个、大小在5-20Gb左右。

2018-07-31

8100

spark踩坑——dataframe写入hbase连接异常

最近测试环境基于shc[https://github.com/hortonworks-spark/shc]的hbase-connector总是异常连接不到zookeeper，看下报错日志： 18/06/20 10:45:02 INFO RecoverableZooKeeper: Process identifier=hconnection-0x5175ab05 connecting to ZooKeeper ensemble=localhost:2181 18/06/20 10:45:02 INFO Rec

2018-06-21

2.3K0

Spark DataFrame写入HBase的常用方式

Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可... 代码在spark 2.2.0版本亲测 1. 基于HBase API批量写入第一种是最简单的使用方式了，就是基于RDD的分区

2018-03-28

4.2K0

Hbase多版本的读写（Shell&Java API版）

hbase shell java

Hbase是基于HDFS的NOsql数据库，它很多地方跟数据库差不多，也有很多不同的地方。这里就不一一列举了,不过Hbase有个版本控制的特性，这个特性在很多场景下都会发挥很大的作用。本篇就介绍下基于Shell和Java API的Hbase多版本的读写。为了更好的理解多版本，我们可以把普通的数据存储理解成二维空间，提供了rowkey，列族，列几个存储的维度。那么版本则相当于二维空间升华到了三维空间，多了时间维度的概念。如果按照默认的操作，当前的时间戳就是版本号，每个数据都可以保留多个版本的数据。你可

2018-01-17

2.7K0

Hbase常用Shell命令

status 查看系统状态 hbase(main):010:0> status 1 active master, 0 backup masters, 4 servers, 0 dead, 6.5000 average load version 查看版本号 hbase(main):011:0> version 1.2.0-cdh5.7.2, rUnknown, Fri Jul 22 12:20:40 PDT 2016 table_help 查看提示信息 hbase(main):012:0> table_hel

2018-01-17

1.4K0

推荐系统那点事 —— 什么是用户画像？

nosql 云数据库 Redis hbase

用户画像在大数据分析中是一种很有用的系统，它可以各种不同的系统中，起到很关键的作用。比如搜索引擎、推荐系统、内容系统等等，可以帮助应用实现千人千面、个性化、精准等的效果。下面将从几个方面来说一下

2018-01-17

2.2K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态