腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据饕餮

专栏作者

217

文章

199282

阅读量

60

订阅数

HBase与Zookeeper数据结构查询

bash 指令 hbase

　最近一年了吧，总是忙于特定项目的业务分析和顶层设计，很少花时间和精力放到具体的技术细节，感觉除了架构理念和分析能力的提升，在具体技术层次却并没有多大的进步。因为一些原因，总被人问及一些技术细节，很多细节都模糊了，花点时间，温习一下吧。技术部分将作为下一个阶段的工作重点。　

2019-01-14

9570

大数据应用之Windows平台Hbase客户端Eclipse开发环境搭建

hbase eclipse windows zookeeper ide

　　大数据的场景下，NoSql型数据库的优势不言而喻，但是涉及NoSQL数据库的实际动手开发的东西多是Linux平台，大多语焉不详，至于Windows平台介绍的东西就更少了，而且大多无法运行。本文就Windows平台基于Eclipse搭建Hbase环境客户端开发环境做一个介绍。另外基于Thrift实现的Windows版本Hbase客户端库也做了封装，有需要的可以留言索取。

2019-01-14

6650

招募贴：Hadoop专业解决方案招募义务翻译人员

hadoop mapreduce hbase 大数据存储

招募贴：Hadoop专业解决方案招募义务翻译人员，英文原著名称：《Wrox.Professional.Hadoop.Solutions》。愿意参与到此项工作中来的请加群：313702010

2019-01-14

4620

基于Hadoop的云盘系统客户端技术难点之三小文件存储优化

hadoop 打包存储 hbase

首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难，这取决于HDFS的实现机制和框架结构，每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中，通常占用150个字节。如果有1千万个文件，就需要消耗大约3G的内存空间。如果是10亿个文件呢，简直不可想象。这里需要特别说明的是，每一个小于Block大小的文件，存储是实际占用的存储空间仍然是实际的文件大小，而不是整个block大小。

2019-01-14

9720

胖子哥的大数据之路（二）- 大数据结构化数据存储应用模式

存储 hbase 大数据数据库 hive

胖子哥是我网名，叫了很多年的网名，网名的来历与自己的沧桑和身材有关，不知是IT改变了我，显得苍老，还是我本就苍老，顺应了IT行业的需要。25岁那面，曾被跟我一样高的漂亮美眉叫叔叔，从此再也不敢打小姑娘的注意，走上了重口味热爱阿姨级别女性的不归路；曾被三十五、六岁的同事阿姨说苍老：看你也就三十五六吧，那年我25；周一的时候，还有一个60后的同事问及我的年龄，他很含蓄的，明显带着保留的口吻问我：你是75年的吧？因为他一直认为和我一般大。然后...然后泪奔。关于体型方面也是个悲剧、三围相等，体重大于身高的角色，算是已经胖出了一定层次，每次听到别人叫我胖子，就感觉小小的自尊多少受到了伤害，然后就给自己在后面加了一个哥子，算是给自己遮半张脸吧。闲话就聊到这里，还是继续胖子哥的大数据之路吧，这次要谈的还是数据仓库。

2019-01-14

6530

胖子哥的大数据之路（四）- VisualHBase功能需求框架

hbase 大数据数据库

　　大数据在结构化数据存储方面的应用需求越来越明确，但是大数据环境下辅助开发工具的不完善，给数据库管理人员和开发人员带来的不变难以言表，基于此创建了开源项目VisualHBase，同时创建了VisualHBase的开发群：263505724，希望能够借助社区的力量，解决大数据企业实施的瓶颈。

2019-01-14

3660

大数据工具篇之Hive与HBase整合完整教程

hbase xml hive java hadoop

　　最近的一次培训，用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase，关于这部分基于HBase Java API的写入方式，之前曾经有过技术文章共享，本文就不再说明。本文基于Hive执行HDFS批量向HBase导入数据，讲解Hive与HBase的整合问题。这方面的文章已经很多，但是由于版本差异，可操作性不大，本文采用的版本均基于以下版本说明中的版本。

2019-01-14

6370

Hbase API开发实例（Java版）

编程算法 hbase TDSQL MySQL 版文件存储

import java.io.IOException; import java.io.ByteArrayOutputStream; import java.io.DataOutputStream; import java.io.ByteArrayInputStream; import java.io.DataInputStream; import java.util.Map; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.Writable; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.client.HBaseAdmin; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.Delete; import org.apache.hadoop.hbase.util.*; import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.util.Writables; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.MasterNotRunningException; //import org.apache.hadoop.hbase.ZooKeeperConnectionException; public class HBaseHandler { private static HBaseConfiguration conf = null; /** * 初始化配置 */ static { //conf = HBaseConfiguration.create(); conf = new HBaseConfiguration(); conf.addResource("hbase-site.xml"); } /** * @param args * @throws IOException */ public static void main(String[] args) throws IOException { // TODO Auto-generated method stub System.out.println("Helloworld"); String[] cfs; cfs = new String[1]; cfs[0] = "Hello"; createTable("Test",cfs); } /** * 创建表操作 * @throws IOException */ public static void createTable(String tablename, String[] cfs) throws IOException { HBaseAdmin admin = new HBaseAdmin(conf); if (admin.tableExists(tablename)) {

2019-01-14

1.1K0

大数据应用之双色球算奖平台总体设计历史数据存储篇

文件存储 hbase 数据库大数据分布式

　　历史期次的双色球选注数据的存储，采用什么样的格式比较好呢？这需要重点从三个方面考虑，一、文件访问方便吗？二、文件服务器空间够用吗？三、软硬件故障环境下，如何保障数据的可用性。基于这几个方面的考虑，到底是采用文件存储还是采用数据库存储呢？本文，从传统和前沿技术两个角度给出了两种相应的解决方案。

2019-01-14

8690

大数据应用之HBase数据插入性能优化实测教程

hbase TDSQL MySQL 版 jvm 存储

大家在使用HBase的过程中，总是面临性能优化的问题，本文从HBase客户端参数设置的角度，研究HBase客户端数据批量插入性能优化的问题。事实胜于雄辩，数据比理论更有说服力，基于此，作者设计了这么一个HBase数据插入性能优化实测实验，希望大家用自己的服务器跑出的结果，给自己一个值得信服的结论。

2019-01-14

8150

大数据应用之Windows平台Hbase客户端Eclipse环境搭建-Java版

zookeeper hbase windows eclipse ide

　　大数据的场景下，NoSql型数据库的优势不言而喻，但是涉及NoSQL数据库的实际动手开发的东西多是Linux平台，大多语焉不详，至于Windows平台介绍的东西就更少了，而且大多无法运行。本文就Windows平台基于Eclipse搭建Hbase环境客户端开发环境做一个介绍。另外基于Thrift实现的Windows版本Hbase客户端库也做了封装，有需要的可以留言索取。

2019-01-14

8040

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态