腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

个人分享

专栏作者

238

文章

255464

阅读量

42

订阅数

Spark常用函数（源码阅读六）

spark 数据处理 hbase xml

　　源码层面整理下我们常用的操作RDD数据处理与分析的函数，从而能更好的应用于工作中。

2018-09-06

8000

大数据生涯感悟

大数据 hadoop mapreduce spark hbase

　　不知不觉，毕业一年半了，从实习开始接触大数据技术。那时懵懂的我，不对，应该说懵逼的我在想，卧槽，这是啥这么牛逼，我都不会啊。。。啥都不会完蛋了。。即便现在也是这样认为= =

2018-09-06

7150

spark集成hbase与hive数据转换与代码练习

spark hbase hive java apache

　　帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。

2018-09-06

4630

HBase体系结构

hbase zookeeper 缓存

HBase的服务器体系结构遵从简单的主从服务器架构，它由HRegion服务器(HRegion Service)群和HBase Master服务器(HBase Master Server)构成。Hbase Master服务器负责管理所有的HRegion服务器，而Hbase中所有的服务器是通过Zookeeper来进行协调，并处理HBase服务器运行期间可能遇到的错误的。

2018-09-06

8560

MapReduce、Hbase接口API实践

mapreduce hbase api 云数据库 Redis

读取hdfs中文件并做处理，取出卡号，通过卡号连接hbase查询出对应客户号，写入redis,因为不用输出，所以不调用context.write方法，整个操作在一个map中便可完成

2018-09-06

3610

Hbase客户端API基础小结笔记(未完)

hbase TDSQL MySQL 版 rpc 存储 api

　　HBase的主要客户端接口是由org.apache.hadoop.hbase.client包中的HTable类提供的，通过这个类，用户可以完成向HBase存储和检索数据，以及删除无效数据之类的操作。

2018-09-06

8910

Hbase集群搭建及所有配置调优参数整理及API代码运行

hbase api hadoop zookeeper

　　最近为了方便开发，在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群，hadoop集群的搭建与zookeeper集群这里就不再详细说明，原来的笔记中记录过。这里将hbase配置参数进行相应整理，方便日后使用。

2018-09-06

1.1K0

Hbase伪分布式

hbase 分布式存储 xml hive

然后启动hbase即可，但我发现查询时报错啊。。报错信息被刷掉了- -大概错误是：

2018-09-06

6570

TDSQL MySQL 版 hbase 分布式 hadoop mapreduce

Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势，HBase本身就是十分强大的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力。总的来说，Hbase能够让你在大量的数据中查询记录，也可以从中获得综合分析报告。

2018-09-06

5360

Hbase的安装（hadoop-2.6.0,hbase1.0)

hbase TDSQL MySQL 版 bash bash 指令 hadoop

　　Hbase的安装相对很简单啊。。。只要你装了Hadoop 装Hbase就是分分钟的事如果要装hadoop集群的话 hadoop分类的集群安装好了，如果已经装好单机版~ 那就再配置如下就好~

2018-09-06

4720

JAVA使用HBASE常用方法

java hbase apache hadoop

package HBaseTest; /** * Created by root on 11/11/22. */ import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.had

2018-09-06

8310

hadoop-spark-hive-hbase配置相关说明

hadoop spark hive hbase zookeeper

或者 ./runRemoteCmd.sh '~/och200/zookeeper/bin/zkServer-initialize.sh --myid=1' zoo

2018-09-06

6310

Hbase与hive整合

编程算法 hive hbase TDSQL MySQL 版

//hive与hbase整合 create table lectrure.hbase_lecture10(sname string, score int) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' whth serdeproperties("hbase.columns.mapping" = ':key,cf1:score') tblproperties("hbase.table.name" = "hbase_lecture10");

2018-09-06

8030

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态