腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
数据之美
专栏成员
举报
138
文章
411293
阅读量
63
订阅数
订阅专栏
申请加入专栏
全部文章(138)
java(18)
hadoop(18)
python(16)
shell(16)
hive(16)
其他(12)
linux(12)
云数据库 SQL Server(10)
windows(10)
mapreduce(9)
sql(6)
spark(5)
ssh(5)
大数据(5)
http(4)
编程算法(4)
分布式(4)
hbase(4)
bash(3)
数据库(3)
eclipse(3)
nginx(3)
https(3)
javascript(2)
html(2)
django(2)
网络安全(2)
tcp/ip(2)
数据分析(2)
fiddler(2)
数据挖掘(1)
iphone(1)
lua(1)
.net(1)
android(1)
oracle(1)
人工智能(1)
yarn(1)
存储(1)
开源(1)
自动化(1)
缓存(1)
运维(1)
爬虫(1)
html5(1)
jvm(1)
正则表达式(1)
hashmap(1)
zookeeper(1)
grep(1)
自动化测试(1)
flash(1)
markdown(1)
rpc(1)
安全(1)
数据处理(1)
数据结构(1)
聚类算法(1)
shift(1)
word(1)
表格(1)
分页(1)
搜索文章
搜索
搜索
关闭
HBase 写优化之 BulkLoad 实现数据快速入库
hbase
大数据
1、为何要 BulkLoad 导入?传统的 HTableOutputFormat 写 HBase 有什么问题? 我们先看下 HBase 的写流程: 通常 MapReduce 在写HBase时使
用户1177713
2018-02-24
3K
0
一例 jvm file.encoding 属性引起的 MapReduce/HBase 乱码问题
jvm
mapreduce
hbase
hadoop
1、问题: 最近在往 HBase 写中文的时候,发现 hbase 查出来的数据会有部分中文乱码了,而部分中文又是正常的,按理来说,一般的乱码问题要么全乱,要么不乱。考虑到出现中文的地方都是来源于 hdfs 上的一个配置文件,而这个配置文件可以确定是 utf-8 编码的,那排除了原始文件导致的乱码,想想 MR 代码里也没有转码的逻辑,也排除了代码的问题,那就只有一种可能:Hadoop 集群的系统环境是异构的,这里面可能涉及到 linux 、java 的环境变量、配置的问题。 2、排查: (1)打印了整个集群的
用户1177713
2018-02-24
1.5K
0
Hadoop Mapper 阶段将数据直接从 HDFS 导入 Hbase
hadoop
hbase
数据源格式如下: 20130512 1 -1 -1 13802 1 2013-05-12 07:26:22 20130512 1 -1 -1 13802 1 2013-05-12 11:18:24 我们期待的结果是数据直接从 hdfs 读取后 写入 hbase,没有 reduce 阶段, 代码如下: package WebsiteAnalysis; import java.io.IOException; import org.apache.hadoop.conf.Configuratio
用户1177713
2018-02-24
919
0
Zookeeper 原理与实践
zookeeper
hadoop
hive
hbase
1、Zookeeper 的由来 在Hadoop生态系统中,许多项目的Logo都采用了动物,比如 Hadoop 和 Hive 采用了大象的形象,HBase 采用了海豚的形象,而从字面上来看 ZooKeeper 表示动物园管理员,所以大家可以理解为 ZooKeeper就是对这些动物(项目组件)进行一些管理工作的。 对于单机环境多线程的竞态资源协调方法,我们一般通过线程锁来协调对共享数据的访问以保证状态的一致性。 但是分布式环境如何进行协调呢?于是,Google创造了Chubby,而ZooKeeper则是对于Ch
用户1177713
2018-02-24
2.5K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档