腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
岑玉海
专栏成员
举报
105
文章
138859
阅读量
56
订阅数
订阅专栏
申请加入专栏
全部文章(105)
hbase(26)
spark(17)
其他(14)
hadoop(14)
数据库(12)
hive(8)
存储(7)
apache(6)
区块链(4)
java(4)
云数据库 SQL Server(4)
api(4)
mapreduce(4)
分布式(4)
缓存(4)
zookeeper(4)
sql(3)
人工智能(2)
yarn(2)
编程算法(2)
shell(2)
sql server(2)
jdbc(2)
机器学习(1)
javascript(1)
c#(1)
bash(1)
scala(1)
html(1)
oracle(1)
postgresql(1)
mvc(1)
容器镜像服务(1)
开源(1)
ssh(1)
silverlight(1)
安全(1)
数据处理(1)
https(1)
系统架构(1)
nat(1)
搜索文章
搜索
搜索
关闭
Distribute Cached 使用
mapreduce
在Kettle中说到Pentaho的MapReduce要用到它,就查了一下关于它的资料,以下是从官方查到的内容,记录一下。 DistributedCache: 一些比较小的需要共享的文件或者jar包,我们先存到hdfs上,然后在MapReduce线程当中进行共享,直接用了。 // Setting up the cache for the application 1. Copy the requisite files to the FileSystem:
岑玉海
2018-03-01
722
0
hbase 学习(十二)非mapreduce生成Hfile,然后导入hbase当中
hbase
mapreduce
zookeeper
最近一个群友的boss让研究hbase,让hbase的入库速度达到5w+/s,这可愁死了,4台个人电脑组成的集群,多线程入库调了好久,速度也才1w左右,都没有达到理想的那种速度,然后就想到了这种方式,但是网上多是用mapreduce来实现入库,而现在的需求是实时入库,不生成文件了,所以就只能自己用代码实现了,但是网上查了很多资料都没有查到,最后在一个网友的指引下,看了源码,最后找到了生成Hfile的方式,实现了之后,发现单线程入库速度才达到1w4左右,和之前的多线程的全速差不多了,百思不得其解之时,调整
岑玉海
2018-03-01
1.3K
0
MapReduce 学习(一)
mapreduce
首先我们先来欣赏一下MapReduce的执行过程吧,如下图,自己看,不解释了。 Map 和 Reduce 的处理都是基于Key/Value来进行的,在Map中对文件的每一行进行处理,有两个输入
岑玉海
2018-02-28
558
0
hadoop的调试
mapreduce
折腾hadoop的调试很久了,一直都没折腾对,查过很多资料,但是都没试出来,最终在不断地尝试当中调试出来了,所以想把这个过程记录下来,和大家分享一下。 调试分为两部分,MapReduce的调试和源码的调试。 MapReduce的调试很简单,首先要部署好hadoop,这个我就不说了,自己去百度。部署好之后,下载Hadoop对应的eclipse插件,有了这个插件之后,变得异常简单。 这是我在网上下的hadoop1.1.2的eclipse插件的地址:http://download.c
岑玉海
2018-02-28
877
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档