首页
学习
活动
专区
工具
TVP
发布

岑玉海

专栏作者
105
文章
132623
阅读量
56
订阅数
RavenDb学习(十)附件,存储大对象
1、读取 Raven.Abstractions.Data.Attachment attachment = documentStore.DatabaseCommands.GetAttachment("videos/1"); 2、存储、更新 Stream data = new MemoryStream(new byte[] { 1, 2, 3 }); // don't forget to load the data from a file or something! documentStore.Databas
岑玉海
2018-03-01
6810
hbase 学习(十五)缓存机制以及可以利用SSD作为存储的BucketCache
  下面介绍Hbase的缓存机制:   a.HBase在读取时,会以Block为单位进行cache,用来提升读的性能   b.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小128K,索引数据,用来加快Rowkey所在DataBlock的定位)   c.对于一次随机读,Block的访问顺序为BloomBlock、IndexBlock、DataBlock,如果Region下面的Stor
岑玉海
2018-03-01
2.1K0
hbase 学习(十六)系统架构图
  HBase 系统架构图   组成部件说明   Client:   使用HBase RPC机制与HMaster和HRegionServer进行通信   Client与HMaster进行通
岑玉海
2018-02-28
1.4K0
nfs挂载hdfs,实现云存储
  本来不知道nfs是啥,因为群里的Harry童鞋有个问题,如何把本地目录挂载到hdfs上,搞什么云存储,说那么巧就是那么巧,HDP支持nfs,然后我就照着文档的说明去做,最后弄出来了。   1.修改机器上的hdfs-default.xml    vi /share/lib/hadoop/conf/hdfs-default.xml   如果没有hdfs-default就找hdfs-site.xml 设置为如下内容,hdp的默认值是0 <property>   <name>dfs.access.time.pr
岑玉海
2018-02-28
3.2K0
Hive Tunning(二)优化存储
接着上一章我们讲的hive的连接策略,现在我们讲一下hive的数据存储。 下面是hive支持的数据存储格式,有我们常见的文本,JSON,XML,这里我们主要讲一下ORCFile。 Built-in Formats: – ORCFile – RCFile – Avro – Delimited Text – Regular Expression – S3 Logfile – Typed Bytes • 3
岑玉海
2018-02-28
1.2K0
Spark硬件配置推荐
1、存储系统   如果可以的话,把Spark的hadoop的节点安装在一起,最容易的方式是用standalone的模式安装,用mapred.child.java.opts设置每个任务的内存,用mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum来设置map和reduce任务的最大数来分隔来这两个集群的可利用资源,也可以考虑用YARN模式。   如果不行,就在一个局域网里面。但是对于Hbase这样的低延迟的系统
岑玉海
2018-02-28
1.6K0
Spark源码系列(六)Shuffle的过程解析
Spark大会上,所有的演讲嘉宾都认为shuffle是最影响性能的地方,但是又无可奈何。之前去百度面试hadoop的时候,也被问到了这个问题,直接回答了不知道。 这篇文章主要是沿着下面几个问题来开展: 1、shuffle过程的划分? 2、shuffle的中间结果如何存储? 3、shuffle的数据如何拉取过来? Shuffle过程的划分 Spark的操作模型是基于RDD的,当调用RDD的reduceByKey、groupByKey等类似的操作的时候,就需要有shuffle了。再拿出reduceByKey这个
岑玉海
2018-02-28
1.4K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档