腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
岑玉海
专栏作者
举报
105
文章
132623
阅读量
56
订阅数
订阅专栏
申请加入专栏
全部文章
hbase
spark
其他
hadoop
数据库
hive
存储
apache
区块链
java
云数据库 SQL Server
api
mapreduce
分布式
缓存
zookeeper
sql
人工智能
yarn
编程算法
shell
sql server
jdbc
机器学习
javascript
c#
bash
scala
html
oracle
postgresql
mvc
容器镜像服务
开源
ssh
silverlight
安全
数据处理
https
系统架构
nat
搜索文章
搜索
搜索
关闭
RavenDb学习(十)附件,存储大对象
存储
数据库
1、读取 Raven.Abstractions.Data.Attachment attachment = documentStore.DatabaseCommands.GetAttachment("videos/1"); 2、存储、更新 Stream data = new MemoryStream(new byte[] { 1, 2, 3 }); // don't forget to load the data from a file or something! documentStore.Databas
岑玉海
2018-03-01
681
0
hbase 学习(十五)缓存机制以及可以利用SSD作为存储的BucketCache
hbase
缓存
存储
下面介绍Hbase的缓存机制: a.HBase在读取时,会以Block为单位进行cache,用来提升读的性能 b.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小128K,索引数据,用来加快Rowkey所在DataBlock的定位) c.对于一次随机读,Block的访问顺序为BloomBlock、IndexBlock、DataBlock,如果Region下面的Stor
岑玉海
2018-03-01
2.1K
0
hbase 学习(十六)系统架构图
hbase
系统架构
zookeeper
存储
HBase 系统架构图 组成部件说明 Client: 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通
岑玉海
2018-02-28
1.4K
0
nfs挂载hdfs,实现云存储
存储
hadoop
本来不知道nfs是啥,因为群里的Harry童鞋有个问题,如何把本地目录挂载到hdfs上,搞什么云存储,说那么巧就是那么巧,HDP支持nfs,然后我就照着文档的说明去做,最后弄出来了。 1.修改机器上的hdfs-default.xml vi /share/lib/hadoop/conf/hdfs-default.xml 如果没有hdfs-default就找hdfs-site.xml 设置为如下内容,hdp的默认值是0 <property> <name>dfs.access.time.pr
岑玉海
2018-02-28
3.2K
0
Hive Tunning(二)优化存储
hive
存储
接着上一章我们讲的hive的连接策略,现在我们讲一下hive的数据存储。 下面是hive支持的数据存储格式,有我们常见的文本,JSON,XML,这里我们主要讲一下ORCFile。 Built-in Formats: – ORCFile – RCFile – Avro – Delimited Text – Regular Expression – S3 Logfile – Typed Bytes • 3
岑玉海
2018-02-28
1.2K
0
Spark硬件配置推荐
spark
存储
1、存储系统 如果可以的话,把Spark的hadoop的节点安装在一起,最容易的方式是用standalone的模式安装,用mapred.child.java.opts设置每个任务的内存,用mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum来设置map和reduce任务的最大数来分隔来这两个集群的可利用资源,也可以考虑用YARN模式。 如果不行,就在一个局域网里面。但是对于Hbase这样的低延迟的系统
岑玉海
2018-02-28
1.6K
0
Spark源码系列(六)Shuffle的过程解析
spark
存储
Spark大会上,所有的演讲嘉宾都认为shuffle是最影响性能的地方,但是又无可奈何。之前去百度面试hadoop的时候,也被问到了这个问题,直接回答了不知道。 这篇文章主要是沿着下面几个问题来开展: 1、shuffle过程的划分? 2、shuffle的中间结果如何存储? 3、shuffle的数据如何拉取过来? Shuffle过程的划分 Spark的操作模型是基于RDD的,当调用RDD的reduceByKey、groupByKey等类似的操作的时候,就需要有shuffle了。再拿出reduceByKey这个
岑玉海
2018-02-28
1.4K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档