腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
岑玉海
专栏成员
举报
105
文章
138757
阅读量
56
订阅数
订阅专栏
申请加入专栏
全部文章(105)
hbase(26)
spark(17)
其他(14)
hadoop(14)
数据库(12)
hive(8)
存储(7)
apache(6)
区块链(4)
java(4)
云数据库 SQL Server(4)
api(4)
mapreduce(4)
分布式(4)
缓存(4)
zookeeper(4)
sql(3)
人工智能(2)
yarn(2)
编程算法(2)
shell(2)
sql server(2)
jdbc(2)
机器学习(1)
javascript(1)
c#(1)
bash(1)
scala(1)
html(1)
oracle(1)
postgresql(1)
mvc(1)
容器镜像服务(1)
开源(1)
ssh(1)
silverlight(1)
安全(1)
数据处理(1)
https(1)
系统架构(1)
nat(1)
搜索文章
搜索
搜索
关闭
F3D模式规则详解
其他
第一队 20% to 奖金池, 56%分给所有人, 30% 持有p3d的人 第二队 35% to 奖金池, 43%分给所有人, 8% 持有p3d的人 第三队 20% to 奖金池, 30%分给所有人, 6% 持有p3d的人 第四队 35% to 奖金池, 43%分给所有人, 0% 持有p3d的人
岑玉海
2018-09-14
1.1K
0
RChain的跨分片交易算法
其他
跨分片交易是一个难题,但是遗憾的是业界已经有一个项目RChain解决了这个问题。 分片方式有很多种,最难的是状态分片,什么是状态分片呢?把以太坊比作银行的话,状态指的是银行账户的当前余额。那状态分片就是,按照账户的不同区分开来,就像6222开头的是工商银行,6214开头的招商银行的账户。 在以太坊的第一期的分片计划当中是没有跨分片交易的,交易只能存在于同一个分片的账户之间,也就是不能跨行转账。 那如何实现跨行转账呢? 1、架构 分区是一个树形结构 依赖关系是子分片依赖父分片 子分片的validators可以
岑玉海
2018-07-05
982
0
RavenDb学习(八)高级特性上半部分
其他
1、事务支持 别的关系型数据库和RavenDb一起使用 using (var transaction = new TransactionScope()) { BlogPost entity = session.Load<BlogPost>("blogs/1"); entity.Title = "Some new title"; session.SaveChanges(); // will create HTTP request session.Delete(en
岑玉海
2018-03-01
693
0
RavenDb学习(五)结果转换
其他
1)Result Transformers public class Order { public DateTime OrderedAt { get; set; } public Status Status { get; set; } public string CustomerId { get; set; } public IList<OrderLine> Lines { get; set; } } //单独使用 public class OrderStat
岑玉海
2018-03-01
587
0
hbase源码系列(十三)缓存机制MemStore与Block Cache
其他
这一章讲hbase的缓存机制,这里面涉及的内容也是比较多,呵呵,我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存。 之前在讲put的时候,put是被添加到Store里面,这个Store是个接口,实现是在HStore里面,MemStore其实是它底下的小子。 那它和Region Server、Region是什么关系? Region Server下面有若干个Region,每个Region下面有若干的列族,每个列族对应着一个HStore。 HStore里面有三个很重要的类,在这章的内容都会提到。 p
岑玉海
2018-03-01
1.4K
0
hbase源码系列(九)StoreFile存储格式
其他
从这一章开始要讲Region Server这块的了,但是在讲Region Server这块之前得讲一下StoreFile,否则后面的不好讲下去,这块是基础,Region Sever上面的操作,大部分都
岑玉海
2018-03-01
1.5K
0
hbase源码系列(八)从Snapshot恢复表
其他
在看这一章之前,建议大家先去看一下snapshot的使用。这一章是上一章snapshot的续集,上一章了讲了怎么做snapshot的原理,这一章就怎么从snapshot恢复表。 restoreSnapshot方法位于HMaster当中,这个方法没几行代码,调用了SnapshotManager的restoreSnapshot方法。 // 检查meta表当中是否存在该表 if (MetaReader.tableExists(master.getCatalogTracker(), tableNam
岑玉海
2018-03-01
1.2K
0
hbase源码系列(一)Balancer 负载均衡
其他
看源码很久了,终于开始动手写博客了,为什么是先写负载均衡呢,因为一个室友入职新公司了,然后他们遇到这方面的问题,某些机器的硬盘使用明显比别的机器要多,每次用hadoop做完负载均衡,很快又变回来了。 首先我们先看HMaster当中怎么初始化Balancer的,把集群的状态穿进去,设置master,然后执行初始化。 //initialize load balancer this.balancer.setClusterStatus(getClusterStatus()); this.balancer.s
岑玉海
2018-03-01
1.5K
0
Hbase 学习(七) rowkey设计
其他
一直以来对rowkey的设计都比较迷茫,《hbase权威指南》倒是给出了个还算靠谱的例子。 下面这个例子有点儿像帖子表结构,它的rowkey设计是这样的,可以简单的理解为,什么人在什么时间发了什么信息,信息包括什么附件,它是用户为主线的一个设计。 <userId>-<date>-<messageId>-<attachmentId> 如果我们想查某个用户发的信息,我们可以设置scan的start rowkey 为该userId,end rowkey为userId+1即可。 当我们要查某个用户某天发了
岑玉海
2018-03-01
835
0
hadoop 1.1.2和 hive 0.10 和hbase 0.94.9整合
其他
今天弄了一下hive0.10和hbase0.94.9整合,需要设置的并不多,但是也遇到了一些问题。 1.复制jar包 拷贝hbase-0.94.9.jar,zookeeper-3.4.5.jar,protobuf-java-2.4.0a.jar到hive/lib下,删掉lib下面旧版的jar包。 拷贝hbase-0.94.9.jar到所有hadoop节点的lib文件夹下面,拷贝hbase/confi的hbase-site.xml文件拷贝到所有的hadoop节点conf文件夹下。 2.修改
岑玉海
2018-02-28
770
0
MD5鉴定文件是否相同
其他
由于诸多安全因素,需要对网上下载的一些文件进行完整性校验。比如,由于工作需要我下载了一个EMOS_1.5_i386.iso镜像文件(extmail邮件系统),需要对其进行MD5校验。为此,用C# 2005写了一个获取文件MD5码的简单程序。 用MD5进行文件校验,步骤如下: 1) 从文件发布单位那获取原始MD5码; 2) 用程序获取该文件的MD5码; 3) 对比1)和2)的MD5码是否一致; 从上可以看出,根据文件通过程序计算其MD5码是关键,下表所示为C#获取文件MD5码
岑玉海
2018-02-28
1.8K
0
Spark源码系列(八)Spark Streaming实例分析
其他
这一章要讲Spark Streaming,讲之前首先回顾下它的用法,具体用法请参照《Spark Streaming编程指南》。 Example代码分析 val ssc = new StreamingContext(sparkConf, Seconds(1)); // 获得一个DStream负责连接 监听端口:地址 val lines = ssc.socketTextStream(serverIP, serverPort); // 对每一行数据执行Split操作 val words = lines.flatM
岑玉海
2018-02-28
798
0
部署zookeeper集群
其他
1.把zookeeper.tar.gz解压之后,移动到/usr目录下 2.首先要给zookeeper之间的每个节点的ssh设置无密码登陆 3.在zookeeper目录下编辑zoo.cfg,复制zoo_sample.cfg进行修改 最终配置内容如下: tickTime=2000 initLimit=5 syncLimit=2 dataDir=/usr/zookeeper/data dataLogDir=/usr/zookeeper/logs clientPort=2181 server.1=hadoop.M
岑玉海
2018-02-28
805
0
利用WCF改进文件流传输的三种方式
其他
WCF在跨域传输使用了两种模型的方法调用:一种是同步模型,这种模型显然对那些需要大量操作时间的方法调用(如从数据库中获取大量数据时)是一种痛苦的选择。另一种是异步模型的方法调用,这种模型是一种非阻塞方法,其方法调用期间并不等到方法调用结束获得结果才返回,而是方法调用一经开始就马上返回,程序可以继续向前执行,被调用方法和主程序同时执行,在调用方法结束才返回结果。显然这种模型给了我们很好的编程和使用体验。 基于WCF在普通的编码是以文本编码方式在信道之间传输信息的,这种编码会把所有的二进制信息以字节数组的形式存
岑玉海
2018-02-28
1.3K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档