腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

一名合格java开发的自我修养

专栏作者

73

文章

71616

阅读量

19

订阅数

提取jedis源码的一致性hash代码作为通用工具类

一致性Hash算法是来解决热点问题，如果虚拟节点设置过小热点问题仍旧存在。关于一致性Hash算法的原理我就不说了，网上有很多人提供自己编写的一致性Hash算法的代码示例，我在跑网上的代码示例发现还是有热点问题。为此我翻阅了Jedis的ShardedJedis类的源码把它的一致性Hash算法提取出来，作为自己的一个工具类，以后自己工程开发中用起来也放心些，毕竟jedis的代码经受了大家的验证。

intsmaze-刘洋

2018-10-08

7460

JMX,Jstatd做好JVM应用上线的最后一层保障

我理解的监控分两种，一种是运维的监控-监控整个集群的各项资源的使用情况以及各个服务的存活情况，另一种是开发的监控-监控代码问题导致的线程死锁，OOM等，以及业务消息的历史可回溯。我是一名开放，这里主要讲讲我的心得，开发中的监控。如何减少开发人员不必要的加班。

intsmaze-刘洋

2018-10-08

1.5K0

javaOOM该分析dump文件而不是看异常log日志原因

应用程序出现OOM异常，你是否仍然通过看日志的方式去排查问题（该方式定位解决问题是大概率的巧合而已）？正确的排查方案是进行dump文件分析，你知道为什么吗？

intsmaze-刘洋

2018-10-08

3K0

3.sparkSQL整合Hive

　　spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽略了Hive的版本。Spark SQL内部将Hive反编译至Hive 1.2.1版本，Spark SQL的内部操作(serdes, UDFs, UDAFs, etc)都调用Hive 1.2.1版本的class。

intsmaze-刘洋

2018-08-29

2.7K0

字符编码笔记：ASCII，Unicode和UTF-8

很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为"字节"。再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为"计算机"。开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。他们把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上00x10，终端就换行，遇上0x07，终端就向人们嘟嘟叫，例如遇上0x1b，打印机就打印反白的字，或者终端就用彩色显示字母。他们看到这样很好，于是就把这些0x20以下的字节状态称为"控制码"。他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。大家看到这样，都感觉很好，于是大家都把这个方案叫做 ANSI 的"ASCII"编码（American Standard Code for Information Interchange，美国信息互换标准代码）。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128到255这一页的字符集被称"扩展字符集"。从此之后，贪婪的人类再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧！等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉，规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。中国人民看到这样很不错，于是就把这种汉字方案叫做 "GB2312"。GB2312 是对 ASCII 的中文扩展。但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK 扩成了 GB18030。从此之后，中华民族的文化就可以在计算机时代中传承了。中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 "DBCS"（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣们都要每天念下面这个咒语数百遍： "一个汉字算两个英文字符！一个汉字算两个英文字符......" 因为当时各个国家都像中国这样搞出一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码，连大陆和台湾这样只相隔了150海里，使用着同一种语言的兄弟地区，也分别采用了不同的 DBCS 编码方案——当时的中国人想让电脑显示汉字，就必须装上一个"汉字系统"，专门用来处理汉字的显示、输入的问题，但是那个台湾的愚昧封建人士写的算命程序就必须加装另一套支持 BIG5 编码的什么"倚天汉字系统"才可以用，装错了字符系统，显示就会乱了套！这怎么办？而且世界民族之林中还有那些一时用不上电脑的穷苦人民，他们的文字又怎么办？真是计算机的巴比伦塔命

intsmaze-刘洋

2018-08-29

1.8K0

Storm的BaseBasicBolt源码解析ack机制

我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。在使用BaseRichBolt需要在emit数据的时候，显示指定该数据的源tuple要加上第二个参数anchor tuple，以保持tracker链路，即collector.emit(oldTuple, newTuple);并且需要在execute执行成功后调用OutputCollector.ack(tuple), 当失败处理时，执行OutputCollector.fail(tuple); 那么我们来看看BasicBolt的源码是不是这样的，不能因为看到别人的帖子说是这样的，我们就这样任务，以讹传讹，我们要To see is to believe。

intsmaze-刘洋

2018-08-29

8210

Storm的ack机制在项目应用中的坑

正在学习storm的大兄弟们，我又来传道授业解惑了，是不是觉得自己会用ack了。好吧，那就让我开始啪啪打你们脸吧。

intsmaze-刘洋

2018-08-29

1.3K0

kafkaspot在ack机制下如何保证内存不溢

storm框架中的kafkaspout类实现的是BaseRichSpout，它里面已经重写了fail和ack方法，所以我们的bolt必须实现ack机制，就可以保证消息的重新发送；如果不实现ack机制，那么kafkaspout就无法得到消息的处理响应，就会在超时以后再次发送消息，导致消息的重复发送。

intsmaze-刘洋

2018-08-29

6310

kafka-0.10.0官网翻译（一）入门指南

1.1 Introduction Kafka is a distributed streaming platform. What exactly does that mean? kafka是一个分布式

intsmaze-刘洋

2018-08-29

3550

由提交storm项目jar包引发对jar的原理的探索

序：在开发storm项目时，提交项目jar包当把依赖的第三方jar包都打进去提交storm集群启动时报了发现多个同名的文件错误由此开始了一段对jar包的深刻理解之路。

intsmaze-刘洋

2018-08-29

8350

storm0.9.5集群安装

nohup ./storm nimbus 1>/dev/null 2>&1 &

intsmaze-刘洋

2018-08-29

3250

Quartz任务调度器

这里加入的是quartz-1.8.6版本。Quart的官网：http://www.quartz-scheduler.org/；项目中的框架的spring是spring 3.0版本无法集成quartz 2.x及其后续版本；所以这里用quartz 1.8.6版本。

intsmaze-刘洋

2018-08-29

1.1K0

HTTP协议下保证密码不被获取更健壮方式

说到在http协议下用户登录如何保证密码安全这个问题：小白可能第一想法就是，用户在登录页面输入密码进行登录时，前台页面对用户输入的密码进行加密，然后把加密后的密码作为http请求参数通过网络发到服务器。这样做是无法保证用户的账户安全的，因为稍微懂一点编程知识的人就可以通过你发送的http请求知道了你的密码，小白又说了，我密码加密了，它拿到的也是加密后的密码，它不知道我的原始密码它是无法从登录页面登录的。

intsmaze-刘洋

2018-08-29

1.4K0

MapReduce中map并行度优化及源码分析

　　一个job的map阶段并行度由客户端在提交job时决定，而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理。

intsmaze-刘洋

2018-08-29

8350

Storm同步调用之DRPC模型探讨

摘要:Storm的编程模型是一个有向无环图，决定了storm的spout接收到外部系统的请求后，spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同步调用功能。

intsmaze-刘洋

2018-08-29

8750

（代码篇）从基础文件IO说起虚拟内存，内存文件映射，零拷贝

JAVA虚拟机内部便会调用OS底层的 read()系统调用完成操作，在调用 in.read()的时候就是从内核缓冲区直接返回数据了。

intsmaze-刘洋

2018-08-29

4350

storm从入门到放弃(三)，放弃使用 StreamId 特性

　　序:StreamId是storm中实现DAG有向无环图的重要一个特性,但是从实际生产环境来看，这个功能其实蛮影响生产环境的稳定性的，我们系统在迭代时会带来整体服务的不可用。

intsmaze-刘洋

2018-08-29

4720

mysql,SQL标准,多表查询中内连接，外连接，自然连接等详解之查询结果集的笛卡尔积的演化

a,系统首先执行from子句，这里from子句列出有两个表teacher表和course表，DBMS讲计算这两个表的笛卡尔积，列出这两个表中行的所以可能组合，形成一个中间表。中间表中的每条记录包含了两个表中的所有行。

intsmaze-刘洋

2018-08-29

2.5K0

python类与对象基本语法

对象是面向对象编程的核心，在使用对象的过程中，为了将具有共同特征和行为的一组对象抽象定义，提出了另外一个新的概念——类。

intsmaze-刘洋

2018-08-29

3350

JAVA的POI操作Excel

一个excel文件就是一个工作簿workbook，一个工作簿中可以创建多张工作表sheet，而一个工作表中包含多个单元格Cell，这些单元格都是由列（Column）行(Row)组成，列用大写英文字母表示，从A开始到Z共26列，然后再从AA到AZ又26列，再从BA到BZ再26列以此类推。行则使用数字表示，例如；A3 表示第三行第一列，E5表示第五行第五列。

intsmaze-刘洋

2018-08-29

1.2K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态