问卡桑德拉亚马逊EC2，阅读性能实验

EN

我需要一些帮助来提高卡桑德拉的阅读能力。我关注的是，随着列族规模的增加，阅读性能会下降。我们有以下关于单节点卡桑德拉的统计数据。

操作系统： Linux - CentOS版本5.4 (最终)

卡桑德拉版本：ApacheCassandra-1.1.0

Java版本： "1.6.0_14“Java(TM) SE运行时环境(build 1.6.0_14-b08) Java HotSpot(TM) 64位服务器VM (build 14.0-b16，混合模式)

Cassandra配置： (cassandra.yaml)

• rpc_server_type: hsha
• disk_access_mode: mmap
• concurrent_reads: 64
• concurrent_writes: 32

平台： Amazon-ec2/Rightscale m1.Xlarge实例，其中包含4个带有raid0的临时磁盘。(15 GB总内存，4个虚拟核，2个ECU，总ECU = 8)

实验配置：我尝试过用GC做一些实验

Cassandra配置：

10 GB内存分配给Cassandra堆，3500 GB是堆新大小。

JVM Config：

JVM_OPTS="$JVM_OPTS -XX:+UseParNewGC“

JVM_OPTS="$JVM_OPTS -XX:+UseConcMarkSweepGC“

JVM_OPTS="$JVM_OPTS -XX:+CMSParallelRemarkEnabled“

JVM_OPTS="$JVM_OPTS -XX:SurvivorRatio=1000“

JVM_OPTS="$JVM_OPTS -XX:MaxTenuringThreshold=0“

JVM_OPTS="$JVM_OPTS -XX:CMSInitiatingOccupancyFraction=40“

JVM_OPTS="$JVM_OPTS -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCompressedOops“

​

来自社区2.0的OpsCenter结果统计：

​

每秒读取请求208至240

每秒18至28次写入请求

操作系统负载24.5至25.85

写入请求延迟127至160微秒

读取请求延迟82202至94612微秒

操作系统每秒发送网络流量44646 KB

OS接收网络流量4338 KB /秒

OS磁盘队列大小为13至15次请求

读作待决请求25至32

OS磁盘延迟48到56 ms

OS磁盘每秒读取4.6Mb

磁盘IOPs每秒读取420

IOWait 80 % CPU avg

空闲13 % CPU avg

Rowcache被禁用了。

​

列族

我仅阅读的专栏家族之一是通过CLI创建的。

​

create column family XColFam 
with column_type='Standard'  
and  comparator = CompositeType(BytesType,IntegerType)';"

列族SSTable大小=7.10GB，SSTable计数=2

XColFam列家族有59499904个no。在估计的行键中(大多数是通过mx4jtools估计的不同长度的utf8文本)，列的性质类似瘦，值为0 bytes.....now。

大多数行应该有很小的列数，可能是1~ 10列，所以如果列名的第一分量约为20到30字节，第二列是8字节整数.复合列的第二部分可以动态重复，但概率很低.第一组分在不同的品种中重复，但行中的列数可能不同。

我尝试过SnappyCompression压缩列家族，但是没有改变大小。

我有一个计划好的服务，用20个线程运行几个小时，并对这个列家族发出多个键的随机读取请求(目前每个请求有2个键)，并读取整行、没有列片等。

我认为它现在表现不好，因为它每分钟处理的请求太少。在专栏家族规模不那么大之前，它的效果更好。它大约是3到4GB。

恐怕阅读性能下降得太快了，随着专栏家族规模的增加。

我也试图调整一些GC和内存的东西，因为在此之前，我有很多GC和CPU的使用。当数据大小较小，且波形很小时。

​

我怎样才能提高卡桑德拉的表现。您的建议将不胜感激。

​