Greenplum 并发性能测试

Greenplum 并发性能测试

目录

Greenplum 并发性能测试 1

1 集群硬件信息 1

2 测试JAVA代码下载 2

3 单表单线程写入数据性能(测试案例一) 2

3.1 创建测试表 2

3.2 测试100W数据,每1000条提交一次 2

3.3 汇总测试结果 2

3.3.1 运行耗时 2

3.3.2 表的大小 2

3.3.3 表的行数 2

3.3.4 计算吐吞量 3

4 多表多线程写入数据性能(测试案例二) 3

4.1 创建测试表 3

4.2 测试4个线程，每个线程100W,每1000条提交一次 4

4.3 汇总测试结果 4

4.3.1 运行耗时 4

4.3.2 表的大小 4

4.3.3 表的行数 5

4.3.4 计算吞吐量 6

4.4 总结结果 6

5 单表多线程写入数据性能(测试案例三) 6

5.1 创建测试表 6

5.2 测试四个线程写入同一个表,每个线程100W,1000条提交一次 7

5.3 汇总测试结果 7

5.3.1 运行耗时 7

5.3.2 表的大小 7

5.3.3 表的行数 7

5.3.4 计算吞吐量 7

6 测试总结 8

7 TCP-H测试结果 8

1 集群硬件信息

硬件信息请查看以下链接

https://blog.csdn.net/xfg0218/article/details/82785196

2 测试JAVA代码下载

测试代码请下载:

链接: https://pan.baidu.com/s/1oOpPfuEDGMc9HboffH2ZGw 提取码: saf5

参考资料:https://blog.csdn.net/dinopan/article/details/81511974

3 单表单线程写入数据性能(测试案例一)

3.1 创建测试表

create table t_person4insert

(

id bigint,

name varchar(255)

)

distributed by(id);

3.2 测试100W数据,每1000条提交一次

请在代码中找到com.chinadaas.Person1Thread类即可测试

3.3 汇总测试结果

3.3.1 运行耗时

person cost = 2748667ms ÷ 1000 = 2748.667s

3.3.2 表的大小

stagging=# select pg_size_pretty(pg_relation_size('t_person'));

 pg_size_pretty

----------------

 51 MB

(1 row)

3.3.3 表的行数

stagging=# select count(*) from t_person;

  count  

---------

 1000000

(1 row)

3.3.4 计算吐吞量

51 ÷ 2748667 × 1000 ≈ 0.0185M/S

1000000 ÷ 2748667  × 1000 ≈ 363.81行/S

4 多表多线程写入数据性能(测试案例二)

4.1 创建测试表

create table t_person4insert1

(

id bigint,

name varchar(255)

)

distributed by(id);

create table t_person4insert2

(

id bigint,

name varchar(255)

)

distributed by(id);

create table t_person4insert3

(

id bigint,

name varchar(255)

)

distributed by(id);

create table t_person4insert4

(

id bigint,

name varchar(255)

)

distributed by(id);

4.2 测试4个线程，每个线程100W,每1000条提交一次

请在代码中找到com.chinadaas.Person4Thread类即可测试

4.3 汇总测试结果

4.3.1 运行耗时

四个线程整体的耗时为:3240611ms ≈ 3240 s

4.3.2 表的大小

4.2.2.1查看第一张表的大小

stagging=# select pg_size_pretty(pg_relation_size('t_person4insert1'));

 pg_size_pretty

----------------

 51 MB

(1 row)

4.2.2.2查看第二张表的大小

stagging=# select pg_size_pretty(pg_relation_size('t_person4insert2'));

 pg_size_pretty

----------------

 51 MB

(1 row)

4.2.2.3查看第三张表的大小

stagging=# select pg_size_pretty(pg_relation_size('t_person4insert3'));

 pg_size_pretty

----------------

 51 MB

(1 row)

4.2.2.4查看第四张表的大小

stagging=# select pg_size_pretty(pg_relation_size('t_person4insert4'));

 pg_size_pretty

----------------

 51 MB

(1 row)

Time: 31.728 ms

4.3.3 表的行数

4.3.3.1 查看第一个表的行数

stagging=# select count(*) from t_person4insert1;

  count  

---------

 1000000

(1 row)

Time: 66.177 ms

4.3.3.2 查看第二个表的行数

stagging=# select count(*) from t_person4insert2;

  count  

---------

 1000000

(1 row)

Time: 39.403 ms

4.3.3.3 查看第三个表的行数

stagging=# select count(*) from t_person4insert3;

  count  

---------

 1000000

(1 row)

Time: 39.403 ms

4.3.3.4 查看第四个表的行数

stagging=# select count(*) from t_person4insert4;

  count  

---------

 1000000

(1 row)

Time: 70.558 ms

4.3.4 计算吞吐量

51 ÷ 3240611 × 1000 ≈ 0.0157M/S

1000000 ÷ 3240611 × 1000 ≈ 308.58行/S

4.4 总结结果

以下是单线程结果

51 ÷ 2748667 × 1000 ≈ 0.0185M/S

1000000 ÷ 2748667  × 1000 ≈ 363.81行/S

以下是多线程结果

51 ÷ 3240611 × 1000 ≈ 0.0157M/S

1000000 ÷ 3240611 × 1000 ≈ 308.58行/S

四个线程的吞吐量比单线程慢了很多

5 单表多线程写入数据性能(测试案例三)

5.1 创建测试表

create table t_person4insertrange

(

id bigint,

name varchar(255)

)

distributed by(id);

5.2 测试四个线程写入同一个表,每个线程100W,1000条提交一次

请在代码中找到com.chinadaas.PersonRangegThread类即可测试

5.3 汇总测试结果

5.3.1 运行耗时

total cost = 3164341ms ≈ 3164s

5.3.2 表的大小

stagging=# select pg_size_pretty(pg_relation_size('t_person4insertrange'));

 pg_size_pretty

----------------

 200 MB

(1 row)

Time: 7.443 ms

5.3.3 表的行数

stagging=# select count(*) from t_person4insertrange;

  count  

---------

 4000000

(1 row)

Time: 162.728 ms

5.3.4 计算吞吐量

200 ÷ 3164341 × 1000 ≈ 0.063M/S

4000000 ÷ 3164341 × 1000 ≈ 1264行/S

6 测试总结

在以上的结果中可以看出使用多线程写入单个表的速度还是可以的，达到1264行/S

7 TCP-H测试结果

详细的测试结果请查看:

https://blog.csdn.net/xfg0218/article/details/82785187