实测|MatrixDB是Hive的25.8倍
原创
背景
本次测试主要是MatrixDB和Hive进行使用国际标准TPCH工具测试，并分别查看22条SQL的耗时。对比MatrixDB与Hive在1204GB数据量下查询性能差异。
TPC-H是什么
TPC-H是一个决策支持基准（Decision Support Benchmark），由国际事务处理性能委员会（Transaction Processing Performance Council）发布的数据库领域权威测试标准之一，是被工业界和学术界普遍认可的决策支持测试标准，也是数据库选型的重要参考指标之一。这个基准测试提现了在大量数据、执行高度复杂的查询并回答关键业务问题的决策支持系统。
TPC-H查询包含8张数据表、22条复杂的SQL查询，大多数查询包含若干表Join、子查询和Group-by聚合等。
测试版本
软件名字 | 版本 |
|---|---|
Matrixdb | MatrixDB 4.4.7 |
Hive | 3.1.0 |
Tez | 0.9.1 |
YARN + MapReduce2 | 3.1.1 |
HDFS | 3.1.1.3.1 |
测试表的格式
软件 | 表的类型 |
|---|---|
Matrixdb | AOCO |
Hive | STORED AS TEXTFILE |
服务器配置
序号 | 系统架构 | 操作系统 | 主机名 | CPU核数 | 内存 | 数据盘 | 是否raid | 网卡 |
|---|---|---|---|---|---|---|---|---|
1 | X86-64 | CentOS 7.8 | mdw | 64c | 256GB | SAS, 22T | 是 | 10000Mb/s |
2 | X86-64 | CentOS 7.8 | sdw1 | 64c | 256GB | SAS, 22T | 是 | 10000Mb/s |
3 | X86-64 | CentOS 7.8 | sdw2 | 64c | 256GB | SAS, 22T | 是 | 10000Mb/s |
4 | X86-64 | CentOS 7.8 | sdw3 | 64c | 256GB | SAS, 22T | 是 | 10000Mb/s |
测试结果
Query | Matrixdb 执行时间（单位：秒） | Hive(Tez查询)执行时间 （单位：秒） |
|---|---|---|
SQL1 | 120 | 828.75 |
SQL2 | 56 | 132.43 |
SQL3 | 152 | 1920.80 |
SQL4 | 62 | 2544.56 |
SQL5 | 233 | 1972.58 |
SQL6 | 4 | 515.38 |
SQL7 | 102 | 5053.18 |
SQL8 | 59 | 2016.20 |
SQL9 | 293 | 3047.84 |
SQL10 | 133 | 1679.50 |
SQL11 | 17 | 226.12 |
SQL12 | 47 | 1749.04 |
SQL13 | 55 | 852.39 |
SQL14 | 6 | 573.96 |
SQL15 | 29 | 1047.79 |
SQL16 | 23 | 592.49 |
SQL17 | 114 | 6994.56 |
SQL18 | 481 | 4195.88 |
SQL19 | 26 | 500.28 |
SQL20 | 43 | 2733.27 |
SQL21 | 233 | 19046.48 |
SQL22 | 18 | 1375.20 |
合计 | 2306 | 59598.68 |
测试步骤
1、使用TPCH工具生成1024GB大小的数据加载到MatrixDB中并进行22条SQL查询测试
2、使用Hive测试工具TPCH生成1024GB大小的测试数据并进行22条SQL查询测试
3、测试22个query的内容中包含若干表Join、子查询和Group-by聚合等
MatrixDB测试结果
YAMLmxadmin=# select * from tpch_reports.sql order by id; id | description | tuples | duration -----+-------------+--------+----------------- 101 | tpch.01 | 4 | 00:02:00.120885 102 | tpch.02 | 100 | 00:00:56.5631 103 | tpch.03 | 10 | 00:02:32.152663 104 | tpch.04 | 5 | 00:01:02.62619 105 | tpch.05 | 5 | 00:03:53.233652 106 | tpch.06 | 1 | 00:00:04.4446 107 | tpch.07 | 4 | 00:01:42.102137 108 | tpch.08 | 2 | 00:00:59.59693 109 | tpch.09 | 175 | 00:04:53.293484 110 | tpch.10 | 20 | 00:02:13.133002 111 | tpch.11 | 0 | 00:00:17.17094 112 | tpch.12 | 2 | 00:00:47.47593 113 | tpch.13 | 29 | 00:00:55.55813 114 | tpch.14 | 1 | 00:00:06.6373 115 | tpch.15 | 1 | 00:00:29.29671 116 | tpch.16 | 27840 | 00:00:23.23941 117 | tpch.17 | 1 | 00:01:54.114318 118 | tpch.18 | 100 | 00:08:01.481215 119 | tpch.19 | 1 | 00:00:26.26927 120 | tpch.20 | 113661 | 00:00:43.43858 121 | tpch.21 | 100 | 00:03:53.233897 122 | tpch.22 | 7 | 00:00:18.18489 (22 rows) |
|---|
Hive 测试结果
CSS*********************************************** * PC-H benchmark on Hive * *********************************************** Running Hive from Running Hadoop from See benchmark.log for more details of query errors. Executing Trial #1 of 1 trial(s)... Running Hive query: tpch/q1_pricing_summary_report.hive Time:828.75 Running Hive query: tpch/q2_minimum_cost_supplier.hive Time:132.43 Running Hive query: tpch/q3_shipping_priority.hive Time:1920.80 Running Hive query: tpch/q4_order_priority.hive Time:2544.56 Running Hive query: tpch/q5_local_supplier_volume.hive Time:1972.58 Running Hive query: tpch/q6_forecast_revenue_change.hive Time:515.38 Running Hive query: tpch/q7_volume_shipping.hive Time:5053.18 Running Hive query: tpch/q8_national_market_share.hive Time:2016.20 Running Hive query: tpch/q9_product_type_profit.hive Time:3047.84 Running Hive query: tpch/q10_returned_item.hive Time:1679.50 Running Hive query: tpch/q11_important_stock.hive Time:226.12 Running Hive query: tpch/q12_shipping.hive Time:1749.04 Running Hive query: tpch/q13_customer_distribution.hive Time:852.39 Running Hive query: tpch/q14_promotion_effect.hive Time:573.96 Running Hive query: tpch/q15_top_supplier.hive Time:1047.79 Running Hive query: tpch/q16_parts_supplier_relationship.hive Time:592.49 Running Hive query: tpch/q17_small_quantity_order_revenue.hive Time:6994.56 Running Hive query: tpch/q18_large_volume_customer.hive Time:4195.88 Running Hive query: tpch/q19_discounted_revenue.hive Time:500.28 Running Hive query: tpch/q20_potential_part_promotion.hive Time:2733.27 Running Hive query: tpch/q21_suppliers_who_kept_orders_waiting.hive Time:19046.48 Running Hive query: tpch/q22_global_sales_opportunity.hive Time:1375.20 |
|---|
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。