如何编译及使用TPC-DS生成测试数据

Fayson

修改于 2018-04-01 18:39:07

10.6K1

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢

1.文档编写目的

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。本篇文章主要介绍如何编译及使用TPC-DS生成测试数据。

在接下来的文章Fayson会介绍如何使用TPC-DS生成的数据基于99条SQL语句进行Hive、Impala及Presto的性能测试。

内容概述

1.环境准备及编译TPC-DS

2.生成测试数据

3.建表语句说明及生成99条SQL

测试环境

1.RedHat7.3

2.采用root用户操作

2.环境准备

1.从官网下载TPC-DS源码，下载地址如下：

http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp

（可左右滑动）

下载至本地目录

2.将下载下来的v2.8.0rc4.zip文件解压至当前目录

[root@ip-172-31-16-68 ~]# unzip v2.8.0rc4.zip

（可左右滑动）

3.安装TPC-DS编译依赖环境

[root@ip-172-31-16-68 ~]# yum -y install gcc gcc-c++ expect

（可左右滑动）

3.编译TPC-DS

1.进入解压好的v2.80rc4/tools目录下

[root@ip-172-31-16-68 v2.8.0rc4]# cd tools/
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools

（可左右滑动）

2.在该目录下执行如下命令编译TPC-DS

[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# make

（可左右滑动）

至此已完成TPC-DS的编译。

4.建表语句说明

1.进入/root/v2.8.0rc4/tools，查看tpcds.sql文件，该文件则是这些数据的基本建表语句

[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# ll *.sql

（可左右滑动）

这里提供了基础的建表语句，我们需要根据我们测试数据库的环境对SQL语句做相应的修改。

5.生成测试数据

在tools目录是通过dsdgen命令生成指定量级的测试数据，可以通过并行的方式生成数据，可以指定数据的分隔符等，具体参数可以使用dsdgen –h来查看

1.进入/root/v2.8.0rc4/tools目录下执行如下命令生成测试数据

[root@ip-172-31-16-68 tools]# mkdir /root/tpcdsdata
[root@ip-172-31-16-68 tools]# cd /root/v2.8.0rc4/tools/               
[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata

（可左右滑动）

注意：这里指定的数据存放目录必须存在否则会报“Failed to open output file!”异常。

-SCALE：指定生成数据量大小如：100GB、200GB、1TB、100TB

2.查看生成的表数据

[root@ip-172-31-16-68 tools]# ll /root/tpcdsdata/
[root@ip-172-31-16-68 tools]# cd /root/tpcdsdata/
[root@ip-172-31-16-68 tpcdsdata]# du -sh .

（可左右滑动）

可以看到生成的数据量在1.2GB，这里生成数据是随机性的，所以生成的测试数据量和指定的数据量大小有一定的出入，但数据量的大小基本在指定大小的范围左右。

3.并行生成测试数据

[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata -parallel 4 -child 4

（可左右滑动）

6.根据模板生成查询语句

通过使用dsqgen命令根据TPC-DS提供的模板生成不同类型的SQL语句，TPC-DS默认支持以下模板：db2.tpl、netezza.tpl、oracle.tpl、sqlserver.tpl，如下使用方式：

这里我们使用Oracle来作为示例来生成Oracle的查询语句：

[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle

（可左右滑动）

在生成query.sql文件时会报错，错误信息如下：

[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle
qgen2 Query Generator (Version 2.8.0)
Copyright Transaction Processing Performance Council (TPC) 2001 - 2018
Warning: This scale factor is valid for QUALIFICATION ONLY
ERROR: Substitution'_END' is used before being initialized at line 59 in ../query_templates/query3.tpl
[root@ip-172-31-16-68 tools]#

（可左右滑动）