如何编译及使用TPC-DS生成测试数据
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢
1.文档编写目的
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。本篇文章主要介绍如何编译及使用TPC-DS生成测试数据。
在接下来的文章Fayson会介绍如何使用TPC-DS生成的数据基于99条SQL语句进行Hive、Impala及Presto的性能测试。
- 内容概述
1.环境准备及编译TPC-DS
2.生成测试数据
3.建表语句说明及生成99条SQL
- 测试环境
1.RedHat7.3
2.采用root用户操作
2.环境准备
1.从官网下载TPC-DS源码，下载地址如下：
http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp（可左右滑动）
下载至本地目录
2.将下载下来的v2.8.0rc4.zip文件解压至当前目录
[root@ip-172-31-16-68 ~]# unzip v2.8.0rc4.zip （可左右滑动）
3.安装TPC-DS编译依赖环境
[root@ip-172-31-16-68 ~]# yum -y install gcc gcc-c++ expect（可左右滑动）
3.编译TPC-DS
1.进入解压好的v2.80rc4/tools目录下
[root@ip-172-31-16-68 v2.8.0rc4]# cd tools/
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools（可左右滑动）
2.在该目录下执行如下命令编译TPC-DS
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# make（可左右滑动）
至此已完成TPC-DS的编译。
4.建表语句说明
1.进入/root/v2.8.0rc4/tools，查看tpcds.sql文件，该文件则是这些数据的基本建表语句
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# ll *.sql（可左右滑动）
这里提供了基础的建表语句，我们需要根据我们测试数据库的环境对SQL语句做相应的修改。
5.生成测试数据
在tools目录是通过dsdgen命令生成指定量级的测试数据，可以通过并行的方式生成数据，可以指定数据的分隔符等，具体参数可以使用dsdgen –h来查看
1.进入/root/v2.8.0rc4/tools目录下执行如下命令生成测试数据
[root@ip-172-31-16-68 tools]# mkdir /root/tpcdsdata
[root@ip-172-31-16-68 tools]# cd /root/v2.8.0rc4/tools/
[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata （可左右滑动）
注意：这里指定的数据存放目录必须存在否则会报“Failed to open output file!”异常。
-SCALE：指定生成数据量大小如：100GB、200GB、1TB、100TB
2.查看生成的表数据
[root@ip-172-31-16-68 tools]# ll /root/tpcdsdata/
[root@ip-172-31-16-68 tools]# cd /root/tpcdsdata/
[root@ip-172-31-16-68 tpcdsdata]# du -sh .（可左右滑动）
可以看到生成的数据量在1.2GB，这里生成数据是随机性的，所以生成的测试数据量和指定的数据量大小有一定的出入，但数据量的大小基本在指定大小的范围左右。
3.并行生成测试数据
[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata -parallel 4 -child 4（可左右滑动）
6.根据模板生成查询语句
通过使用dsqgen命令根据TPC-DS提供的模板生成不同类型的SQL语句，TPC-DS默认支持以下模板：db2.tpl、netezza.tpl、oracle.tpl、sqlserver.tpl，如下使用方式：
这里我们使用Oracle来作为示例来生成Oracle的查询语句：
[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle（可左右滑动）
在生成query.sql文件时会报错，错误信息如下：
[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle
qgen2 Query Generator (Version 2.8.0)
Copyright Transaction Processing Performance Council (TPC) 2001 - 2018
Warning: This scale factor is valid for QUALIFICATION ONLY
ERROR: Substitution'_END' is used before being initialized at line 59 in ../query_templates/query3.tpl
[root@ip-172-31-16-68 tools]# （可左右滑动）
我们需要手动的去修改tempalte_query目录下相应的模板，这里我们已query1.sql为例修改：
其它query.sql默认均已这种方式进行修改。
7.总结
- 利用TPC-DS工具可以很方便的生成我们指定数据量的测试数据
- 在使用建表语句时需要根据我们的测试环境对建表语句作相应的修改
- 同样99条SQL查询语句也需要根据我们的数据库类型进行相应的修改
提示：代码块部分可以左右滑动查看噢 为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操