如何编译及使用TPC-DS生成测试数据

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。本篇文章主要介绍如何编译及使用TPC-DS生成测试数据。

在接下来的文章Fayson会介绍如何使用TPC-DS生成的数据基于99条SQL语句进行Hive、Impala及Presto的性能测试。

  • 内容概述

1.环境准备及编译TPC-DS

2.生成测试数据

3.建表语句说明及生成99条SQL

  • 测试环境

1.RedHat7.3

2.采用root用户操作

2.环境准备


1.从官网下载TPC-DS源码,下载地址如下:

http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp

(可左右滑动)

下载至本地目录

2.将下载下来的v2.8.0rc4.zip文件解压至当前目录

[root@ip-172-31-16-68 ~]# unzip v2.8.0rc4.zip 

(可左右滑动)

3.安装TPC-DS编译依赖环境

[root@ip-172-31-16-68 ~]# yum -y install gcc gcc-c++ expect

(可左右滑动)

3.编译TPC-DS


1.进入解压好的v2.80rc4/tools目录下

[root@ip-172-31-16-68 v2.8.0rc4]# cd tools/
[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools

(可左右滑动)

2.在该目录下执行如下命令编译TPC-DS

[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# make

(可左右滑动)

至此已完成TPC-DS的编译。

4.建表语句说明


1.进入/root/v2.8.0rc4/tools,查看tpcds.sql文件,该文件则是这些数据的基本建表语句

[root@ip-172-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-172-31-16-68 tools]# ll *.sql

(可左右滑动)

这里提供了基础的建表语句,我们需要根据我们测试数据库的环境对SQL语句做相应的修改。

5.生成测试数据


在tools目录是通过dsdgen命令生成指定量级的测试数据,可以通过并行的方式生成数据,可以指定数据的分隔符等,具体参数可以使用dsdgen –h来查看

1.进入/root/v2.8.0rc4/tools目录下执行如下命令生成测试数据

[root@ip-172-31-16-68 tools]# mkdir /root/tpcdsdata
[root@ip-172-31-16-68 tools]# cd /root/v2.8.0rc4/tools/               
[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata 

(可左右滑动)

注意:这里指定的数据存放目录必须存在否则会报“Failed to open output file!”异常。

-SCALE:指定生成数据量大小如:100GB、200GB、1TB、100TB

2.查看生成的表数据

[root@ip-172-31-16-68 tools]# ll /root/tpcdsdata/
[root@ip-172-31-16-68 tools]# cd /root/tpcdsdata/
[root@ip-172-31-16-68 tpcdsdata]# du -sh .

(可左右滑动)

可以看到生成的数据量在1.2GB,这里生成数据是随机性的,所以生成的测试数据量和指定的数据量大小有一定的出入,但数据量的大小基本在指定大小的范围左右。

3.并行生成测试数据

[root@ip-172-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata -parallel 4 -child 4

(可左右滑动)

6.根据模板生成查询语句


通过使用dsqgen命令根据TPC-DS提供的模板生成不同类型的SQL语句,TPC-DS默认支持以下模板:db2.tpl、netezza.tpl、oracle.tpl、sqlserver.tpl,如下使用方式:

这里我们使用Oracle来作为示例来生成Oracle的查询语句:

[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle

(可左右滑动)

在生成query.sql文件时会报错,错误信息如下:

[root@ip-172-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle
qgen2 Query Generator (Version 2.8.0)
Copyright Transaction Processing Performance Council (TPC) 2001 - 2018
Warning: This scale factor is valid for QUALIFICATION ONLY
ERROR: Substitution'_END' is used before being initialized at line 59 in ../query_templates/query3.tpl
[root@ip-172-31-16-68 tools]# 

(可左右滑动)

我们需要手动的去修改tempalte_query目录下相应的模板,这里我们已query1.sql为例修改:

其它query.sql默认均已这种方式进行修改。

7.总结


  • 利用TPC-DS工具可以很方便的生成我们指定数据量的测试数据
  • 在使用建表语句时需要根据我们的测试环境对建表语句作相应的修改
  • 同样99条SQL查询语句也需要根据我们的数据库类型进行相应的修改

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯高校合作

【倒计时7天】2018教育部-腾讯公司产学合作协同育人项目申请即将截止!

16220
来自专栏腾讯社交用户体验设计

ISUX Xcube智能一键生成H5

51420
来自专栏钱塘大数据

理工男图解零维到十维空间,烧脑已过度,受不了啦!

让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

34730
来自专栏FSociety

SQL中GROUP BY用法示例

GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

5.2K20
来自专栏Ken的杂谈

【系统设置】CentOS 修改机器名

18230
来自专栏钱塘大数据

中国互联网协会发布:《2018中国互联网发展报告》

在2018中国互联网大会闭幕论坛上,中国互联网协会正式发布《中国互联网发展报告2018》(以下简称《报告》)。《中国互联网发展报告》是由中国互联网协会与中国互联...

13750
来自专栏微信公众号:小白课代表

不只是软件,在线也可以免费下载百度文库了。

不管是学生,还是职场员工,下载各种文档几乎是不可避免的,各种XXX.docx,XXX.pptx更是家常便饭,人们最常用的就是百度文库,豆丁文库,道客巴巴这些下载...

44730
来自专栏前端桃园

知识体系解决迷茫的你

最近在星球里群里都有小伙伴说道自己对未来的路比较迷茫,一旦闲下来就不知道自己改干啥,今天我这篇文章就是让你觉得一天给你 25 个小时你都不够用,觉得睡觉都是浪费...

22440
来自专栏haifeiWu与他朋友们的专栏

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

30440
来自专栏怀英的自我修炼

考研英语-1-导学

英二图表作文要重视。总体而言,英语一会比英语二难点。不过就写作而言,英语二会比英语一有难度,毕竟图表作文并不好写。

12210

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励