大数据测试学习笔记之测试工具集

这是2018年度业余主要学习和研究的方向的笔记：大数据测试 整个学习笔记以短文为主，记录一些关键信息和思考 预计每周一篇短文进行记录，可能是理论、概念、技术、工具等等 学习资料以IBM开发者社区、华为开发者社区以及搜索到的相关资料为主 我的公众号：开源优测

大数据测试学习笔记之测试工具集

本文主要记录大数据测试的一些基本工具，以便后续用的时候能深入的去学习。

• Bigbench 由Teradata、多伦多大学、InfoSizing、Oracle开发，其设计思想和利用扩展具有研究价值，可以参阅论文Bigbench:Towards an industry standard benchmark for big data analytics。 论文pdf：http://barbie.uta.edu/~hdfeng/bigdata/Papers/BigBench - towards an industry standard benchmark for big data analytics.pdf
• Berkeley BigDataBench 随着Spark的推出，由AMPLab开发的一套大数据基准测试工具，官网介绍：https://amplab.cs.berkeley.edu/benchmark/
• Hadoop GridMix Hadoop自带的Benchmark，作为Hadoop自带的测试工具使用方便、负载经典，应用广泛
• BigDataBenchmark 中科院研发，官方文档，哈哈，还是英文的资料：http://prof.ict.ac.cn/publications/
• TPC-DS 广泛应用于SQL on Hadoop的产品评测。官网在这：http://www.tpc.org/tpcds/ 可能需要你跑（翻）个（下）路（墙）才能到达。
• Hibench 由Intel开发的针对Hadoop的基准测试工具，开源的，用户可以到Github库中下载:https://github.com/intel-hadoop/HiBench
• Hadoop自带的基准测试工具 主要有TestDFSIO、mrbench和nnbench。 TestDFSIO用于测试HDFS的IO性能；nnbench用于测试NameNode的负载；mrBench多次反复执行一个小作业，用于测试在集群上小作业的运行是否可以重复以及运行是否高效。 文档资料在这： http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/
• BDGS数据生成器 用于基准测试的数据生成，BDGS在保留原始数据特性的基础上以小规模真实数据生成大规模数据，能够生成文本数据和图表数据。 pdf文档在这： http://prof.ict.ac.cn/BigDataBench/old/2.0/wp-content/uploads/2013/10/BDGS_BigDataBench.pdf