【rainbowzhou 面试9/101】技术提问--常见的大数据基准测试工具有哪些未命名文章

在【rainbowzhou 面试8/101】技术提问--如何进行大数据基准测试？中，我介绍了如何进行大数据基准测试。本篇来说说常见的一些大数据基准测试工具，希望对大家有所帮助。

常见的基准测试工具

目前，大数据基准测试工具种类丰富，大致可以划分为3类：微型负载专用工具、综合类测试工具和端到端的测试工具。下表列举了这3类常用基准测试工具。

• 微型负载专用工具只测试大数据平台的某个特定组建和应用，包括TeraSort（针对文本数据排序）、YCSB（对比NoSQL数据库性能）等。
• 对于综合类测试工具，模拟几类典型应用，覆盖大数据平台的多个功能组件。例如HiBench，它是一款针对Hadoop和Hive平台的基准测试工具，其负载按照业务可以分为微型负载、搜索业务、机器学习和分析请求。
• 端到端的测试工具可应用到具体领域。例如BigBench，它应用于大数据离线分析场景。

以上三类基准测试工具优缺点如下表：

Hibench简介

Hibench是英特尔推出的一款大数据基准测试套件，有助于在速度、吞吐量和系统资源利用率方面评估不同的大数据框架。它包含一组Hadoop、Spark和流媒体工作负载，包括Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、Nutch索引、Bayes、Kmeans、NWeight和增强的DFSIO等。它还包含Spark Streaming、Flink、Storm和Gearpump的几个流媒体工作负载。它是一个非常好用的测试大数据平台工具。HiBench的使用非常简单，只需以下3步：

1. 配置：配置要测试的数据量、大数据运行环境和路径信息等基本参数；
2. 初始化数据：生成准备计算的数据；
3. 执行测试：运行对应的大数据计算程序；

HiBench基准测试案例

测试环境：

服务器配置：

测试目标集群：AWS EMR 5.32.0 多主集群：master 3个节点，配置 m5.xlarge 4核16G，64G ssd通用存储 code 2个节点，配置 m5.xlarge 4核16G，64G ssd通用存储

集群软件配置：

集群安装软件：Hive 2.3.7, Spark 2.4.7, HBase 1.4.13, Flink 1.11.2, ZooKeeper 3.4.14, Sqoop 1.4.7,Hadoop 发行版:Amazon 2.10.1

Core节点用于存储数据，运行数据。Master 用于namenode等程序调度。

Yarn集群配置：<memory:18252, vCores:8>

测试工具

hibeach依赖：hibeach 7.1.1 scala: 2.11.12 apache-maven-3.8.1

集群初始参数配置：

YARN:
mapreduce.map.java.opts	-Xmx2458m
mapreduce.reduce.java.opts	-Xmx4916m
mapreduce.map.memory.mb	3072
mapreduce.reduce.memory.mb	6144
yarn.app.mapreduce.am.resource.mb	6144
yarn.scheduler.minimum-allocation-mb	32
yarn.scheduler.maximum-allocation-mb 6144
yarn.nodemanager.resource.memory-mb	6144

HADOOP:
YARN_RESOURCEMANAGER_HEAPSIZE	2416
YARN_PROXYSERVER_HEAPSIZE	2416
YARN_NODEMANAGER_HEAPSIZE	2048
HADOOP_JOB_HISTORYSERVER_HEAPSIZE	2416
HADOOP_NAMENODE_HEAPSIZE	1843
HADOOP_DATANODE_HEAPSIZE	778

以上对常见的大数据基准测试工具进行了介绍，并且进行了案例介绍：使用Hibench基准测试工具，对EMR进行了基准测试。

参考资源：

• 大数据测试技术与实践

看完今天的分享对你是不是有所启发呢，有任何想法都欢迎大家后台私信我，一起探讨交流。