点击右侧关注,大数据开发领域最强公众号!
大数据真好玩
点击右侧关注,大数据真好玩!
1.大数据组件的性能回归,在版本升级的时候,进行新旧版本的性能比对
2.在新版本/新的生产环境 发布之后获取性能基线,建立可度量的参考标准,为其他测试场景或者调优过程提供对比参考
3.在众多的发行版本中进行测试比对,为PoC测试提供参考数据
4.支持POC测试,得出结论,到时候可以根据业务模型和需求,或者根据客户需求 选择不同的方案
5.在客户方进行性能测试,达到客户要求的性能标准满足客户使用的需求。
1.上线新版本
2.上线新的环境/新的主机
3.开辟了新的区域
4.PoC 测试
5.性能专项测试
1.明确测试的目标
确定性能测试场景,集群规模和规格,数据量,数据格式,压缩算法等。比如版本迭代测试,需要和历史版本集群规格和参数对齐,以便比较版本性能是否劣化;Poc测试需要明确客户场景;软件发行商测试,需要与发行商集群规模保持一致。
2.申请主机环境和测试周期
3.搭建运行环境和监控
获取的性能指标 部分包含:性能数据,比如带宽,磁盘IO,CPU,内存等指标
4.开展测试 测试过程中使用nmon或者其他系统监控的工具记录系统指标变化,以供发现系统瓶颈,利于后续调优。
5.针对性能结果进行调整优化,进行迭代性能测试
6.出具性能测试报告
大数据组件测试工具和方法
除了上述主流的大数据主键外还有Hbase等
除了主流的测试工具 Hibench 之外还有雅虎的大数据测试套件
https://github.com/Intel-bigdata/HiBenchhttps://github.com/elastic/rallyhttps://github.com/yahoo/streaming-benchmarkshttps://github.com/brianfrankcooper/YCSB
1.在大数据领域普遍存在数据倾斜的问题,需要参考对应组件的官方文档
2.参考业界的案例介绍
2.在不同数据量下进行并行 和读写混合测试
3.在不同数据量下进行 7 * 24小时的数据稳定性测试
版权声明:
本文为大数据技术与架构整理,原作者独家授权。未经原作者允许转载追究侵权责任。
编辑|冷眼丶
微信公众号|import_bigdata
欢迎点赞+收藏+转发朋友圈素质三连