基于云端监控对大数据etl脚本优化的一个方法

一般云计算厂商都提供了服务器cpu和内存的监控，通过这些监控数据，我们可以做很多事情，本本文介绍的就是其中一个方面的应用。

在工作中发现，大数据etl脚本时不时会卡死挂掉，导致统计数据出问题。这时可以查看脚本服务器的监控数据，如下

从上图可以看到，脚本服务器的内存偏高，cpu峰值较大但出现的次数较少，大部分时间内cpu使用率不到10%，这说明:1，脚本服务器的计算资源并没有得到充分利用;2，脚本运行的过程中，峰值确实会达到服务器瓶颈，造成卡死

基于以上两张图的分析，我们可以做出以下调整:平摊脚本的高耗操作，避免一次性过多的使用内存和cpu资源。优化后的效果如下图所示:

优化后，经实际验证，与以往相比，脚本运行更加稳定，服务器cpu利用率得到提升，内存峰值降低，未再出现脚本卡死的现象。

(本文原创，未经许可禁止转载)