专栏首页Spark学习技巧大数据人员必会的linux性能调优

大数据人员必会的linux性能调优

最近发现知识付费泛滥成灾,很多人买了很多课程,但是真正能看完的没有几个课程,比如大数据从业人员,工具还没用熟,就去学习数据结构,机器学习等,不是瞧不起你的学习能力,人的精力有限,而且成长也要稳扎稳打,大数据都是培训入门的,没有两三年的积累,根本就是一坨屎,还想着贪多,最后肯定是一塌糊涂,不要只着眼于眼前。

建议先把,我下面的两篇文章完全掌握,然后再去做其他延伸,整理出自己的一套大数据学习经验,这个很重要。

关于大数据从业人员,估计目前很少像浪尖这有三四年的linux经验的,所以还是需要补充,至于为啥需要Linux基础呢?

主要有以下三点:

  1. 安装部署必会。当然,大部分都是用CM等搭建,只需要简单配置一下yum源,那么随口问一句,yum依赖哪种语言呢? 其实,企业中稍微有规模的都是自研大数据平台,直接使用apache的,然后这个时候部署就需要自己写Linux部署脚本了,还有简单的shell监控脚本。所以要补充一下linux知识。
  2. 故障排查也许要Linux 主要是网络故障,磁盘故障,需要了解网络和磁盘指令,比较全,如dstat。 还包括网络是否通常,进程是否存活,端口是否存活等
  3. 性能调优也需要Linux 这个也主要是文件句柄,Linux缓存等性能,网络,磁盘,cpu等负载高的发现,定位,比如耗CPU的top10,耗内存的top等。

本来想自己整理一套完整的教程,后来发现真是精力有限,所以像平台安装,linux基础估计会放到最后。

本文分享自微信公众号 - Spark学习技巧(bigdatatip)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 技术干货|eBay对流量控制说“so easy”!

    流量控制对于保证Web服务的安全性和可靠性至关重要。在安全性方面,需要阻止黑客频繁访问某些API而获取大量信息。在可靠性方面,任何服务在有限资源...

    Spark学习技巧
  • 一组漫画完美总结互联网人生

    1991年,万维网(World Wide Web)向公众开放,标志着互联网的诞生。如今人类的生活被互联网极大地改变,以至于没有网络的生活几乎是难以想象的...

    Spark学习技巧
  • 程序员们~笑抽了别怪我

    前方高能,每一个程序员看完,你不笑死个人,你来找我,我自己看了好几遍,反正笑的停不下来,太特么有才了。

    Spark学习技巧
  • 有了这个开源项目,再也不会忘记 Linux 命令啦

    重磅资讯、干货,第一时间送达今日推荐:什么是ZooKeeper?个人原创博客:点击前往

    好好学java
  • Linux之父道歉后,Linux社区颁布开发人员行为准则

      本周Linux之父Linus Torvalds出人意表地发表忏悔录后,Linux社交周二再公布关于开发人员的言行的行为准备,不过社交反应不一。

    数据星河
  • 掌握好这几点方法学习Linux,一定比别人更快入门运维!

    随着Linux应用的扩展许多朋友开始接触Linux,根据学习Windwos的经验往往有一些茫然的感觉:不知从何处开始学起。

    用户6543014
  • 以最简单方式学习Linux

    有很多关于Linux的书籍,博客。大多数都会比较“粗暴“的将一大堆的命令塞给读者,从而使很多.NET程序员望而却步。未入其门就路过了。 所以我设想用一种更为平...

    小小科
  • 以最简单方式学习Linux

    有很多关于Linux的书籍,博客。大多数都会比较“粗暴“的将一大堆的命令塞给读者,从而使很多.NET程序员望而却步。未入其门就路过了。

    马哥linux运维
  • Linux 27周年:这27件有趣的事实你可能不知道

    许多人认为10月5日是 Linux 系统的周年纪念日,因为这是 Linux 在1991年首次对外公布的时间。不过,你可能不知道的是,早在1991年8月25日,当...

    Debian社区
  • 一天一点学linux

    随着Linux应用的扩展许多朋友开始接触Linux,根据学习Windwos的经验往往有一些茫然的感觉:不知从何处开始学起。就像是战争,你有勇气战胜一切敌人,但你...

    猿人谷

扫码关注云+社区

领取腾讯云代金券