前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据人员必会的linux性能调优

大数据人员必会的linux性能调优

作者头像
Spark学习技巧
发布2018-12-18 16:43:00
5080
发布2018-12-18 16:43:00
举报
文章被收录于专栏:Spark学习技巧

最近发现知识付费泛滥成灾,很多人买了很多课程,但是真正能看完的没有几个课程,比如大数据从业人员,工具还没用熟,就去学习数据结构,机器学习等,不是瞧不起你的学习能力,人的精力有限,而且成长也要稳扎稳打,大数据都是培训入门的,没有两三年的积累,根本就是一坨屎,还想着贪多,最后肯定是一塌糊涂,不要只着眼于眼前。

建议先把,我下面的两篇文章完全掌握,然后再去做其他延伸,整理出自己的一套大数据学习经验,这个很重要。

关于大数据从业人员,估计目前很少像浪尖这有三四年的linux经验的,所以还是需要补充,至于为啥需要Linux基础呢?

主要有以下三点:

  1. 安装部署必会。当然,大部分都是用CM等搭建,只需要简单配置一下yum源,那么随口问一句,yum依赖哪种语言呢? 其实,企业中稍微有规模的都是自研大数据平台,直接使用apache的,然后这个时候部署就需要自己写Linux部署脚本了,还有简单的shell监控脚本。所以要补充一下linux知识。
  2. 故障排查也许要Linux 主要是网络故障,磁盘故障,需要了解网络和磁盘指令,比较全,如dstat。 还包括网络是否通常,进程是否存活,端口是否存活等
  3. 性能调优也需要Linux 这个也主要是文件句柄,Linux缓存等性能,网络,磁盘,cpu等负载高的发现,定位,比如耗CPU的top10,耗内存的top等。

本来想自己整理一套完整的教程,后来发现真是精力有限,所以像平台安装,linux基础估计会放到最后。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-11-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 浪尖聊大数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档