专栏首页华章科技高级运维架构师分享Linux 集群和自动化运维心得

高级运维架构师分享Linux 集群和自动化运维心得

来源:开源中国(ID:oschina2013)

【活动预告】

大数据实时处理之美:参与问答活动获得实时计算书籍(活动时间:10月18日-24日)(点击“阅读原文”即可参与)

导读

这些年来,很多人都在谈自动化运维。但回过头来反思一下,做了几年的自动化运维,是否还是不能确定有哪些工作没做,怎样更优雅的实施运维自动化。又或者你是刚刚踏入自动化运维扇大门。下面,@抚琴煮酒(余洪春)将为大家解答关于Linux集群和自动化运维方面的问题。

内容多多,干活多多,分享给有需要的网友们交流、学习。

【嘉宾介绍】

余洪春(抚琴煮酒),高级运维架构师、资深系统管理员,在电子商务领域及云计算领域工作10多年,在Linux集群、自动化运维、DevOPS及高并发高流量网站架构设计等方面进行了深入的研究;在大量一线实践中积累了丰富的经验。精通负载均衡高可用和Python自动化运维技术,擅长高流量高性能网站架构设计。51CTO和ChinaUnix等知名社区特邀专家,ChinuaUnix论坛“集群和高可用”及“监控及自动化运维技术”版版主,在社区内发表了大量技术文章,深受社区网友好评。

Q:想向运维方向发展,平时在测试时写一些自动化布脚本,基本上是用Shell写的,也想过用jenkins那些自动发布工具,但感觉速度有点慢,还有,好多东西还是需要手动去建,比如我看现在公司的运维团队操作跟我差不多,大部分还是要靠手动,现在公司的项目越来越多,产品线越来越多,运维只是加人力,招的人经验也比较丰富(有好几个人有网易等公司的运维经验),并没有做到真正的自动化,您这本书中有好的建设方案么?

A:平时的运维业务可以朝自动化的方向努力,机器少的场景可以靠人力抗,但机器的数量规模真正到了一定级别则必须要推行运维自动化了。不过要想真正的跟公司的业务结合起来,很多好的开源工具或方案,则需要进行二次开发。

Q:作为研发的同学,平常也要做些网络架构、运维评估等工作,是否有必要系统学习下linux 方方面面的知识?

A:恩,这个还是有必要的,熟悉Linux系统方向对工作还是很有帮助的,以后可以往架构师的方向转。

Q:集群化的云计算运维相比传统运维,所需要掌握的新技术点在哪

A:关注点不一样,比如拿AWS云平台来说,像传统运维,面临着安装系统、系统上架,分配机房等问题,但这些基础运维的活云平台都自动做了;如果想往云计算运维方向发展,要努力不断学习新的技术,比如Docker、salt、Ansible等,开发语言也要掌握一门,平时多关注Devops方向

Q:未来运维的发展方向是什么样的呢?,感觉传统的基础运维,开始淘汰了,除了大型的IDC或互联网公司,现在也看到很多运维都开始学习一些开发的知识。

个人感觉运维可能会靠向devops这块发展……

A:恩,确实是这样,建议学习Python,未来的云计算运维是会向DevOps方向转的。

Q:那些情况需要做自动化运维?有什么条件吗?超过20台服务器?如何给领导建议做这块呢?

A:1、机器数量比较多的情况下,比如我们的平台超过了500台,而且还存在增长趋势;

2、业务和项目越来越多的情况下,比如经常需要统一开发环境、线上测试环境和线上环境。 给领导提方案的前提是自己要非常熟悉自己提出的自动化方案的优点和缺点,有些坑要提前提出来,记住:自己不要给自己挖坑,要不很难找人填 。

Q:请问自动化大致包括那几个方面?我想知道书里是否有讲,这两部分:

1.如何监控故障?

2.监控到故障如何自动化或者半自动化处理?其实我觉得现在运维是很大一块,现在各种云平台,各种机器设备,开源方案倒是很多,更多的是上线之后的运维!谢谢!

A:我们的监控比如细致:1,系统和服务监控;2,流量监控;3,业务监控。目前监控到问题以后还是会手动处理,因为平台非常复杂,如果做成半自动或全自动的意义不大。但像很多业务都做成了自动化的,比如自动起spark/reduce机器,还有爬虫程序,这些能做成自动化处理的全部自动化了。

Q:很多人都不接受“自动化”运维。他们始终认为人来做这些事情时更可靠。当然,这与他们现在维护的机器数有关的。我的问题是:

1. 自动化运维的好处和坏处分别是?

2. 如果好处多于坏处,如何说服这些人使用“自动化”运维

A:自动化运维的好处是可以减轻运维的工作量,统一规划和配置系统头资源;当然了,线上的资源也有可能去现误操作的情况。这个时候就需要一个强大的report系统。其实如果机器到了一定规模,自动化运维就是一个水到渠成的过程,特别是在真正的互联网公司。

Q:请问下mysql的高可用那种方案比较好?如果主从断开,如何不影响业务的情况下,重新做主从?

A:我们线上用的比较多的方案是DRBD双机,然后再是主从复制。mysql主从复制断开也分好多情况,一般情况下是不需要重做主从的,除非到了万不得已的时候。另外,阿里有不少开源方案,建议可参考。

Q:我们现在产品开发完成后,还会出现后续新需求开发,现在我们是用的Jenkins做的自动化,从每次代码提交到自动打包到部署环境上跑测试用例,但是打包过程十分漫长,而且不定时会出错,所以想问一下,与Jenkins自动化运维相比,这种新的运维方式有哪些优势呢?

A:Jenkins是持续集成,跟自动化运维是属于两个不同的方向吧。

Q:1.分布式网站系统,如何 用集群自动更新代码和同步代码(实现那种秒更新的方案?)

2.更新或者升级网站 代码的 时候, 如何确保 代码执行不会因为(更新代码的时候肯定有不一致的服务器代码落后更新)落后更新而造成执行出问题呢?

A:我们是引入自动化运维,比如用fabric工具同时进行git命令操作,同时是几十台机器一起操作。

Q:目前自动化运维,尤其是将系统资源(CPU\MEM\IO\NETWORK)和中间件(nginx\redis\tomcat)等多方面监控的资源开发该关注哪些点?业务层面的往往是运维方面不好解决的,您怎么看?

A:恩,好多业务需求需要开发了,而且开发人员并不能真正的设计与开发出来,这个时候就需要运维人员自行开发了,这也是现在有运维开发的原因,同时也是Python大热的原因之一。

Q:你好,我发现这本书,名称是 Linux集群和自动化运维。我想询问下,你们在生产环境中,采用的是什么自动化工具,是saltstack,puppet,还是ansible,你们,在这些自动化工具中进行了二次开发吗?

A:之前是Puppet,现在主要是Fabric | Ansible,目前很多自动化任务都是二次开发,像ansible也在进一些简单的二次开发以适应业务需要。

Q:我们一直用puppet,跟chef,ansible用起来确实比puppet方便很多吗,我也上网查了一些资料说ansible方便很多?楼主,请问技术转型到ansible你认为难度大吗?我觉得里面应该还是有很多坑的,呵呵。请赐教经验!谢谢!

A:其实还好,Ansible可以先在测试下部署,等测试得差不多的时候再慢慢的移过来,目前社区和资料挺多的。

END

本文分享自微信公众号 - 大数据(hzdashuju)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 只需4步,微软数据科学家教你用OpenRefine搞定数据清洗

    导读:本文将使用OpenRefine清理我们的数据集;它很擅长数据的读取、清理以及转换数据。

    华章科技
  • 【深度】谷歌、百度、IBM,哪个适合作为你的 AI 和机器学习平台

    Zdnet 网站推出机器学习平台横向比较系列文章,以下内容分析谷歌、百度和 IBM 三家大公司 AI 实力,以及是否适合作为你的机器学习平台。谷歌的机器学习平台...

    华章科技
  • 统计数据告诉你:身价10亿的创始人如何选女友?

    前两个星期,我抽取了朋友圈里有代表性的130位男性创始人兼CEO朋友进行了一次关于创始人是怎么选择女友的modeling。受访者包括了活跃在创业第一线的众多大佬...

    华章科技
  • 运维工程师要失业了?抛开噱头与调侃,闲聊我心中的运维!

    “在知乎上,我经常受邀请回答很多类似的问题:运维到底是干什么的?运维工作有没有意思?运维有没有前途?运维是不是要被各种技术取代? ? 然而本人上知乎以休闲娱乐为...

    数据和云
  • 青铜到王者:AIOps 平台在腾讯的升级之路

    提起腾讯的运维团队,第一个让人联想起来的名词当属“海量”,早在2004年腾讯前 CTO 张志东先生就提出了一套技术运营的方法论“海量运营之道”。

    数据和云
  • 企业级自动化运维方案设计

    随着企业信息化的不断发展,运维人员需要面对越来越复杂的业务和越来越多样化的用户需求,不断扩展的应用需要越来越合理的模式来保障运维服务能灵活便捷、安全稳定地持续。

    Criss@陈磊
  • 运维的真正价值在哪里?我用十年经验来告诉你

    谈起运维工作,估计很多人会下意识的认为就是修电脑的、网管(上不去网,第一个被召唤的那种)。其实不能说这是错误的理解,IT运维人员的工作小到修电脑、理网线,大到部...

    用户6543014
  • 运维数据生态之数据思维

    前言:在上一篇文章《建立数据指标体系,推动DevOps全链路度量闭环》中,我们描述了基于数据来建立数据指标体系,通过指标体系达到主观事件客观呈现的效果。信通院的...

    顾黄亮
  • Linux运维人,该醒醒了,2019年要变天了

    外界都说运维只是处于被动低效率手工救火的状态,企业对其重视程度不高,提起运维很多人能联想到的字眼就有“苦逼”、“辛苦”、“加班”、“背锅”。在大数据、人工智能、...

    马哥linux运维
  • 运维的最终目标是什么?

    闲来无事,聊聊运维的终极目标。。。反正是瞎扯,毕竟么有风。。。天气还这么寒冷。。。思维不能灵动,不能起一丝波澜。。。

    SRE运维实践

扫码关注云+社区

领取腾讯云代金券