高级运维架构师分享Linux 集群和自动化运维心得

来源:开源中国(ID:oschina2013)

【活动预告】

大数据实时处理之美:参与问答活动获得实时计算书籍(活动时间:10月18日-24日)(点击“阅读原文”即可参与)

导读

这些年来,很多人都在谈自动化运维。但回过头来反思一下,做了几年的自动化运维,是否还是不能确定有哪些工作没做,怎样更优雅的实施运维自动化。又或者你是刚刚踏入自动化运维扇大门。下面,@抚琴煮酒(余洪春)将为大家解答关于Linux集群和自动化运维方面的问题。

内容多多,干活多多,分享给有需要的网友们交流、学习。

【嘉宾介绍】

余洪春(抚琴煮酒),高级运维架构师、资深系统管理员,在电子商务领域及云计算领域工作10多年,在Linux集群、自动化运维、DevOPS及高并发高流量网站架构设计等方面进行了深入的研究;在大量一线实践中积累了丰富的经验。精通负载均衡高可用和Python自动化运维技术,擅长高流量高性能网站架构设计。51CTO和ChinaUnix等知名社区特邀专家,ChinuaUnix论坛“集群和高可用”及“监控及自动化运维技术”版版主,在社区内发表了大量技术文章,深受社区网友好评。

Q:想向运维方向发展,平时在测试时写一些自动化布脚本,基本上是用Shell写的,也想过用jenkins那些自动发布工具,但感觉速度有点慢,还有,好多东西还是需要手动去建,比如我看现在公司的运维团队操作跟我差不多,大部分还是要靠手动,现在公司的项目越来越多,产品线越来越多,运维只是加人力,招的人经验也比较丰富(有好几个人有网易等公司的运维经验),并没有做到真正的自动化,您这本书中有好的建设方案么?

A:平时的运维业务可以朝自动化的方向努力,机器少的场景可以靠人力抗,但机器的数量规模真正到了一定级别则必须要推行运维自动化了。不过要想真正的跟公司的业务结合起来,很多好的开源工具或方案,则需要进行二次开发。

Q:作为研发的同学,平常也要做些网络架构、运维评估等工作,是否有必要系统学习下linux 方方面面的知识?

A:恩,这个还是有必要的,熟悉Linux系统方向对工作还是很有帮助的,以后可以往架构师的方向转。

Q:集群化的云计算运维相比传统运维,所需要掌握的新技术点在哪

A:关注点不一样,比如拿AWS云平台来说,像传统运维,面临着安装系统、系统上架,分配机房等问题,但这些基础运维的活云平台都自动做了;如果想往云计算运维方向发展,要努力不断学习新的技术,比如Docker、salt、Ansible等,开发语言也要掌握一门,平时多关注Devops方向

Q:未来运维的发展方向是什么样的呢?,感觉传统的基础运维,开始淘汰了,除了大型的IDC或互联网公司,现在也看到很多运维都开始学习一些开发的知识。

个人感觉运维可能会靠向devops这块发展……

A:恩,确实是这样,建议学习Python,未来的云计算运维是会向DevOps方向转的。

Q:那些情况需要做自动化运维?有什么条件吗?超过20台服务器?如何给领导建议做这块呢?

A:1、机器数量比较多的情况下,比如我们的平台超过了500台,而且还存在增长趋势;

2、业务和项目越来越多的情况下,比如经常需要统一开发环境、线上测试环境和线上环境。 给领导提方案的前提是自己要非常熟悉自己提出的自动化方案的优点和缺点,有些坑要提前提出来,记住:自己不要给自己挖坑,要不很难找人填 。

Q:请问自动化大致包括那几个方面?我想知道书里是否有讲,这两部分:

1.如何监控故障?

2.监控到故障如何自动化或者半自动化处理?其实我觉得现在运维是很大一块,现在各种云平台,各种机器设备,开源方案倒是很多,更多的是上线之后的运维!谢谢!

A:我们的监控比如细致:1,系统和服务监控;2,流量监控;3,业务监控。目前监控到问题以后还是会手动处理,因为平台非常复杂,如果做成半自动或全自动的意义不大。但像很多业务都做成了自动化的,比如自动起spark/reduce机器,还有爬虫程序,这些能做成自动化处理的全部自动化了。

Q:很多人都不接受“自动化”运维。他们始终认为人来做这些事情时更可靠。当然,这与他们现在维护的机器数有关的。我的问题是:

1. 自动化运维的好处和坏处分别是?

2. 如果好处多于坏处,如何说服这些人使用“自动化”运维

A:自动化运维的好处是可以减轻运维的工作量,统一规划和配置系统头资源;当然了,线上的资源也有可能去现误操作的情况。这个时候就需要一个强大的report系统。其实如果机器到了一定规模,自动化运维就是一个水到渠成的过程,特别是在真正的互联网公司。

Q:请问下mysql的高可用那种方案比较好?如果主从断开,如何不影响业务的情况下,重新做主从?

A:我们线上用的比较多的方案是DRBD双机,然后再是主从复制。mysql主从复制断开也分好多情况,一般情况下是不需要重做主从的,除非到了万不得已的时候。另外,阿里有不少开源方案,建议可参考。

Q:我们现在产品开发完成后,还会出现后续新需求开发,现在我们是用的Jenkins做的自动化,从每次代码提交到自动打包到部署环境上跑测试用例,但是打包过程十分漫长,而且不定时会出错,所以想问一下,与Jenkins自动化运维相比,这种新的运维方式有哪些优势呢?

A:Jenkins是持续集成,跟自动化运维是属于两个不同的方向吧。

Q:1.分布式网站系统,如何 用集群自动更新代码和同步代码(实现那种秒更新的方案?)

2.更新或者升级网站 代码的 时候, 如何确保 代码执行不会因为(更新代码的时候肯定有不一致的服务器代码落后更新)落后更新而造成执行出问题呢?

A:我们是引入自动化运维,比如用fabric工具同时进行git命令操作,同时是几十台机器一起操作。

Q:目前自动化运维,尤其是将系统资源(CPU\MEM\IO\NETWORK)和中间件(nginx\redis\tomcat)等多方面监控的资源开发该关注哪些点?业务层面的往往是运维方面不好解决的,您怎么看?

A:恩,好多业务需求需要开发了,而且开发人员并不能真正的设计与开发出来,这个时候就需要运维人员自行开发了,这也是现在有运维开发的原因,同时也是Python大热的原因之一。

Q:你好,我发现这本书,名称是 Linux集群和自动化运维。我想询问下,你们在生产环境中,采用的是什么自动化工具,是saltstack,puppet,还是ansible,你们,在这些自动化工具中进行了二次开发吗?

A:之前是Puppet,现在主要是Fabric | Ansible,目前很多自动化任务都是二次开发,像ansible也在进一些简单的二次开发以适应业务需要。

Q:我们一直用puppet,跟chef,ansible用起来确实比puppet方便很多吗,我也上网查了一些资料说ansible方便很多?楼主,请问技术转型到ansible你认为难度大吗?我觉得里面应该还是有很多坑的,呵呵。请赐教经验!谢谢!

A:其实还好,Ansible可以先在测试下部署,等测试得差不多的时候再慢慢的移过来,目前社区和资料挺多的。

END

原文发布于微信公众号 - 大数据(hzdashuju)

原文发表时间:2016-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏VRPinea

现有VR游戏已玩腻?VorpX为2D游戏带来沉浸式体验

5115
来自专栏腾讯Bugly的专栏

【重磅推荐】2015年移动应用质量大数据报告

2015年,随着移动智能设备的普及,移动端用户的增速明显放缓;相比之下,由于云服务、众筹平台、推广平台等基础设施和服务的不断改善,极大降低了创业的门槛,越来越多...

2866
来自专栏AI科技大本营的专栏

入华十年,一家互联网外企的“另类”视频广告模式

不少互联网外企在过去的十年里把分部开到了中国,它们大多数都是觊觎这里的庞大市场潜力。当然,也有例外。

1293
来自专栏云计算D1net

托管裸机能否威胁 IaaS 公有云快速增长

如果公有云当中的虚拟机系统还不足以满足需要,那么物理服务器也应该及时跟上以解决问题。 ? AppLovin是一套已经拥有四年发展历程的营销平台,其主要任务是在移...

2944
来自专栏云计算D1net

多云模型:不只是减轻风险的战略

采用多云战略实现更弹性的能力,并且避免供应商锁定的观念几乎和云本身的概念存在时间一样长,但是仍然很少看到有企业真的采纳这样的方案。将多云的使用作为减轻风险战略的...

3596
来自专栏CSDN技术头条

星环科技创始人兼CTO孙元浩:现代数据仓库的技术演变和关键特性

【CSDN现场报道】2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司...

2147
来自专栏DevOps时代的专栏

DevOps 测试在企业中如何落地?

互联网时代,企业越来越注重产品的快速迭代与交付,当然产品质量也是举足轻重。企业在有限的资源情况下,快速的步调意味着更多的挑战,本次演讲重点在于测试人员如何无缝连...

1514
来自专栏JAVA高级架构开发

漫画:什么是架构师?

说到这里,也给大家推荐一个架构交流学习群:614478470,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发...

1750
来自专栏BestSDK

什么样的大数据平台架构,才是最适合你的?

技术最终为业务服务,没必要一定要追求先进性,各个企业应根据自己的实际情况去选择自己的技术路径。   它不一定具有通用性,但从一定程度讲,这个架构...

2.4K6
来自专栏CSDN技术头条

移动应用如何埋点收集什么数据以便于统计分析?

国内比较普遍的第三方统计工具是友盟和talking data,在大多数的情况下这两个差别不大,但是如果你的app是游戏或者需要用到互联网金融的一些垂直细分统计,...

2748

扫码关注云+社区

领取腾讯云代金券