专栏首页SRE运维实践听说你们都在用python

听说你们都在用python

序言

我以为有了蚊帐,就可以高枕无忧。。。。万万没想到,我把我和蚊子都放到了蚊帐里面,照样缠绵一晚上。。。

基础架构即服务,如果没有风,再好的服务都是虚拟的。

基础架构再好,不知道业务影响,也是屁用没有,服务高可用,是否影响业务,是否影响平台,其实还是需要知道业务架构的,才能知道这个服务是否对平台透明,是否对业务透明。。。透明是最好的了,用户无感知。

使用python来检测服务的高可用

先看一下服务检测的结果,下面是服务的检测日志,五秒钟检测一次:

以下是检测服务的脚本:

随手写的一个脚本,没啥格式,有兴趣的就看看,没兴趣的就拉倒,反正我写一次我就忘记我写过了,在这里重点阐述的是思想。

使用的场景是,用来测试分布式文件系统mogilefs服务是否可用,在这里不是使用常用的检测方式来检测服务是否可用,而是使用功能性测试的方式来进行检测。

上述的每一个方法,就是测试一项功能。

在分布式系统中,分布式文件系统是分布式存储的一种特例,而分布式文件系统和分布式存储的主要区别就是分布式文件系统一般提供了挂载的接口,而分布式存储一般是使用SDK的方式进行,而分布式文件系统也会提供SDK接口,但是这种接口会遵循POSIX规范,其实也就是unix文件系统的中read,wreite,open等操作,每种语言都会提供。

在上述的检测脚本中,不是看每个进程是否存活来进行检测,在进程端口监听的情况下,也有可能不能提供服务,例如进程hang住,进程假死等情况发生,当使用功能性测试的时候,就不存在了,所以在分布式文件系统中,主要就是测试:能不能创建文件,能不能下载文件,能不能查询文件,从而每隔几秒来检测一次,从而达到能正常提供服务的检测。

这种方式的检测好处在于,在生产环境中开辟一块测试的地方来进行测试,例如在分布式存储中的一个测试bucket,对于用户不可见,但是却可以进行读写测试。。。安全的测试最重要。。。每次生产出现问题了,如何测试服务是否可用?

检活脚本,不是单纯的看进程,看端口,而是看功能是否正常。

这种脚本,可以写的无比复杂,因为你要考虑各种场景,例如查询元数据来判断主控服务器是否正常;上传文件查看chunkserver功能是否正常;访问文件来查看前端负载均衡服务是否正常。。。场景太多,可以慢慢优化

当你有了这种检测脚本的时候,你就可以进行各种测试了,例如,将元数据库进行关闭,查看脚本的日志情况;将元数据服务器进行宕机,查看查看日志;将chunkserver进行关闭,来查看服务。。。

很多人在写java程序的时候,打死不愿意写一个test.html来判断服务是否正常。。我也是服。。。非要用端口进程的方式进行检测,测你妹啊。。。没准那个人死了,但是尸体还在。。。嗯。。。僵尸进程。。。

python?

其实。。。到处都在吹嘘python多么叼,各种模块,各种使用率,导致每个人都去看,去try。。。但是,有的时候,看看自己的需求,没准你会了,其实屁用没有。。。

重点还是在于你的规划,不是么。。。

就像你使用redis,其实也只有几种适用的场景。。。并不是万能的银弹。。。那么问题来了。。。什么标准才是标准呢????

看了分布式存储,最好的存储?是否全部都应该用分布式存储?

看看各种用的分布式,各种情况决然不同,各种各样的业务导致了各种各样的需求,考虑的东西不一样,从而使用的方法不同,那么问题来了,你是否能灵活使用这些工具???

看起来是一个死循环,你学一样工具,然后使用一样工具,然后看所有的东西都是这个工具。。。

那么问题来了,一个模块有很多,使用的场景也有很多,识别到它的优缺点,然后灵活使用,然后又要掌握这么多模块。。。你又花多少时间准备??

投入。。。实际产出比例。。。

最终的核心问题就是:你的规划是什么样的;你用python的出发点是什么样的?单纯的准备?有没有实际产出?写一个系统?写一个脚本?做一个监控玩玩?

当时间充足的时候可以玩玩,当有deadline的时候,那么可能只有一个选择。。。。好好珍惜现在,设想你的未来。。。。

不忘初心。。。风来。。。

一直以为有钱人都很跋扈,心都是黑的。长大后才发现,很多有钱人都懂得很多,经历很丰富,做事儿很认真,为人很宽厚,理性,比穷人更好相处----心灵毒鸡汤

其实相对于理想,梦想,野心。。。。谈钱更简单,这是最简单的方式。。。也是最直接的方式。。。契合了unix的设计思想。

本文分享自微信公众号 - SRE运维实践(gh_319dd73ec076),作者:NAN

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 故障自愈了解一下

    其实一个服务,一个进程,一个线程都是一样的,当一个服务能做到故障自愈,那么就会被人遗忘,一个自我能管理的服务是最好的,是最让人省心的。

    SRE运维实践
  • 闲聊微服务之服务注册中心

    服务,提供什么服务,有的叫服务中心,有的叫注册中心,有的叫服务注册中心,表达的都是同一个意思。

    SRE运维实践
  • 服务注册/发现-consul

    当系统的数量越来越多的时候,提供的各种系统接口基本都写在配置文件之中,从而在进行接口升级的时候,关联的系统总是要进行同步升级。。。强耦合了解一下,在程序的世界...

    SRE运维实践
  • Java程序员从阿里、京东、美团面试回来,这些面试题你会吗?

    最近有很多朋友去目前主流的大型互联网公司面试(阿里巴巴、京东、美团、滴滴),面试回来之后会发给我一些面试题。有些朋友轻松过关,拿到offer,但是有一些是来询问...

    用户2163671
  • 数据可视化到底有什么用?

    不过广义上,可视化无处不在, 打开浏览器, 网站就是个数据可视化, 背后是数据库密密麻麻的数据表, 到了你的浏览器就是浅显易懂的页面。

    小莹莹
  • LC322—零钱兑换

    给定不同面额的硬币 coins 和一个总金额 amount。编写一个函数来计算可以凑成总金额所需的最少的硬币个数。如果没有任何一种硬币组合能组成总金额,返回 -...

    Java架构师必看
  • Android开发框架之KJFrameForAndroid

    KJFrameForAndroid 又叫KJLibrary,是一个android的orm 和 ioc 框架。同时封装了android中的Bitmap与Http...

    非著名程序员
  • 蓝桥杯之奇怪的比赛

    对一个方阵转置,就是把原来的行号变列号,原来的列号变行号。例如,如下方阵: 1 2 3 4 5 6 7 8 ...

    Max超
  • 声网SDK开发者数量超10万,发起全球首个RTC生态圈Agora Plus

    全栈实时通信云服务商声网Agora.io(以下简称声网)在RTC 2017实时互联网大会上宣布,声网SDK服务全球超过10万+开发者,触达终端数10亿+,日通话...

    BestSDK
  • 【数据可视化】深度解析大数据可视化设计案例分析

    大数据可视化是个热门话题,在信息安全领域,也由于很多企业希望将大数据转化为信息可视化呈现的各种形式,以便获得更深的洞察力、更好的决策力以及更强的自动化处理能力,...

    陆勤_数据人网

扫码关注云+社区

领取腾讯云代金券