有福了!六步使用Python写一个小小的自动化项目监控

本文由马哥教育Python自动化实战班5期学员推荐,转载自互联网,作者为 Defshine,内容略经小编改编和加工,观点跟作者无关,最后感谢作者的辛苦贡献与付出。

在公司里做的一个接口系统,主要是对接第三方的系统接口,所以,这个系统里会和很多其他公司的项目交互。随之而来一个很蛋疼的问题,这么多公司的接口,不同公司接口的稳定性差别很大,访问量大的时候,有的不怎么行的接口就各种出错了。

这个接口系统刚刚开发不久,整个系统中,处于比较边缘的位置,不像其他项目,有日志库,还有短信告警,一旦出问题,很多情况下都是用户反馈回来,所以,我的想法是,拿起python,为这个项目写一个监控。如果在调用某个第三方接口的过程中,大量出错了,说明这个接口有有问题了,就可以更快的采取措施。

项目的也是有日志库的,所有的info,error日志都是每隔一分钟扫描入库,日志库是用的mysql,表里有几个特别重要的字段:

level 日志级别 message 日志内容 file_name Java代码文件 log_time 日志时间

有日志库,就不用自己去线上环境扫日志分析了,直接从日志库入手。由于日志库在线上时每隔1分钟扫,那我就去日志库每隔2分钟扫一次,如果扫到有一定数量的error日志就报警,如果只有一两条错误就可以无视了,也就是短时间爆发大量错误日志,就可以断定系统有问题了。报警方式就用发送邮件,所以,需要做下面几件事情:

1. 操作MySql。 2. 发送邮件。 3. 定时任务。 4. 日志。 5. 运行脚本。

明确了以上几件事情,就可以动手了。

一、操作数据库

使用MySQLdb这个驱动,直接操作数据库,主要就是查询操作。

获取数据库的连接:

defget_con(): host="127.0.0.1" port=3306 logsdb="logsdb" user="root" password="never tell you" con=MySQLdb.connect(host=host,user=user,passwd=password,db=logsdb,port=port,charset="utf8") returncon

从日志库里获取数据,获取当前时间之前2分钟的数据,首先,根据当前时间进行计算一下时间。之前,计算有问题,现在已经修改。

defcalculate_time(): now=time.mktime(datetime.now().timetuple())-60*2 result=time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(now)) returnresult

然后,根据时间和日志级别去日志库查询数据

defget_data(): select_time=calculate_time() logger.info("select time:"+select_time) sql="select file_name,message from logsdb.app_logs_record "\ "where log_time >"+"'"+select_time+"'"\ "and level="+"'ERROR'"\ "order by log_time desc" conn=get_con() cursor=conn.cursor() cursor.execute(sql) results=cursor.fetchall() cursor.close() conn.close() returnresults

二、发送邮件

使用python发送邮件比较简单,使用标准库smtplib就可以

这里使用163邮箱进行发送,你可以使用其他邮箱或者企业邮箱都行,不过host和port要设置正确。

defsend_email(content): sender="sender_monitor@163.com" receiver=["rec01@163.com","rec02@163.com"] host='smtp.163.com' port=465 msg=MIMEText(content) msg['From']="sender_monitor@163.com" msg['To']="rec01@163.com,rec02@163.com" msg['Subject']="system error warning" try: smtp=smtplib.SMTP_SSL(host,port) smtp.login(sender,'123456') smtp.sendmail(sender,receiver,msg.as_string()) logger.info("send email success") exceptException,e: logger.error(e)

三、定时任务

使用一个单独的线程,每2分钟扫描一次,如果ERROR级别的日志条数超过5条,就发邮件通知。

deftask(): whileTrue: logger.info("monitor running") results=get_data() ifresultsisnotNoneandlen(results)>5: content="recharge error:" logger.info("a lot of error,so send mail") forrinresults: content+=r[1]+'\n' send_email(content) sleep(2*60)

四、日志

为这个小小的脚本配置一下日志log.py,让日志可以输出到文件和控制台中。

# coding=utf-8 importlogging logger=logging.getLogger('mylogger') logger.setLevel(logging.DEBUG) fh=logging.FileHandler('monitor.log') fh.setLevel(logging.INFO) ch=logging.StreamHandler() ch.setLevel(logging.INFO) formatter=logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') fh.setFormatter(formatter) ch.setFormatter(formatter) logger.addHandler(fh) logger.addHandler(ch)

所以,最后,这个监控小程序就是这样的app_monitor.py

# coding=utf-8 importthreading importMySQLdb fromdatetimeimportdatetime importtime importsmtplib fromemail.mime.textimportMIMEText fromlogimportlogger defget_con(): host="127.0.0.1" port=3306 logsdb="logsdb" user="root" password="never tell you" con=MySQLdb.connect(host=host,user=user,passwd=password,db=logsdb,port=port,charset="utf8") returncon defcalculate_time(): now=time.mktime(datetime.now().timetuple())-60*2 result=time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(now)) returnresult defget_data(): select_time=calculate_time() logger.info("select time:"+select_time) sql="select file_name,message from logsdb.app_logs_record "\ "where log_time >"+"'"+select_time+"'"\ "and level="+"'ERROR'"\ "order by log_time desc" conn=get_con() cursor=conn.cursor() cursor.execute(sql) results=cursor.fetchall() cursor.close() conn.close() returnresults defsend_email(content): sender="sender_monitor@163.com" receiver=["rec01@163.com","rec02@163.com"] host='smtp.163.com' port=465 msg=MIMEText(content) msg['From']="sender_monitor@163.com" msg['To']="rec01@163.com,rec02@163.com" msg['Subject']="system error warning" try: smtp=smtplib.SMTP_SSL(host,port) smtp.login(sender,'123456') smtp.sendmail(sender,receiver,msg.as_string()) logger.info("send email success") exceptException,e: logger.error(e) deftask(): whileTrue: logger.info("monitor running") results=get_data() ifresultsisnotNoneandlen(results)>5: content="recharge error:" logger.info("a lot of error,so send mail") forrinresults: content+=r[1]+'\n' send_email(content) time.sleep(2*60) defrun_monitor(): monitor=threading.Thread(target=task) monitor.start() if__name__=="__main__": run_monitor()

五、运行脚本

脚本在服务器上运行,使用supervisor进行管理。

在服务器(centos6)上安装supervisor,然后在/etc/supervisor.conf中加入一下配置:

[program:app-monitor] command=python/root/monitor/app_monitor.py directory=/root/monitor user=root

然后在终端中运行supervisord启动supervisor。

在终端中运行supervisorctl,进入shell,运行status查看脚本的运行状态。

六、总结

这个小监控思路很清晰,还可以继续修改,比如:监控特定的接口,发送短信通知等等。

因为有日志库,就少了去线上正式环境扫描日志的麻烦,所以,如果没有日志库,就要自己上线上环境扫描,在正式线上环境一定要小心哇~


————开班喜讯————

温馨提醒:马哥教育Python自动化开发班将于8月28日在北京海淀上地开班,小班制魔鬼式授课,钜惠限时抢位中。

马哥教育2017年Python自动化运维开发实战班,马哥联合BAT、豆瓣等一线互联网Python开发达人,根据目前企业需求的Python开发人才进行了深度定制,加入了大量一线互联网公司:大众点评、饿了么、腾讯等生产环境真是项目,课程由浅入深,从Python基础到Python高级,让你融汇贯通Python基础理论,手把手教学让你具备Python自动化开发需要的前端界面开发、Web框架、大监控系统、CMDB系统、认证堡垒机、自动化流程平台六大实战能力,让你从0开始蜕变成Hold住年薪20万的Python自动化开发人才

Python学习免费交流QQ群:542679406(千人群)

本文分享自微信公众号 - 马哥Linux运维(magedu-Linux)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序猿DD

浅谈微服务基建的逻辑

这篇文章主要目的是面向初接触微服务的朋友简单介绍微服务基础建设所需要的各个模块以及缘由。 起点 首先,我们得有一个“服务”。根据定义,我们可以把每个服务实例都视...

37480
来自专栏FreeBuf

五大安全研究者必用的搜索引擎

CNN 曾在 2013 年 4 月 8 日 的新闻报道中称 Shodan 是“互联网上最可怕的搜索引擎”。 甚至光是听它的名字,就让人觉得不寒而栗! 那只是三年...

29270
来自专栏程序员的SOD蜜

闲话权限系统的设计

一、权限的本质 权限管理,首先要理清权限的本质:权限就是对受保护资源的有限许可访问。 理解了权限的本质,就好谈权限的管理了。 权限就是对受保护资源的有限许可访问...

43380
来自专栏黑白安全

利用kali linux制作网站钓鱼攻击

社会工程学:一种通过对受害者心理弱点、本能反应、好奇心、信任、贪婪等心理陷阱进行诸如欺骗、伤害等危害手段取得自身利益的手法。

73610
来自专栏ImportSource

微服务与API 网关(上): 为什么需要API网关?

本文是来自于Macro在一次大会上的一个分享。 本系列共有两个部分,主要关注我们如何以及为什么要在我们的微服务应用中部署API 网关。第二部分主要关注我们如何把...

91860
来自专栏Java进阶架构师

dubbo源码解析-集群容错架构设计

本来是想把整个dubbo源码解析一次性弄完,再做成一个系列来发布的,但是正巧最近有位好朋友要去杭州面试,就和我交流了一下.本着对dubbo源码略有心得的心态,在...

14240
来自专栏做全栈攻城狮

小白也可以做网站,带你免费制作前自动抢版电影电视剧视频网站。

对于抢版电影,大多数人可能并不陌生,新电影上映,对于我这种不爱看电影的小逗比,也想一览究竟。

96430
来自专栏Brian

VPC 深入浅出解析

概述 今天给大家介绍一下博主最近做的一个项目:VPC.VPC(Virtual Private Cloud)虚拟私有云,租户可以在云中预置一个逻辑隔离分区,自己定...

78680
来自专栏编程一生

业务高速增长场景下的稳定性建设实战

34920
来自专栏FreeBuf

黑客是如何通过RDP远程桌面服务进行攻击的

企业每年在软件和硬件和防止外部网络攻击方面的投资花费有数十亿美元。在安全方面花的钱多就带面安全吗?这些企业无疑是搬起石头砸自己的脚。 ...

401100

扫码关注云+社区

领取腾讯云代金券