超级简陋的采集部署运维。

用户7138673

发布于 2022-09-21 11:17:26

2960

发布于 2022-09-21 11:17:26

文章被收录于专栏：大大的小数据

采集程序多了后，需要部署运维了。

1、读取每个csv文件的行数。

2、写入运维csv。

3、读取运维CSV的最后第二行和最后一行,计算最后一行减去最后第二行的数值。

4、把结果推送到邮件，邮件关联微信QQ邮箱提醒。

5、任务计划程序的坑。

###########################

1、读取每个csv文件的行数。

import csv
import datetime
import pandas as pd

with open('xxx大数据.csv', 'r') as f:
    data1 = len(f.readlines())

2、写入运维csv

    with open('采集部署运维2020.10.25.csv', 'a+', newline = '\n')as f:
        w = csv.writer(f)
        w.writerow([t1,t2,data1,data2,data3,data4,data5,data6])
        print([t1,t2,data1,data2,data3,data4,data5,data6])

3、读取运维CSV的最后第二行和最后一行,计算最后一行减去最后第二行的数值

with open('采集部署运维2020.10.25.csv', 'r', newline = '\n')as f:
    lines = f.readlines()
    print(int(lines[-1].split(',')[2])-int(lines[-2].split(',')[2]))

4、把结果推送到邮件，邮件关联微信QQ邮箱提醒。

#邮件推送
    import yagmail
    yag_server = yagmail.SMTP(user='3930@qq.com', password='fxmqhobgdi', host='smtp.qq.com',encoding='GBK')
    email_to = ['1658@qq.com',]
    import datetime
    t = datetime.date.today()
    email_title = str(heji)
    print(email_title)
    email_content = ''
    
    yag_server.send(email_to, email_title, email_content)
    yag_server.close()

5、任务计划程序的坑。不能像爬虫一样直接运行，先找到默认的运行程序C:\Windows\py.exe，添加参数写python脚本的位置。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-10-26，如有侵权请联系 cloudcommunity@tencent.com 删除

运维