专栏首页python3基于python实现日志收集

基于python实现日志收集

脚本:

#! /usr/bin/python
# encoding:utf-8

import paramiko
import time
import os
import re
import codecs
import commands
from time import  localtime
from datetime import datetime,date

# 执行命令
def sftp_exec_command(command):
    list = []
    try:
        ssh_client = paramiko.SSHClient()
        ssh_client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
        ssh_client.connect(host, 22, user, password)
        std_in, std_out, std_err = ssh_client.exec_command(command)
        for line in std_out:
            list.append(line.strip("\n"))
        ssh_client.close()
        return list
    except Exception, e:
        print e

# 上传文件
def sftp_upload_file(server_path, local_path):
    try:
        t = paramiko.Transport((host, 22))
        t.connect(username=user, password=password)
        sftp = paramiko.SFTPClient.from_transport(t)
        sftp.put(local_path, server_path)
        t.close()
    except Exception, e:
        print e

# 下载文件
def sftp_down_file(server_path, local_path):
    try:
        t = paramiko.Transport((host, 22))
        t.connect(username=user, password=password)
        sftp = paramiko.SFTPClient.from_transport(t)
        sftp.get(server_path, local_path)
        t.close()
    except Exception, e:
        print e

# 读配置文件
def read_conf(loc_conf):
    l = []
    conf = open(loc_conf, 'r');
    for line in conf:
        dic = dict()
        if  line.startswith('host'):
            lst = line.strip().split(',')
            for i in xrange(len(lst)):
                str = lst[i]
                idx = str.index('=')
                key = str[0:idx]
                value = str[idx + 1:]
                dic[key] = value
            l.append(dic)
    return l

#d 读配置文件,返回列表List
conf = read_conf('E:/applog/log.cnf')

# 指定本地保存路径
target_log_dir = "E:/applog/"
today = time.strftime('%Y%m%d')
now = time.strftime('%H%M%S')

# 创建当天目录
local_today = target_log_dir+today
isExists = os.path.exists(local_today)
# cmd_find = "find %s -mtime 0 -name '*'" %log_path
if not isExists:
    os.mkdir(local_today)
    print 'Sucessfully created today dir: %s' %local_today

# 记录日志
log_file = local_today + '/collect.log'
print log_file
collect_log = file(log_file, 'a+')

# if __name__ == '__main__':
    # sftp_exec_command("df -h")
    # sftp_upload_file("/home/oracle/test.html", "D:/doubanhtml/douban0.html")

    # sftp_down_file("/u01/app/oracle/diag/rdbms/orcl/orcl/trace/alert_orcl.log", "D:/alert_orcl.log")

if __name__ == '__main__':
    for a in xrange(len(conf)):
        # 遍历配置文件列表
        host = conf[a]['host']
        port = 22
        timeout = 30
        user = conf[a]['user']
        password = conf[a]['password']
        app_name = conf[a]['name']
        app_path = conf[a]['path']
        # password = raw_input("Input your password plz:")
        # 创建程序目录
        local_app = target_log_dir + today + '/' + app_name

        isExists = os.path.exists(local_app)
        # cmd_find = "find %s -mtime 0 -name '*.trc'" %log_path
        if not isExists:
            os.makedirs(local_app)
            print >>collect_log,'*******Sucessfully created app directory : %s*******' %local_app
            collect_log.write('\n')

        # 将远端日志路径传入app_path_list,进行遍历抓取
        app_path_list = []
        app_path_list.append(app_path)
        for log_path in app_path_list:
            print >>collect_log,'====starting get logs of app:%s->%s->%s====' %(app_name,host,log_path)
            collect_log.write('\n')
            cmd_find = "find %s -newermt %s -name '*.*'" % (log_path,today)
            lt = sftp_exec_command(cmd_find)
            print >>collect_log,'--Sucessfully get logs:'
            for each in lt:
                # 取文件名
                filename = each.split('/')[-1]
                local_app_log = local_app + '/' + filename
                # alert_path_final=alert_path.decode('unicode-escape').encode('utf-8')
                sftp_down_file(each, local_app_log)
                print >>collect_log,each
            collect_log.write('\n')

配置文件 log.cnf:

host=192.168.48.10,user=oracle,password=oracle,path=/u01/app/oracle/diag/rdbms/orcl/orcl/trace,name=ora
host=192.168.48.10,user=oracle,password=oracle,path=/home/oracle,name=ora_home

根据需要修改即可。

另外需要实现建好本地外层路径,更改路径后在Linux下也可执行。也可以使用pyinstaller打包成exe执行。

收集日志 collect.log

*******Sucessfully created app directory : E:/applog/20171207/ora*******

====starting get logs of app:ora->192.168.48.10->/u01/app/oracle/diag/rdbms/orcl/orcl/trace====

--Sucessfully get logs:
/u01/app/oracle/diag/rdbms/orcl/orcl/trace/test.trc

*******Sucessfully created app directory : E:/applog/20171207/ora_home*******

====starting get logs of app:ora_home->192.168.48.10->/home/oracle====

--Sucessfully get logs:
/home/oracle/201712061.trc
/home/oracle/.viminfo
/home/oracle/.bash_history
/home/oracle/oracheck/oracheck_171126.log
/home/oracle/20171206.trc

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

推荐阅读

  • 远程办公经验为0,如何将日常工作平滑过度到线上?

    我是一名创业者,我的公司(深圳市友浩达科技有限公司)在2018年8月8日开始运营,现在还属于微型公司。这个春节假期,我一直十分关注疫情动向,也非常关心其对公司带来的影响。

    TVP官方团队
    TAPD 敏捷项目管理腾讯乐享企业邮箱企业编程算法
  • 数据中台,概念炒作还是另有奇效? | TVP思享

    作者简介:史凯,花名凯哥,腾讯云最具价值专家TVP,ThoughtWorks数据智能业务总经理。投身于企业数字化转型工作近20年。2000年初,在IBM 研发企业级中间件,接着加入埃森哲,为大型企业提供信息化架构规划,设计,ERP,云平台,数据仓库构建等技术咨询实施服务,随后在EMC负责企业应用转型业务,为企业提供云迁移,应用现代化服务。现在专注于企业智能化转型领域,是数据驱动的数字化转型的行业布道者,数据中台的推广者,精益数据创新体系的创始人,2019年荣获全球Data IQ 100人的数据赋能者称号,创业邦卓越生态聚合赋能官TOP 5。2019年度数字化转型专家奖。打造了行业第一个数据创新的数字化转型卡牌和工作坊。创建了精益数据创新方法论体系构建数据驱动的智能企业,并在多个企业验证成功,正在向国内外推广。

    TVP官方团队
    大数据数据分析企业
  • 扩展 Kubernetes 之 CRI

    使用 cri-containerd 的调用流程更为简洁, 省去了上面的调用流程的 1,2 两步

    王磊-AI基础
    Kubernetes
  • 扩展 Kubernetes 之 Kubectl Plugin

    kubectl 功能非常强大, 常见的命令使用方式可以参考 kubectl --help,或者这篇文章

    王磊-AI基础
    Kubernetes
  • 多种登录方式定量性能测试方案

    最近接到到一个测试任务,某服务提供了两种登录方式:1、账号密码登录;2、手机号+验证码登录。要对这两种登录按照一定的比例进行压测。

    八音弦
    测试服务 WeTest
  • 线程安全类在性能测试中应用

    首先验证接口参数签名是否正确,然后加锁去判断订单信息和状态,处理用户增添VIP时间事务,成功之后释放锁。锁是针对用户和订单的分布式锁,使用方案是用的redis。

    八音弦
    安全编程算法
  • 使用CDN(jsdelivr) 优化博客访问速度

    PS: 此篇文章适用于 使用 Github pages 或者 coding pages 的朋友,其他博客也类似.

    IFONLY@CUIT
    CDNGitGitHub开源
  • 扩展 Kubernetes 之 CNI

    Network Configuration 是 CNI 输入参数中最重要当部分, 可以存储在磁盘上

    王磊-AI基础
    Kubernetes
  • 聚焦【技术应变力】云加社区沙龙online重磅上线!

    云加社区结合特殊时期热点,挑选备受关注的音视频流量暴增、线下业务快速转线上、紧急上线防疫IoT应用等话题,邀请众多业界专家,为大家提供连续十一天的干货分享。从视野、预判、应对等多角度,帮助大家全面提升「技术应变力」!

    腾小云
  • 京东购物小程序购物车性能优化实践

    它是小程序开发工具内置的一个可视化监控工具,能够在 OS 级别上实时记录系统资源的使用情况。

    WecTeam
    渲染JavaScripthttps网络安全缓存

扫码关注云+社区

领取腾讯云代金券