腾讯云数据仓库 PostgreSQL：使用python将linux日志导入数据仓库

云数据仓库PostgreSQL（CDWPG，原名Snova） 兼容 Greenplum 开源数据仓库，是一种基于 MPP（大规模并行处理）架构的数仓服务。
借助于 Snova，您可以使用丰富的 PostgreSQL 开源生态工具，实现对 Snova 中海量数据的即席查询分析、ETL 处理及可视化探索；
还可以借助 Snova 云端数据无缝集成特性，轻松分析位于 COS、TencentDB、ES 等数据引擎上的 PB 级数据。
                                                                                            ----以上摘自官网。

#coding=utf-8
__author__ = 'BH8ANK'
import psycopg2

f = open('/var/log/messages')
#按行读取
line = f.readlines()
#日志总行数
row = len(line)
print(row)

#连接数据库并创建新表test,
conn = psycopg2.connect(dbname="postgres", user="bh8anktest",password="YourPassword", host="xx.xx.xx.xx", port="5436")
cur = conn.cursor()
cur.execute("CREATE TABLE test (date text,logs text);")

i = 1
while i < row:
    #日期时间的格式化
    log = line[i].split(' ',3)#split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则按照从前往后的顺序匹配，分隔为 num+1 个子字符串
    date = log[0] +'-'+ log[1] +'-'+ log[2]
    if "'" in log[3]:
        log[3] = log[3].replace("'","''")
    print(log[3])
    sql_txt = "insert into test (date,logs) values(" +"'"+ date + "'"+','+"'''"+log[3]+"'''"+');'
    print(sql_txt)
    cur.execute(sql_txt)
    conn.commit()
    i = i+1

#conn.commit()
conn.close()

print('数据导入完成')