通过python实现从csv文件到PostgreSQL的数据写入

python与大数据分析

发布于 2022-07-07 15:22:58

2.5K0

发布于 2022-07-07 15:22:58

正在规划一个指标库，用到了PostgresSQL，花了一周做完数据初始化，准备导入PostgreSQL，通过向导导入总是报错，通过python沿用之前的方式也有问题，只好参考网上案例进行摸索。

圆满实现，可以开始下一步工作。

PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样，PostgreSQL也可以用许多方法扩展，例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。另外，因为许可证的灵活，任何人都可以以任何目的免费使用、修改和分发PostgreSQL。

PostgreSQL和Python的交互是通过psycopg2包进行的。

import psycopg2 as pg

resourcefilenames = 'D:\\dimregion.csv'
targettablename = 'dim_region'

conn = pg.connect(database="runoobdb", 
                  user="postgres", 
                  password="****", 
                  host="127.0.0.1", port="5432")
print("Opened database successfully")
cur = conn.cursor()

with open(resourcefilenames, 'r', encoding='utf-8') as f:
    # 跳过表头
    next(f)
    cur.copy_from(f, targettablename, sep=',', )

conn.commit()