python多线程操作mysq

原创

bosh123

修改于 2021-01-28 10:38:55

3.6K0

修改于 2021-01-28 10:38:55

文章被收录于专栏：my notebook

参考链接：https://blog.csdn.net/weixin_43064185/article/details/90634981

https://blog.csdn.net/zer_o_o/article/details/86742430

使用多线程操作mysql数据库时，如果使用普通的连接，会出现数据重复的问题，应该使用数据库连接池

解决方法：使用数据库连接池，并且每次操作都从数据库连接池获取数据库操作句柄，操作完关闭连接返回数据库连接池

如果不使用数据库连接池, 直接使用多线程去操作数据库, 会遇到资源竞争, 争夺cursor游标, Thread对象的Lock和Rlock可以实现简单的线程同步,对cursor进行加锁,但是这个行为,反其道而行。经测试加锁还不如不用多线程，而且执行速度会比正常慢

from DBUtils.PooledDB import PooledDB
import traceback
from threading import Thread
 
 
# 基础类
class Base:
    """
    用于连接和关闭
    """
 
    def __init__(self):
        seimport pymysql
lf.pool = self.create_pool()
 
    def create_pool(self):
        """
        创建数据库连接池
        :return: 连接池
        """
        pool = PooledDB(creator=pymysql,
                        maxconnections=0,  # 连接池允许的最大连接数，0和None表示不限制连接数
                        mincached=4,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建
                        maxcached=0,  # 链接池中最多闲置的链接，0和None不限制
                        maxusage=1,  # 一个链接最多被重复使用的次数，None表示无限制
                        blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错
                        host='127.0.0.1',  # 此处必须是是127.0.0.1
                        port=3306,
                        user='root',
                        passwd='123456',
                        db='localhost',
                        use_unicode=True,
                        charset='utf8')
        return pool
 
    def save_mysql(self, sql, args):
        """
        保存数据库
        :param sql: 执行sql语句
        :param args: 添加的sql语句的参数 list[tuple]
        """
        try:
            db = self.pool.connection()  # 连接数据池
            cursor = db.cursor()  # 获取游标
            cursor.executemany(sql, args)
            db.commit()
            cursor.close()
            db.close()
        except:
            traceback.print_exc()
 
    # 插入数据
    def insertdata(self, insert, data):
        args = [(id, name) for id, name in data if id and name]
        self.save_mysql(insert, args)

悲伤的夏洛特@席玉铎666