Pymysql 连接池操作

用户3578099

发布于 2020-11-03 10:15:39

3.9K0

发布于 2020-11-03 10:15:39

问题

在用python写后端服务时候，需要与mysql数据库进行一些数据查询或者插入更新等操作。启动服务后接口运行一切正常，隔了第二天去看服务日志就会报错，问题如下：

pymysql.err.OperationalError: (2006, "MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))")

MySQL默认的wait_timeout时间28800秒，即8小时，超过8小时，MySQL就会放弃连接。MySQL默认设置的时间是8小时，可以通过运行show variables like ‘%timeout%’;这个SQL即可查看到，时间根据自己业务而定。

因此，当第二天早上前端调用接口时候，mysql连接失败，无法获取数据或者更新数据。

解决办法

1.修改MySQL默认的wait_timeout时间，更改为24小时；但治标不治本，长时间占用连接，总会有把mysql连接占满，导致其它的请求连接无法进行；
2.使用连接池的方式，自定义执行SQL，只需要在每次操作前，从连接池中连接，操作数据结束后，关闭连接即可。

代码

最终采用连接池的方式避免出现这种问题，写一个操作数据库的工具函数，后续需要处理的时候直接调用即可。

定义连接池：

import os
import pymysql
import configparser
from DBUtils.PooledDB import PooledDB


MODULE_REAL_DIR = os.path.dirname(os.path.realpath(__file__))

config = configparser.ConfigParser()
config.read(MODULE_REAL_DIR + '/../conf/config.conf')

host = config.get('MYSQL_FORMAL_DB', 'host')
user = config.get('MYSQL_FORMAL_DB', 'user')
pwd = config.get('MYSQL_FORMAL_DB', 'pwd')
db = config.get('MYSQL_FORMAL_DB', 'db')

POOL = PooledDB(
  creator=pymysql,  # 使用链接数据库的模块
  maxconnections=6,  # 连接池允许的最大连接数，0和None表示不限制连接数
  mincached=2,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建
  maxcached=5,  # 链接池中最多闲置的链接，0和None不限制
  maxshared=1,  # 链接池中最多共享的链接数量，0和None表示全部共享
  blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错
  maxusage=None,  # 一个链接最多被重复使用的次数，None表示无限制
  setsession=[],  # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]
  ping=0,
  # ping MySQL服务端，检查是否服务可用。
  # 如：0 = None = never,
  # 1 = default = whenever it is requested,
  # 2 = when a cursor is created,
  # 4 = when a query is executed,
  # 7 = always
  host=host,
  port=3306,
  user=user,
  password=pwd,
  database=db,
  charset='utf8'
)

定义基本操作：

from db_utils import POOL
import pymysql


def create_conn():
  conn = POOL.connection()
  # cursor = conn.cursor(pymysql.cursors.DictCursor)
  cursor = conn.cursor()
  return conn, cursor


def close_conn(conn, cursor):
  conn.close()
  cursor.close()


def select_one(sql, args):
  conn, cur = create_conn()
  try:
    cur.execute(sql, args)
    result = cur.fetchone()
    close_conn(conn, cur)
    return result
  except Exception as e:
    print("select one except ", args)
    close_conn(conn, cur)
    return None


def select_all(sql, args):
  conn, cur = create_conn()
  try:
    cur.execute(sql, args)
    result = cur.fetchall()
    close_conn(conn, cur)
    return result
  except Exception as e:
    print("select all except ", args)
    close_conn(conn, cur)
    return None


def insert_one(sql, args):
  conn, cur = create_conn()
  try:
    result = cur.execute(sql, args)
    conn.commit()
    close_conn(conn, cur)
    return True
  except Exception as e:
    print("insert except ", args)
    conn.rollback()
    close_conn(conn, cur)
    return False


def delete_one(sql, args):
  conn, cur = create_conn()
  try:
    result = cur.execute(sql, args)
    conn.commit()
    close_conn(conn, cur)
    return True
  except Exception as e:
    print("delete except ", args)
    conn.rollback()
    close_conn(conn, cur)
    return False

def update_one(sql, args):
  conn, cur = create_conn()
  try:
    result = cur.execute(sql, args)
    conn.commit()
    close_conn(conn, cur)
    return True
  except Exception as e:
    print("update except ", args)
    conn.rollback()
    return False