SQLAlchemy + MariaDB:MySQL服务器已经消失

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (1)
  • 关注 (0)
  • 查看 (317)

我知道之前已经问过这个问题,但我无法让它发挥作用。我正在编写一个应用程序来废弃网上的一些股票信息。抓取部分大约需要70分钟才能完成,我将SQLAlchemy对象传递给函数。在函数完成后,它应该将数据插入到数据库中的数据,这是我收到错误的时候。我猜MariaDB已关闭会议了吗?

码:

    with get_session() as session:
        stocks = session.query(Stock).filter(or_(Stock.market.like('%Large%'), Stock.market.like("%First North%"))).all()
        for stock, path in chrome.download_stock(stocks=stocks): # This function takes about 70 minutes, not using any session in here, only Stock objects
            # Starting to insert and get the error on the first insert

错误:sqlalchemy.exc.OperationalError:(_ mysql_exceptions.OperationalError)(2006,'MySQL服务器已经消失')

get_session()函数:

@contextmanager
def get_session(debug=False):
    engine = create_engine('mysql://root:pw@IP/DB', echo=debug, encoding='utf8', pool_recycle=300, pool_pre_ping=True)
    Base.metadata.create_all(engine)
    Session = sessionmaker(bind=engine)
    session = Session()
    try:
        yield session
        session.commit()
    except:
        session.rollback()
        raise
    finally:
        session.close()

我试图将pool_recycle减少到300秒并添加SQLAlchemny 1.2附带的新pool_pre_ping但没有任何效果。有任何想法吗?您认为它是在代码中还是在服务器端?

MariaDB:10.2.14

SQLAlchemy:1.2.7

编辑:开始调查MariaDB wait_timeout因为FrankerZ的评论有一些有趣的结果,首先来自mysql-command:

SHOW SESSION VARIABLES LIKE 'wait_timeout';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| wait_timeout  | 28800 |
+---------------+-------+
1 row in set (0.00 sec)

然后通过Python / SQLAlchemy:

print(session.execute("SHOW SESSION VARIABLES LIKE 'wait_timeout';").first())
('wait_timeout', '600')

对此有何解释?应该是问题吧?

提问于
用户回答回答于

至少有2个“wait_timeouts”; 这很令人困惑。

在连接之后,做

SET SESSION wait_timeout=12000

这将给你200分钟。

还要确保SQLAlchemy没有超时。(例如,PHP确实如此。)

热门问答

求云函数可用的Pandas压缩包,一直失败,出现多个C extension问题?

配置 https 配置完后报错?

女淘日记

杭州吱吱吱科技 · 站长 (已认证)

推荐已采纳

请检查服务器是否安装了代理?如有请尝试移除代理再尝试

另外,curl访问https时候需要确保服务器已经保存了证书,可以通过 curl -k --tlsv1 过滤

即时通信是否可以给小程序发送小卡片消息?

都快要考试了,从业者认证考试的准考证怎么还没发放?

您好,本月正式考试通知已经全部发送完毕。已安排考试中心重新为您发送,请注意查收站内信、邮件、短信及腾讯云助手公众号消息 如有疑问,可联系考试中心; 电话:400-8006213/13810321135 邮箱:qcloud@ats.org.cn... 展开详请

为什么绑定了域名之后的企业邮箱发送到Gmail被事儿别为垃圾邮件?

女淘日记

杭州吱吱吱科技 · 站长 (已认证)

推荐
可以通过设置DMARC来解决邮件被其他邮局识别为垃圾邮件的问题 TXT记录值为:v=spf1 include:spf.mail.qq.com ~all 详细参考记录: https://work.weixin.qq.com/help?person_id=1&doc_id=524&h...... 展开详请

腾讯云cos如何通过api获取文件的永久url?

galenye

腾讯 · 工程师 (已认证)

对象存储专业搬砖工
推荐
如果文件是公有读的,那直接拼路径即访问URL,格式如 https://<Bucket>.cos.<Region>.myqcloud.com/<Key> ,不需要接口。 如果使用的sdk,比如js sdk,则可以使用 getObjectUrl 方法 var url = cos.ge...... 展开详请

扫码关注云+社区

领取腾讯云代金券