首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Mysql高效插入/更新数据

Mysql高效插入/更新数据

作者头像
用户1075292
发布2018-01-23 10:46:55
2.7K0
发布2018-01-23 10:46:55
举报
文章被收录于专栏:听雨堂听雨堂

从tushare抓取到的财务数据,最开始只是想存下来,用的办法想简单点,是:插入--报错—update

但发现这个方法太蠢,异常会导致大量无效连接,改为:

        for idx,row in d2.iterrows():
            try:
                rs=db.getData("select f_Code,f_Time,%s from caiwu where f_Code=:1 and f_Time=:2"%fldname,row["code"],dat)
                if len(rs)==0:
                    db.doNonQuery("insert into caiwu (f_Code,f_Time,%s) values(:1,:2,:3)"%fldname,row["code"],dat,row[colname])
                else:
                    if rs[0][2] is None:
                        db.doNonQuery("update caiwu set %s=:1 where f_Code=:2 and f_Time=:3"%fldname,row[colname],row["code"],dat)
            except:
                log.errorlogger().exception("数据入库错误!")

运行没啥大问题,但就是太慢,取两年数据,万条左右,一早上还没全部入库。只得研究优化,结果发现mysql居然有专门的语法,可以插入记录,遇到重复记录则为自动更新:

ON DUPLICATE KEY UPDATE

上面的处理直接用一条sql语句就解决了:

INSERT INTO TABLE (a,c) VALUES (1,3) ON DUPLICATE KEY UPDATE c=c+1;

然后再进一步,批量入库也没问题,还能分别处理:

INSERT INTO TABLE (a,b,c) VALUES 
(1,2,3),
(2,5,7),
(3,3,6),
(4,8,2)
ON DUPLICATE KEY UPDATE b=VALUES(b);

简直不要太方便:

#数据入库:
#   d2:待入库dataframe,第一列为code,第二列为数值
#   dat:时间
#   fldname:数据在库中的字段名
def addtodb(d2,dat,fldname):    
    i=0
    while i<len(d2): 
        kvs=reduce(lambda x,y:"%s%s('%s' , '%s' , %s)"%(x,"" if x=="" else ",",y[0],dat,y[1]),d2.values[i:i+1000],"")
        sqlstr="insert into caiwu (f_Code,f_Time,%s) values %s ON DUPLICATE KEY UPDATE %s=VALUES(%s)"%(fldname,kvs,fldname,fldname)
        try:
            db.doNonQuery(sqlstr)
        except:
            log.errorlogger().exception("数据入库错误!")
        i+=1000    

测试,基本上瞬间入库!

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-10-14 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档