专栏首页听雨堂Mysql高效插入/更新数据

Mysql高效插入/更新数据

从tushare抓取到的财务数据,最开始只是想存下来,用的办法想简单点,是:插入--报错—update

但发现这个方法太蠢,异常会导致大量无效连接,改为:

        for idx,row in d2.iterrows():
            try:
                rs=db.getData("select f_Code,f_Time,%s from caiwu where f_Code=:1 and f_Time=:2"%fldname,row["code"],dat)
                if len(rs)==0:
                    db.doNonQuery("insert into caiwu (f_Code,f_Time,%s) values(:1,:2,:3)"%fldname,row["code"],dat,row[colname])
                else:
                    if rs[0][2] is None:
                        db.doNonQuery("update caiwu set %s=:1 where f_Code=:2 and f_Time=:3"%fldname,row[colname],row["code"],dat)
            except:
                log.errorlogger().exception("数据入库错误!")

运行没啥大问题,但就是太慢,取两年数据,万条左右,一早上还没全部入库。只得研究优化,结果发现mysql居然有专门的语法,可以插入记录,遇到重复记录则为自动更新:

ON DUPLICATE KEY UPDATE

上面的处理直接用一条sql语句就解决了:

INSERT INTO TABLE (a,c) VALUES (1,3) ON DUPLICATE KEY UPDATE c=c+1;

然后再进一步,批量入库也没问题,还能分别处理:

INSERT INTO TABLE (a,b,c) VALUES 
(1,2,3),
(2,5,7),
(3,3,6),
(4,8,2)
ON DUPLICATE KEY UPDATE b=VALUES(b);

简直不要太方便:

#数据入库:
#   d2:待入库dataframe,第一列为code,第二列为数值
#   dat:时间
#   fldname:数据在库中的字段名
def addtodb(d2,dat,fldname):    
    i=0
    while i<len(d2): 
        kvs=reduce(lambda x,y:"%s%s('%s' , '%s' , %s)"%(x,"" if x=="" else ",",y[0],dat,y[1]),d2.values[i:i+1000],"")
        sqlstr="insert into caiwu (f_Code,f_Time,%s) values %s ON DUPLICATE KEY UPDATE %s=VALUES(%s)"%(fldname,kvs,fldname,fldname)
        try:
            db.doNonQuery(sqlstr)
        except:
            log.errorlogger().exception("数据入库错误!")
        i+=1000    

测试,基本上瞬间入库!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Mysql高效插入/更新数据

    从tushare抓取到的财务数据,最开始只是想存下来,用的办法想简单点,是:插入--报错—update 但发现这个方法太蠢,异常会导致大量无效连接,改为: ...

    用户1075292
  • 一次数据库的整理的sql语句

    //查询以井结束的记录 SELECT f_wellnumber, SUBSTRING(f_wellnumber, 1, LEN(f_wellnumber) - ...

    用户1075292
  • 从MapX到MapXtreme2004[4]-标注AutoLabel

            好日子一去不复返了,原来总觉得Mapx很多地方设计得不是很自然,比如,feature和具体的feature之间的某些属性的关系,有时令人迷惑。但...

    用户1075292
  • Mysql高效插入/更新数据

    从tushare抓取到的财务数据,最开始只是想存下来,用的办法想简单点,是:插入--报错—update 但发现这个方法太蠢,异常会导致大量无效连接,改为: ...

    用户1075292
  • 画解算法 242-有效的字母异位词

    https://leetcode-cn.com/problems/valid-anagram/

    灵魂画师牧码
  • 【马文·明斯基诞辰92周年】AI先驱传奇一生,亲手导演“人工智能的冬天”

    【新智元导读】8月9日是著名计算机科学家、人工智能和人工神经网络的开拓者和奠基人马文·明斯基诞辰日。谨以此文缅怀这位为计算机科学和人工智能学科的建立和发展功勋卓...

    新智元
  • 行业案例丨看「互联网+医美」界新星新氧如何构建医美帝国?

    在“看脸”的社会,整形带来的不仅是外观上的美丽,更有人们在家庭中的幸福力、在工作中的领导力、在生活中的影响力,这也促使更多的人愿意为外貌投资。人们对美的认知和消...

    齿轮易创说互联网
  • CS224n 笔记1-自然语言处理与深度学习简介1 自然语言处理简介2 词向量(Word Vectors)3 基于奇异值分解(SVD)的方法4 基于迭代的算法-Word2vec

    1 自然语言处理简介 我们从讨论“什么是NLP”开始本章的内容 1.1 NLP有什么特别之处 自然(人工)语言为什么如此特别?自然语言是一个专门用来表达语义的系...

    致Great
  • 机器人手术大势所趋,何日才能进医保?

    ? 尽管达芬奇手术机器人价格昂贵,需要2000多万元一台,然而全国各地却争先恐后地引进,据了解,目前国内宫引进了29台达芬奇手术机器人,因具有减轻患者痛苦、减...

    机器人网
  • BBS论坛(五)

    zhang_derek

扫码关注云+社区

领取腾讯云代金券