专栏首页仙士可博客php一次性大量数据入库解决方法

php一次性大量数据入库解决方法

当有业务需求需要一次性循环n条数据,插入或更新数据库时,如果单纯的循环,插入/更新,会消耗太多的数据库资源

一下是一种简单的解决方案

数据库的insert 是可以批量更新的,当有大量数据循环insert时,可以将数据先保留不执行插入命令,到最后一条时一次性插入,例如tp的addAll()方法;

数据库的update 如果使用case when 的话,也是可以批量更新的,本人在百度上找到了一个基于tp的saveAll()方法,用于更新数据

本文主要讲关于批量insert;

例:

生成一个订单

正常情况的语句为:

INSERT INTO order (`goods_id`,`num`,`price`) VALUES (1,1,'10.00');
//封装成函数
function add_order($goods_id,$num,$price){
$db->query("INSERT INTO order (`goods_id`,`num`,`price`) VALUES ($goods_id,$num,$price)");
}

假设有一个用户,一次性将购物车的1000个商品结算成订单,生成1000个订单时;

for ($i=0;$i<1000;$i++){
$db->query("INSERT INTO order (`goods_id`,`num`,`price`) VALUES ($goods_id,$num,$price)");
}
//这样的话会导致服务器资源占用过大,网站卡死
//所以,我们可以
$sql = "INSERT INTO order (`goods_id`,`num`,`price`) VALUES ";
for ($i=0;$i<1000;$i++){
    if($i==0){
    $sql.="($goods_id,$num,$price)";
    }else{
    $sql.=",($goods_id,$num,$price)";
    }
}
$db->query($sql);

大概意思就是这样了,批量更新实现比较麻烦一点,就不发了,以下是批量更新的sql执行语句

UPDATE tiyan.dm_user_cupboard SET `res_id` = CASE `id` WHEN 1041 THEN '1' WHEN 1058 THEN '1' WHEN 1055 THEN '1'  END,`food_code` = CASE `id` WHEN 1041 THEN '68' WHEN 1058 THEN '47' WHEN 1055 THEN '49'  END,`food_name` = CASE `id` WHEN 1041 THEN '红枣' WHEN 1058 THEN '莲藕' WHEN 1055 THEN '洋葱'  END,`num` = CASE `id` WHEN 1041 THEN '2' WHEN 1058 THEN '3' WHEN 1055 THEN '2'  END,`level` = CASE `id` WHEN 1041 THEN '2' WHEN 1058 THEN '2' WHEN 1055 THEN '2'  END,`update_time` = CASE `id` WHEN 1041 THEN '2017-12-09 21:40:06' WHEN 1058 THEN '2017-12-09 21:40:06' WHEN 1055 THEN '2017-12-09 21:40:06'  END WHERE id IN ( 1041,1058,1055 )

附带基于tp的saveAll()

//批量更新
public function saveAll($datas,$model){
    ( $model || $model=$this->tableName);
    $model=empty($model)?$this->name:$model;
    $sql   = ''; //Sql
    $lists = []; //记录集$lists
    $pk    = $this->getPk();//获取主键
    foreach ($datas as $data) {
        foreach ($data as $key=>$value) {
            if($pk===$key){
                $ids[]=$value;
            }else{
                $lists[$key].= sprintf("WHEN %u THEN '%s' ",$data[$pk],$value);
            }
        }
    }
    foreach ($lists as $key => $value) {
        $sql.= sprintf("`%s` = CASE `%s` %s END,",$key,$pk,$value);
    }
    $sql = sprintf('UPDATE __%s__ SET %s WHERE %s IN ( %s )',strtoupper($model),rtrim($sql,','),$pk,implode(',',$ids));
    return M()->execute($sql);
}

本文为仙士可原创文章,转载无需和我联系,但请注明来自仙士可博客www.php20.cn

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • mysql 实现select 判断查询

    mysql查询A表type字段等于1的num字段合计值和type字段等于2的num字段合计值,

    仙士可
  • phpstudy配置多站点教程

    phpstudy是一款php一键环境的安装包,里面包含了多版本的php,可以随意切换php版本等

    仙士可
  • php的一些编写代码的好习惯

    php作为世界上最好的语言,入门简单,编写代码容易,很容易让新手实现自己想要的功能,却因为入门简单,导致新手没有养成一个写代码的好习惯,导致后期编写的代码性能,...

    仙士可
  • Excel图表学习56: 制作次要坐标轴显示百分比的图

    有时候,我们需要利用图表来表示为达到目标的累计完成值及各部分所贡献的完成值,如下图1所示。

    fanjy
  • 【DB笔试面试455】条件表达式CASE和DECODE的区别是什么?

    在SQL语句中使用IF-THEN-ELSE逻辑,可以使用两种方法:CASE表达式、DECODE函数。

    小麦苗DBA宝典
  • 特征工程:数据科学家的秘密武器!

    大数据文摘
  • Windows 10 新特性变化研究 - 腾讯ISUX

    腾讯ISUX
  • [译]ASP.NET Core Web API 中使用Oracle数据库和Dapper看这篇就够了

    文章地址: https://www.cnblogs.com/yilezhu/p/9276565.html

    依乐祝
  • 001.VNC介绍

    VNC 服务是一个自由开源软件,采用RFB通信协议。RFB ("remote 帧缓存 ") 是一个远程图形用户的简单协议,因为它工作在帧缓存级别上,所以它可以应...

    木二
  • 评分卡系列(二):特征工程

    文章很长,理论和实现都讲的很细,大家可以先收藏,有时间再看。 在上一篇文章中,我们对LendingClub的数据有了一个大致的了解,这次我将带大家把10万多条、...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券