前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >PHP导出数据超时的优化建议解读

PHP导出数据超时的优化建议解读

作者头像
很酷的站长
发布2022-11-30 16:24:28
8230
发布2022-11-30 16:24:28
举报
文章被收录于专栏:站长的编程笔记
PHP导出数据超时的优化建议解读
PHP导出数据超时的优化建议解读

本文为小伙伴们带来了关于PHP导出数据超时的优化建议解读,

一般情况下,导出超时可能都是以下三种情况:

  一、sql语句复杂,查询时间过长;

  二、处理查询后数据逻辑冗余;

  三、数据量过大导致响应超时;

接下来分别给出这三种情况的优化建议。

一、sql语句复杂,查询时间过长

  1、查看索引是否设置妥当,即所用的查询条件是否有添加索引,当然索引不是越多越好,只需给常用的查询条件加上即可,一般采用B+树的索引方式(具体原因可自行百度,不再赘述)

  2、在查询语句中尽量避免IN、NOT IN、IS NULL、OR、!=、<>、LIKE、OR、NOT EXISTS这些查询条件的出现,会导致索引失效。 - IN查询时,可以考虑用BETWEEN来代替

- LIKE查询时,仅当"%"在前时会索引失效,"%"在后是不会失效的

- 查询条件里还要避免数字的出现,使用字符串,数字也会导致索引失效,例如,查询:"pid"=1,可以优化为"pid"="1"

- 要尽量避免在循环中使用查询语句,这种情况一般可以用join或者with来解决(当涉及到跨库时,请谨慎使用这种方式!)

- 查询时,可以指定需要查询的字段,排除掉不需要的字段避免资源浪费

- 当数据量多大时,可以使用分页和缓存来优化(具体方法请参考数据量过大导致响应超时部分)

温馨提示:在执行查询语句后,可以通过show profiles来查询语句的资源消耗情况来帮助你更好的优化sql语句;关于查询语句是否使用了索引,可以在查询语句前加explain来查看索引使用情况,例如:

explain select * from user where id= '1';

二、处理查询后数据逻辑冗余

?

12345678910111213141516171819

- 在做数组循环时,尽量使用continue、break来减少没必要的循环; - 尽量减少if嵌套层数,在需要用到多个if-else时,使用switch可以提高效率,特别是在数据量大时- 当进行数组赋值时,  一次赋一个值,使用$arr[]=1,会比array_push($arr,"1"),更快,  但是当需要多次赋值时,    array_push($arr,"1","2","3",...),会比    $arr[]="1";    $arr[]="2"    $arr[]="3"    ...  更快   - 遍历数组进行赋值时,尽量使用引用的方式,减少内存开销,例如:       foreach($arr as &$item){      $item = 1;      ...    }

三、数据量过大导致响应超时

当数量两过大,又不想用异步的方式导出excel文件时,可以尝试使用csv来作为到处格式,且查询导出数据时可以使用分页的方式查询,导出时利用ob_flush进行缓存。例如:

?

1234567891011

$page = 1;    // 页面$pageSize = 1000;    //每页条数while(  $list = Db::name("user")->page($page)->limit($pageSize)->select()){  foreach($list as &$item){    // TODO 进行相应的逻辑处理  }  $page++;}

当数据访问次数过多时,建议使用redis缓存一些固定数据,减少mysql查询次数。 当然,最好的方式还是使用异步的方式导出,建议使用python或者go语言搭建微服务来进行导出。

收藏 | 0点赞 | 0打赏

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、sql语句复杂,查询时间过长
  • 二、处理查询后数据逻辑冗余
  • 三、数据量过大导致响应超时
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档