专栏首页Web技术布道师使用 Swoole Server task 处理大数据量异步任务时注意

使用 Swoole Server task 处理大数据量异步任务时注意

关于 Buffered Query 和 Unbuffered Query: http://www.php.net/manual/zh/mysqlinfo.concepts.buffering.php

对于结果集小的查询,一般就 Buffered Query 一次取回;

对于结果集很大的查询,可以使用 Unbuffered Query 来遍历一条条 fetch,避免撑爆客户端内存;

对于超大结果集,fetch 会持续不断的进行,如果频次高,且持续时间非常长的情况下,有可能耗尽数据库服务器网络带宽。

解决方案:

1. 高频投递(依赖进程数),少量处理(每批次数据) - 高频次的分页查询,做到了保证处理效率的情况下减少数据库服务器压力。

2. 如果不需要与 TaskWorker 通讯,那么 onTask 不要使用 return 返回数据,减少消耗。

3. 使用 task( ) 投递频率 ($this->blockNum) 必须小于 onTask 进程数,可以程序来限制。

比方说 taskWorker 是 50,任务投递次数累加为 deliverNo,完成的任务计数 $serv->atomic->get()

那么在投递之后判断,完成数 + 允许投递数 < 投递总数,说明投递次数过多了,暂停一会儿,保证任务进程不是满负荷工作。

while (($serv->atomic->get() + $this->blockNum) < $deliverNo) {
    echo "正在执行的任务数 {$this->blockNum}, sleep {$this->sleep} s";
    sleep($this->sleep);
}

Doc: https://wiki.swoole.com/wiki/page/481.html

本文分享自微信公众号 - PHP技术大全(phpgod)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-02-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • PHP物联网开发利器之Actor并发模型

    在传统的思维中,经常会有人告诉你,php不适合用来做物联网服务端,让你换java,node,go等其他语言,是的,没错传统意义上的php,确实很难做物联网服务器...

    猿哥
  • 萌新必备技能--PHP框架反序列化入门教程

    本文面向拥有一定PHP基础的萌新选手,从反序列化的简略原理->实战分析经典tp5.0.x的漏洞->讨论下CTF做题技巧,

    猿哥
  • 当面试关问你Laravel Facade,说出这几个关键词就可以

    猿哥
  • HTML 表白网页

    还在为不知道怎么表白而发愁吗?这里给你最新最好的一手表白的作品,给TA一个浪漫的惊喜吧!

    巴西_prince
  • Windows10中VS2017环境下使用libmodbus库Modbus TCP读取设备的数据

    TCP(IPv4)环境 TCP后端实现了用于通过TCP / IPv4网络进行通信的Modbus变体。它不需要校验和计算,因为底层TCP会处理相同的功能。

    ccf19881030
  • Struts2【UI标签、数据回显、资源国际化】

    Struts2UI标签 Sturts2为了简化我们的开发,也为我们提供了UI标签…也就是显示页面的标签….. 但是呢,Struts2是服务端的框架,因此使用页面...

    Java3y
  • 如何使用Oozie API接口向非Kerberos环境的CDH集群提交Shell工作流

    前面Fayson介绍了《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业》和《如何使用Oozie API接口向非Kerber...

    Fayson
  • How to find where settype DB table COMM_PRMAT is accessed without debugging

    We know settype table COMM_PRMAT is used to store attribute data modelled in pro...

    Jerry Wang
  • 中国平板电脑用户行为报告

    小伙伴们平时都是怎么使用平板电脑的?有没有被砸过脸呢?快来看一下腾讯2014中国平板电脑用户行为报告吧,看看有多少小伙伴和你是一样的: ? ? ? ?

    腾讯大讲堂
  • Win64bit提权0day漏洞(CVE-2014-4113)只是内核模式漏洞的开始

    Win64bit提权0day漏洞(CVE-2014-4113)漏洞 攻击者经常利用已知的权限提升漏洞获得管理员级别的访问,而黑客直接利用0day漏洞进行攻击是非...

    FB客服

扫码关注云+社区

领取腾讯云代金券