前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用 Swoole Server task 处理大数据量异步任务时注意

使用 Swoole Server task 处理大数据量异步任务时注意

作者头像
猿哥
发布2019-03-13 16:09:42
1.2K0
发布2019-03-13 16:09:42
举报
文章被收录于专栏:Web技术布道师Web技术布道师

关于 Buffered Query 和 Unbuffered Query: http://www.php.net/manual/zh/mysqlinfo.concepts.buffering.php

对于结果集小的查询,一般就 Buffered Query 一次取回;

对于结果集很大的查询,可以使用 Unbuffered Query 来遍历一条条 fetch,避免撑爆客户端内存;

对于超大结果集,fetch 会持续不断的进行,如果频次高,且持续时间非常长的情况下,有可能耗尽数据库服务器网络带宽。

解决方案:

1. 高频投递(依赖进程数),少量处理(每批次数据) - 高频次的分页查询,做到了保证处理效率的情况下减少数据库服务器压力。

2. 如果不需要与 TaskWorker 通讯,那么 onTask 不要使用 return 返回数据,减少消耗。

3. 使用 task( ) 投递频率 ($this->blockNum) 必须小于 onTask 进程数,可以程序来限制。

比方说 taskWorker 是 50,任务投递次数累加为 deliverNo,完成的任务计数 $serv->atomic->get()

那么在投递之后判断,完成数 + 允许投递数 < 投递总数,说明投递次数过多了,暂停一会儿,保证任务进程不是满负荷工作。

代码语言:javascript
复制
while (($serv->atomic->get() + $this->blockNum) < $deliverNo) {
    echo "正在执行的任务数 {$this->blockNum}, sleep {$this->sleep} s";
    sleep($this->sleep);
}

Doc: https://wiki.swoole.com/wiki/page/481.html

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-02-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PHP技术大全 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档