如何利用EasySwoole多进程多协程redis队列实现爬虫

北溟有鱼QAQ

发布于 2020-02-25 12:34:48

1K0

发布于 2020-02-25 12:34:48

文章被收录于专栏：北溟有鱼QAQ

什么是爬虫？

爬虫是一种按照一定的规则，自动地抓取网上数据的程序或脚本

爬虫之前的准备？

根据初始页面，制定规则获取更多的需要爬取的页面
根据页面内容制定规则，爬取想要的东西

用到的组件及框架

EasySwoole框架 https://www.easyswoole.com/
redis连接池组件 https://www.easyswoole.com/Cn/Components/redisPool.html
协程HTTPClient组件 https://www.easyswoole.com/Cn/Components/HttpClient/install.html
QueryList规则采集工具 http://www.querylist.cc/docs/guide/v4/overview

根据页面内容制定规则

// 开始生产,根据内容，设置规则
libxml_use_internal_errors(true);
$ql = QueryList::html($body);
//获取当前页面所有的图片
$rules = [
	'src' => ['.list ul img', 'src'],
	'alt' => ['.list ul img', 'alt'],
         ];
//获取下个页面要爬取的地址链接
$nextUrl = $ql->find('.page .prev')->eq(1)->attr('href');
$imgList = $ql->rules($rules)->encoding('UTF-8','GB2312')->query()->getData()->all();

然后分别入队列

foreach ($imgList as $img)
{
	RedisQueue::getInstance()->push(CONSUME,$img);
}
//要爬取的页数,没有则停止生产
if(empty($nextUrl))
{
	\co::sleep(1);
	continue;
}
Logger::getInstance()->console($nextUrl);
//页面中的爬取链接不带host，要拼接上
RedisQueue::getInstance()->push(QueueName,'http://www.netbian.com'.$nextUrl);
\co::sleep(0.5);