我有一个PHP爬虫,每天从crontab发射几次
php crawler.php
在crawler.php中,我查询我的站点的数据库,然后循环并检查它们:
foreach ($mysql_results as .. ) {
// curl and check html for my checks
// each site takes about 30sec
}
我已经开始改变逻辑,改为只执行每个php执行的一个站点,完成,然后重新启动脚本并运行下一个站点。
// get offset from database
// based on offset get single sit