Python多进程方式抓取基金网站内容的方法分析

这篇文章主要介绍了Python多进程方式抓取基金网站内容的方法,结合实例形式分析了Python多进程抓取网站内容相关实现技巧与操作注意事项,需要的朋友可以参考下

因为进程也不是越多越好，我们计划分3个进程执行。意思就是 ：把总共要抓取的28页分成三部分。

怎么分呢？

看上面代码，我们就把1~29分成了三部分，list里三个range。

2、还记得我们抓取基金网站内容的getData()函数？

函数是有2个参数：一个开始页码，一个结束页码，也就是从第start页，到第end页。

这2个参数实际上也是range。

改造getData()函数如下（参数不同了）：

3、创建进程，把target设置为上面的getData()：

这样就有三个进程分别抓取。

4、多进程抓取基金网站多页内容完全代码：