前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫的主函数该怎么写

爬虫的主函数该怎么写

作者头像
98k
发布2018-04-12 12:07:58
1.5K0
发布2018-04-12 12:07:58
举报
文章被收录于专栏:Django ScrapyDjango Scrapy

主函数中是将前边写的所有函数汇总,通过多线程,将爬虫稳步有序的进行。 头文件中的那些是之前写好的做引用 用到了多线程技术,在python中,Pool函数是个好的多线程工具

代码语言:javascript
复制
__author__ = 'Lee'
from multiprocessing import Pool
from beijing_proper import channel_list
from items_combination import get_pages_url

def get_all_links_from(channel):  #获取地址池中的数据并获得后执行 get_pages_url()函数
    for i in range(1,50):
        get_pages_url(channel,i)

if __name__ == '__main__':  #固定格式,可以先不用管
    pool = Pool()
    pool.map(get_all_links_from,channel_list.split()) #用到了进程相关知识 map函数的作用就是 将后边的一次一次循环的和前边做“与”的操作
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017.07.21 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档