爬虫的主函数该怎么写

主函数中是将前边写的所有函数汇总,通过多线程,将爬虫稳步有序的进行。 头文件中的那些是之前写好的做引用 用到了多线程技术,在python中,Pool函数是个好的多线程工具

__author__ = 'Lee'
from multiprocessing import Pool
from beijing_proper import channel_list
from items_combination import get_pages_url

def get_all_links_from(channel):  #获取地址池中的数据并获得后执行 get_pages_url()函数
    for i in range(1,50):
        get_pages_url(channel,i)

if __name__ == '__main__':  #固定格式,可以先不用管
    pool = Pool()
    pool.map(get_all_links_from,channel_list.split()) #用到了进程相关知识 map函数的作用就是 将后边的一次一次循环的和前边做“与”的操作

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏屈定‘s Blog

设计模式--模板方法模式的思考

模板方法同样也是一种很实用的方法,目的是提高代码复用,并且统一大体的算法流程,比如一个一台电脑主机,定义好放置CPU,硬盘,内存等空位后,就形成了一个骨架,那么...

1734
来自专栏我的技术专栏

C++设计模式:Template Method

1103
来自专栏java一日一条

Java异常有多慢?

实际上,真正要讨论的问题并不是,“相对‘那些不会发生错误的代码’来说,‘那些以异常形式上报的错误’会有多慢?”,因为你可能也认同“已接受的回答”。相反,真正的问...

3452
来自专栏Java技术栈

面象对象设计6大原则之二:开放封闭原则

开放封闭原则(OCP),The Open Closed Principle 定义 一个软件的实体,包括类、方法、模块、应该对扩展开放,对修改关闭。 也就是说一个...

3016
来自专栏全华班

java招聘面试

过完年了,好多学习JAVA的同学在忙着找工作,大家先预习下这些基础知识 ,说不定能面试的时候考到。 基础篇 1 什么是Java、Java2、JDK?JDK后面...

4075
来自专栏CDA数据分析师

不可不知的一点Python陷阱

于易于学习以及快速开发更大更复杂的应用,Python渐渐在计算环境中无处不在。尽管明显的语言清晰度和友好会麻痹软件工程师和系统管理员的警觉性 —— 诱使他们编码...

3268
来自专栏佳爷的后花媛

h文件和c文件的区别include本身只是一个简单的文件包含预处理命令,即为把include的后面文件放到这条命令这里,除此之外,没有其它的用处(至少我也样认为).

其实在H文件里写函数也无所谓,只是不符合习惯而已。只要按照以上的格式写,一个H文件添加多少次都无所谓,

2292
来自专栏FreeBuf

PHP7.0.0格式化字符串漏洞与EIP劫持分析

*本文原创作者:zzz66686,本文属FreeBuf原创奖励计划,未经许可禁止转载 。 PHP7.0.0的这个格式化字符串漏洞是15年12月在exploit-...

2296
来自专栏java一日一条

有效处理Java异常的三个原则,你知道吗?

在有效使用异常的情况下,异常类型回答了“什么”被抛出,异常堆栈跟踪回答了“在哪“抛出,异常信息回答了“为什么“会抛出,如果你的异常没有回答以上全部问题,那么可能...

1701
来自专栏C语言及其他语言

C语言中EOF是什么意思?

相信很多朋友在学习C语言过程中,都看到过EOF的字样,但翻过整本C语言的书,也没有看到有这个函数或者关键字的,岂不是感觉很奇怪?难道学的不细有疏漏吗?当然不是!...

3565

扫码关注云+社区

领取腾讯云代金券