Python爬虫 断点续传

from multiprocessingimport Pool

from country_url_getimport movie_page,get_movie_all_from,movie_get_all

#链接去重，断点重续

movie_url=[item['movie_page']for itemin movie_page.find()]#所有的应该爬取的url

db_urls = [item['url']for itemin movie_get_all.find()]#已爬取过的插入到数据库中的url

x =set(movie_url)

y =set(db_urls)#用set()c创建url集合

rest_of_urls = x-y#所有的应该爬取的url减去已经爬取过的url即是还没有爬取的url，再把这个参数代入到map函数中即可

if __name__=='__main__':

#创建多进程

pool= Pool()

pool.map(get_movie_all_from,rest_of_urls)#用map函数把url列表代入到函数get_movie_all中

pool.close()

pool.join()