爬虫实现的功能:
输入python,选择地点:上海,北京 ---->就去爬取上海,北京2个城市python招聘信息
输入会计,选择地址:广州,深圳,杭州---->就去爬取广州,深圳,杭州3个城市会计招聘信息...根据输入的不同,动态爬取结果
二、页面分析
输入关键字
selenium怎么模拟用户输入关键字,怎么选择城市,怎么点击搜索按钮?...最后定位需要爬取的数据
岗位名,薪水,公司名,招聘信息,福利待遇,岗位职责,任职要求,上班地点,工作地点 这些数据,总之需要什么数据,就爬什么
需要打开岗位详细的链接,比如:https://jobs.51job.com...self.logger.setLevel(logging.DEBUG)
# 日志文件名
self.logfile = sys.argv[0][0:-3] + '.log' # 动态获取调用文件的名字...根据输入结果的不同,爬取不同的信息,利用selenium可以做到动态爬取
注意:如果遇到51job页面改版,本程序运行会报错。请根据实际情况,修改对应的爬虫规则。