爬虫实现的功能:
输入python,选择地点:上海,北京 ---->就去爬取上海,北京2个城市python招聘信息
输入会计,选择地址:广州,深圳,杭州---->就去爬取广州,深圳,杭州3个城市会计招聘信息...根据输入的不同,动态爬取结果
二、页面分析
输入关键字
selenium怎么模拟用户输入关键字,怎么选择城市,怎么点击搜索按钮?...城市编号,也就是说在输入"北京+上海",实际上输入的是:"010000,020000", 那这个城市编号怎么来的,这个就需要去爬取51job弹出城市选择框那个页面了,页面代码里面有城市对应的编号
获取城市编号...最后定位需要爬取的数据
岗位名,薪水,公司名,招聘信息,福利待遇,岗位职责,任职要求,上班地点,工作地点 这些数据,总之需要什么数据,就爬什么
需要打开岗位详细的链接,比如:https://jobs.51job.com...根据输入结果的不同,爬取不同的信息,利用selenium可以做到动态爬取
注意:如果遇到51job页面改版,本程序运行会报错。请根据实际情况,修改对应的爬虫规则。