Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息

原文链接:http://www.jtahstu.com/blog/scrapy_zhipin_spider.html

开发环境

MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports) CPU : 2 GHz Intel Core i5 RAM : 8 GB 1867 MHz LPDDR3 Python : Python 3.6.3 [GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin MongoDB : v3.4.7 MongoDB Tool :MongoBooster v4.1.3

一、准备工作

安装 Scrapy

pip3 install scrapy

如果顺利的话,会像本人这样,装了一大堆软件包

参考翻译文档的安装教程:http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/install.html

官方 GitHub 地址:https://github.com/scrapy/scrapy

二、新建项目

scrapy startproject www_zhipin_com

如果顺利的话,会像本人这样

三、定义要抓取的 Item

在items.py 文件中定义一个类

class WwwZhipinComItem(scrapy.Item):
 # define the fields for your item here like:
 # name = scrapy.Field()
    pid = scrapy.Field()
    positionName = scrapy.Field()
    positionLables = scrapy.Field()
    workYear = scrapy.Field()
    salary = scrapy.Field()
    city = scrapy.Field()
    education = scrapy.Field()
    companyShortName = scrapy.Field()
    industryField = scrapy.Field()
    financeStage = scrapy.Field()
    companySize = scrapy.Field()
    time = scrapy.Field()
    updated_at = scrapy.Field()

四、分析页面

一般一条招聘像下面这样

html 结构如下

爬虫中就是使用 css 选择器获取标签里的文字或链接等

五、爬虫代码

在 spiders 目录下新建 zhipin_spider.py
# -*- coding: utf-8 -*-
import scrapy
import time
from www_zhipin_com.items import WwwZhipinComItem
class ZhipinSpider(scrapy.Spider):
 # spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。 不过您可以生成多个相同的spider实例(instance),这没有任何限制。 name是spider最重要的属性,而且是必须的
    name = 'zhipin'
 # 可选。包含了spider允许爬取的域名(domain)列表(list)。 当 OffsiteMiddleware 启用时, 域名不在列表中的URL不会被跟进。
    allowed_domains = ['www.zhipin.com']
 # URL列表。当没有制定特定的URL时,spider将从该列表中开始进行爬取。
 # 这里我们进行了指定,所以不是从这个 URL 列表里爬取
    start_urls = ['http://www.zhipin.com/'] 
 # 要爬取的页面,可以改为自己需要搜的条件,这里搜的是 上海-PHP,其他条件都是不限
    positionUrl = 'http://www.zhipin.com/c101020100/h_101020100/?query=php'
    curPage = 1
 # 发送 header,伪装为浏览器
    headers = {
 'x-devtools-emulate-network-conditions-client-id': "5f2fc4da-c727-43c0-aad4-37fce8e3ff39",
 'upgrade-insecure-requests': "1",
 'user-agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36",
 'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
 'dnt': "1",
 'accept-encoding': "gzip, deflate",
 'accept-language': "zh-CN,zh;q=0.8,en;q=0.6",
 'cookie': "__c=1501326829; lastCity=101020100; __g=-; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.20.1.20.20; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502948718; __c=1501326829; lastCity=101020100; __g=-; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502954829; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.21.1.21.21",
 'cache-control': "no-cache",
 'postman-token': "76554687-c4df-0c17-7cc0-5bf3845c9831"
    }
    //该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。
    //该方法仅仅会被Scrapy调用一次,因此您可以将其实现为生成器。
 def start_requests(self):
 return [self.next_request()]
    //负责处理response并返回处理的数据以及(/或)跟进的URL。
 def parse(self, response):
        print("request -> " + response.url)
        job_list = response.css('div.job-list > ul > li')
 for job in job_list:
            item = WwwZhipinComItem()
            job_primary = job.css('div.job-primary')
            item['pid'] = job.css(
 'div.info-primary > h3 > a::attr(data-jobid)').extract_first().strip()
            item["positionName"] = job_primary.css(
 'div.info-primary > h3 > a::text').extract_first().strip()
            item["salary"] = job_primary.css(
 'div.info-primary > h3 > a > span::text').extract_first().strip()
            info_primary = job_primary.css(
 'div.info-primary > p::text').extract()
            item['city'] = info_primary[0].strip()
            item['workYear'] = info_primary[1].strip()
            item['education'] = info_primary[2].strip()
            item['companyShortName'] = job_primary.css(
 'div.info-company > div.company-text > h3 > a::text'
            ).extract_first().strip()
            company_infos = job_primary.css(
 'div.info-company > div.company-text > p::text').extract()
 if len(company_infos) == 3: # 有一条招聘这里只有两项,所以加个判断
                item['industryField'] = company_infos[0].strip()
                item['financeStage'] = company_infos[1].strip()
                item['companySize'] = company_infos[2].strip()
            item['positionLables'] = job.css(
 'li > div.job-tags > span::text').extract()
            item['time'] = job.css('span.time::text').extract_first().strip()
            item['updated_at'] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
 yield item
        self.curPage += 1
        time.sleep(5) # 停停停!听听听!都给我停下来听着!睡一会(~﹃~)~zZ
 yield self.next_request()
 # 发送请求
 def next_request(self):
 return scrapy.http.FormRequest(
            self.positionUrl + ("&page=%d&ka=page-%d" %
                                (self.curPage, self.curPage)),
            headers=self.headers,
            callback=self.parse)

运行脚本
scrapy crawl zhipin -o item.json

这里会在项目目录下生成 item.json 的一个 json 文件

运行情况如下

http://cdn.jtup.cc/blog/video/scrapy_zhipin_demo.mp4

Point 1 设置 UTF-8 编码

但是不巧,往往这是一个 Unicode 编码的文件,所以需要加个设置

在 settings.py中添加(PS:也可以在运行的时候带上这个参数)

FEED_EXPORT_ENCODING = 'utf-8'

亲测以下方法是不能解决问题的

Point 2 慢一点

注意不要爬的太快,因为 BOSS 直聘只会显示20页的招聘信息,所以理论上这个脚本只要执行20次即可,那么间隔时间尽量设置长一点,本人爬的时候设置的是5秒,但是后面稍微快了一点就六字真言了,还好我已经把数据爬到了

慢一点,才能快一点!

Point 3 修改为自定义的条件

可以修改 zhipin_spider.py 第18行 positionUrl 的链接,把 PHP 修改为 Java 或 Python,把城市编码(’c101020100’ == 上海)换成你需要查询的城市,即可爬取自定的岗位,这就很灵性了!

六、保存到数据库

一条json数据如下

{
 "pid": "16115932",
 "positionName": "PHP后台开发工程师",
 "salary": "13K-20K",
 "city": "上海",
 "workYear": "1-3年",
 "education": "本科",
 "companyShortName": "蜻蜓FM",
 "industryField": "互联网",
 "financeStage": "D轮及以上",
 "companySize": "100-499人",
 "positionLables": [
 "PHP"
    ],
 "time": "发布于昨天",
 "updated_at": "2017-12-10 17:36:21"
  },

使用软件将json文件导入到 MongoDB 中,以备后面的使用

七、不足

这里招聘的详细要求还没有爬取 刚抓到的数据还没初步处理 本项目开源地址http://git.jtahstu.com/jtahstu/Scrapy_zhipin

原文发布于微信公众号 - IT派(transfer_3255716726)

原文发表时间:2018-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏有趣的django

Django+xadmin打造在线教育平台(九)

代码 github下载 十二、首页和全局404,500配置 12.1.首页功能 Course添加一个字段 is_banner = models.Boolean...

5926
来自专栏一个爱吃西瓜的程序员

爬取许嵩的所有微博并存入MongoDB

我很喜欢许嵩的音乐,我以前基本上他的每首歌都会唱,比如《素颜》、《灰色头像》、《玫瑰花的葬礼》、《清明雨上》、《庐州月》等等,打开播放器,基本上都是循环播放许嵩...

782
来自专栏架构之路

超清晰的makefile解释、编写与示例

Makefile范例教学 Makefile和GNU make可能是linux世界里最重要的档案跟指令了。编译一个小程式,可以用简单的command来进行编译;稍...

4228
来自专栏波涛汹涌

在阴影中:Vawtrak(银行木马病毒)意图通过添加新的数据源使得自己更加隐蔽

在Dridex木马活动短暂停止的同时,这个恶意软件背后的犯罪人员立马去寻找(开发)新的交付渠道(攻击方法,钓鱼方式),这看起来像是其他的恶意软件供应商将自己定位...

1273
来自专栏我是攻城师

图形数据库之Neo4j学习(一)

3875
来自专栏恰同学骚年

ASP.Net WebForm温故知新学习笔记:二、ViewState与UpdatePanel探秘

开篇:经历了上一篇《aspx与服务器控件探秘》后,我们了解了aspx和服务器控件背后的故事。这篇我们开始走进WebForm状态保持的一大法宝—ViewState...

1593
来自专栏信安之路

铁人三项赛数据赛 writeup

这次的数据分析赛相对上个星期 05.05 的数据分析赛,个人觉得虽然简单了很多,但其中值得学习的知识点也不少呀。

991
来自专栏前端说吧

vue项目实战 — — 那些自己给自己挖的深坑

7086
来自专栏信安之路

我是如何通关信安之路巅峰挑战赛的

我滴个天啊。。。。。弱密码随意登陆。。。。。不好意思,这题我真是非预期解法,具体的预期解法,之前信安之路文章已发,就不仔细讲述啦!

1616
来自专栏张戈的专栏

SEO分享:彻底禁止搜索引擎抓取/收录动态页面或指定路径的方法

最近张戈博客收录出现异常,原因并不明朗。我个人猜测存在如下几个直接原因: 更换主题,折腾时带来过多错误页面或间歇性访问错误; 直接线上折腾 Nginx 缓存和...

4456

扫码关注云+社区

领取腾讯云代金券