专栏首页我和PYTHON有个约会爬虫0601:scrapy实战scrapy实战:智联招聘数据采集

爬虫0601:scrapy实战scrapy实战:智联招聘数据采集

scrapy实战:智联招聘数据采集

章节内容

通过scrapy项目开发,完成智联招聘工作岗位信息的数据采集工作

课程内容

1. 创建智联招聘数据采集爬虫

在你的项目目录中,执行如下命令,创建爬虫项目

scrapy startproject zhilianspider

2. 创建采集数据的Item封装类型及数据库表

采集的数据要被封装起来进行使用,找到并修改zhilianspider/zhilianspider/items.py,修改内容如下:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
# 引入scrapy模块
import scrapy


class ZhilianItem(scrapy.Item):
    '''
    创建一个Item类型,用于定义爬虫采集的数据字段
    '''
    # 通过scrapy.Field()函数定义属性字段
    # 工作岗位名称
    job_name = scrapy.Field()
    # 发布公司名称
    company = scrapy.Field()
    # 岗位月薪
    salary = scrapy.Field()

在数据库中创建对应的数据表,用于进行最终的数据存储,在数据库中执行如下的sql脚本

# 创建数据库
CREATE DATABASE zhilian_spider DEFAULT CHARSET 'utf8';

USE zhilian_spider;

# 创建数据表
CREATE TABLE jobs(
    id INT AUTO_INCREMENT PRIMARY KEY,
    job_name VARCHAR(200),
    company VARCHAR(200),
    salary VARCHAR(50)
);

# 初始查询,是一张空表,无数据
SELECT * FROM jobs;

3. 开发核心爬虫程序

在爬虫目录中创建智联爬虫文件,并创建爬虫类型进行数据的采集

在zhilianspider/zhilianspider/spiders/目录下,创建zhilainspider.py文件

在zhilianspider.py文件中,创建ZhilianSpider类型,编辑内容如下:

# coding:utf-8

import scrapy
from ..items import ZhilianItem
#http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=bb28054b0714445f85382f12e09c9228&p=1

class ZhilianSpider(scrapy.Spider):
    '''
    爬虫核心程序开发
    '''
    # 定义名称,用于命令行启动执行爬虫使用
    name = "zlspider"
    # 定义限定域名,防止跨域数据采集
    allowed_domains = ["zhaopin.com"]
    # 初始采集URL地址
    start_urls = (
        "http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=bb28054b0714445f85382f12e09c9228&p=1",
    )

    def parse(self, response):
        '''
        采集处理函数,scrapy下载器采集下载的数据存放在response中
        :param response:
        :return:
        '''
        # 通过xpath筛选得到当前工作列表
        job_list = response.xpath("//div[@id='newlist_list_content_table']/table[@class='newlist'][position()>1]")

        # 循环获取每个工作信息
        for job in job_list:
            # 筛选工作名称
            job_name = job.xpath("tr[1]/td[@class='zwmc']/div/a").xpath("string(.)").extract()[0]
            # 筛选发布公司
            company = job.xpath("tr[1]/td[@class='gsmc']/a").xpath("string(.)").extract()[0]
            # 筛选薪水待遇
            salary = job.xpath("tr[1]/td[@class='zwyx']").xpath("string(.)").extract()[0]

            # 封装生成item对象,交给pipelines模块进行后续数据验证和存储
            item = ZhilianItem()
            item['job_name'] = job_name
            item['company'] = company
            item['salary'] = salary

            yield item

4. 管道存储数据到数据库

爬虫程序采集完数据之后,需要将数据存储在数据库中,我们通过管道模块进行操作

找到并修改管道文件zhilianspier/zhilianspider/pipelines.py,创建智联管道类型ZhilianPipeline,编辑内容如下:

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
# 引入sqlalchemy模块
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
# 进入pymysql模块,用于替代sqlalchemy底层的mysqldb
import pymysql
pymysql.install_as_MySQLdb()


class ZhilianPipeline(object):
    '''
    智联招聘爬虫管道模块,进行数据验证和存储
    '''
    def __init__(self):
        # 打开和数据库的连接引擎,获取连接会话对象
        engine = create_engine("mysql://root:@localhost/zhilian_spider?charset=utf8")
        Session = sessionmaker(bind=engine)
        self.session = Session()


    def process_item(self, item, spider):
        # 生成sql语句
        zl_sql = "insert into jobs(job_name, company, salary) values('%s', '%s', '%s')" % \
                 (item['job_name'], item['company'], item['salary'])
        # 执行sql语句
        self.session.execute(zl_sql)
        return item

    def close_spider(self, spider):
        # 提交数据并关闭数据库连接会话
        self.session.commit()
        self.session.close()

5. 测试运行

爬虫程序至此开发完成,在命令行中进入爬虫项目根目录,执行如下命令:

scrapy crawl zlspider

等待程序运行结束,可以在数据库中执行查询命令

select * from jobs;

可以看到已经采集到如下数据:

id

job_name

company

salary

1

数据爬虫工程师

北京昆仑亿发科技股份有限公司

10001-15000

2

Python爬虫产品设计师

北京阿博泰克北大青鸟信息技术有限公司

10001-15000

3

搜索爬虫研发工程师--c++

中国搜索信息科技股份有限公司

20001-30000

4

数据挖掘(爬虫方向)

北京热云科技有限公司

20000-30000

5

爬虫工程师(AI算法)(031287)

京东金融

面议

6

数据产品经理(爬虫)—外卖事业部#3975

北京三快在线科技有限公司

面议

7

爬虫开发工程师

东旭集团

15001-20000

8

数据抓取爬虫工程师

今日头条

15000-30000

9

高级爬虫工工程师-北京-03198

博彦科技股份有限公司

20000-30000

10

知名集团公司招聘java爬虫数据工程师

北京科锐国际人力资源股份有限公司

10001-15000

11

爬虫工程师(000658)

旷视科技face++

18000-36000

12

爬虫工程师

凡普金科企业发展(上海)有限公司

20000-40000

13

python爬虫工程师

上海仁教信息技术有限公司

20001-30000

6.思考~~

上面的程序我们成功的采集到了需要的数据,但是问题是~我们只是针对一个url地址采集的数据,一个岗位的搜索会包含很多页数据,怎么进行下一页的url地址跟踪爬取呢?

下一节,深度爬虫更加精彩,大牧期待你一起学习

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SQL中GROUP BY用法示例

    GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

    Awesome_Tang
  • 我不是算命先生,却对占卜有了疑惑——如何论证“占卜前提”的正确与否

    事出有因,我对《周易》感兴趣了很多年。只是觉得特别有趣,断断续续学习了一些皮毛。这几天又偶然接触到了《梅花易数》,觉得很是精彩,将五行八卦天干地支都串联了起来。...

    一石匠人
  • 天干地支五行八卦的对应关系

    一石匠人
  • 什么样的人生才是有意义的人生——没有标准的标准答案

    【导读】其实我们可以跳出这个小圈圈去更加科客观地看一下这个世界。在夜晚的时候我们仰望天空,浩瀚的宇宙中整个地球只是一粒浮尘,何况地球上一个小小的人类?在漫长的历...

    一石匠人
  • 《动物魔法学校》儿童学编程Scratch之“外观”部分

    导读:本文通过一个案例《动物魔法学校》来学习Scratch语言的“外观”部分。之后通过一系列其他功能的综合运用对作品功能进行了扩展。

    一石匠人
  • 复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

    从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

    haifeiWu
  • 儿童创造力教育与编程教育的碰撞——MIT雷斯尼克教授最新理论梗概

    儿童编程教育已经在我国各一线二线城市疯狂出现,颇有“烂大街”的趋势。我们不禁要问很多很多问题:

    一石匠人
  • 【系统设置】CentOS 修改机器名

    ken.io
  • 一张图理清《梅花易数》梗概

    学《易经》的目的不一定是为了卜卦,但是了解卜卦绝对能够让你更好地了解易学。今天用一张思维导图对《梅花易数》的主要内容进行概括,希望能够给学友们提供帮助。

    一石匠人
  • 声音功能让儿童编程更有创造性

    导读:Scratch中声音功能非常强大,除了常规的音效,你甚至可以模拟各种乐器的各个发音、设置节拍、休止……如果你愿意,甚至可以用它创作一个交响乐。我们可以引导...

    一石匠人

扫码关注云+社区

领取腾讯云代金券