专栏首页JAVAandPython君scrapy框架| 我的第一个Scrapy爬虫

scrapy框架| 我的第一个Scrapy爬虫

1

写在前面的话

今天咱们就来写一篇简单的、轻松的文章,当然也是我们开始正式去使用Scrapy来写我们的第一个爬虫,我会通过这个爬虫来给大家一一讲解每一句话是啥意思,当然阅读这篇文章之前,我希望大家先去阅读Python|初识scrapy爬虫 ,阅读完后再来看这篇文章。废话不多说了,看下面吧!

2

第一个Scrapy爬虫

import scrapy


class demo(scrapy.Spider):  # 需要继承scrapy.Spider类
   name = "demo"  # 定义蜘蛛名


def start_requests(self):  # 由此方法通过下面链接爬取页面

    # 定义爬取的链接
    urls = [
        'http://lab.scrapyd.cn/page/1/',
        'http://lab.scrapyd.cn/page/2/',
    ]
    for url in urls:
        yield scrapy.Request(url=url, callback=self.parse)  # 爬取到的页面如何处理?提交给parse方法处理


def parse(self, response):
    '''
    start_requests已经爬取到页面,那如何提取我们想要的内容呢?那就可以在这个方法里面定义。
    这里的话,并木有定义,只是简单的把页面做了一个保存,并没有涉及提取我们想要的数据,后面会慢慢说到
    也就是用xpath、正则、或是css进行相应提取,这个例子就是让你看看scrapy运行的流程:
    1、定义链接;
    2、通过链接爬取(下载)页面;
    3、定义规则,然后提取数据;
    '''

    page = response.url.split("/")[-2]  # 根据上面的链接提取分页,如:/page/1/,提取到的就是:1
    filename = 'demo-%s.html' % page  # 拼接文件名,如果是第一页,最终文件名便是:mingyan-1.html
    with open(filename, 'wb') as f:  # python文件操作,不多说了;
        f.write(response.body)  # 刚才下载的页面去哪里了?response.body就代表了刚才下载的页面!
    self.log('保存文件: %s' % filename)  # 打个日志

每一句话的解释都在注释里面了,大家可以好好的看一下,我也不用多说啥了,最后直接crawl运行爬虫即可!

3

END

今天的文章是不是巨短?所以说这是一篇很简单、很轻松的文章,不过也是让大家对Scrapy爬虫有一个初步的了解,我也希望大家通过这个小例子去慢慢的适应Scrapy框架并且能够学习掌握它!

本文分享自微信公众号 - JAVAandPython君(JAVAandPythonJun),作者:JAP君

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何突破反爬虫?看这篇就够了!

    之前给大家写了那么多的爬虫案例,今天来给大家讲讲大部分网站反爬虫的一些措施以及我们如何去突破他们得反爬虫!当然这次有点标题党,技术是日益进步的,反爬虫技术也是如...

    Python进击者
  • 爬虫工程师是干什么的?你真的知道了吗?

    程序员有时候很难和外行人讲明白自己的工作是什么,甚至有些时候,跟同行的人讲清楚“你是干什么的”也很困难。比如我自己,就对Daivd在搞的语义网一头雾水。所以我打...

    Python进击者
  • Python爬虫| 不会分布式爬虫?带你一步一步写!

    首先,什么是分布式爬虫?其实简单粗暴一点解释就是我们平时写的爬虫都是孤军奋战,分布式爬虫就是一支军队作战。专业点来说就是应用多台机器同时实现爬虫任务,...

    Python进击者
  • PowerBI 个性化定制你的报告导航

    “页导航”是PowerBI在2020年5月的更新中一个非常关键的功能。我也写过一篇文章,如何在书签和页导航中进行选择:

    陈学谦
  • Linux-3.14.12内存管理笔记【伙伴管理算法(3)】

    前面分析了伙伴管理算法的初始化,在切入分析代码实现之前,例行先分析一下其实现原理。

    233333
  • 微信小程序优化uni-app

    onLaunch 当uni-app初始化完成时触发 onShow 当uni-app启动,或从后台进入前台显示 onHide 当uni-app从前台进入后台

    达达前端
  • 小程序页面管理与跳转

    原文链接:https://godbasin.github.io/2018/09/08/wxapp-page-and-navigate/

    李成熙heyli
  • 《微信小程序七日谈》- 第四天:页面路径最多五层?导航可以这么玩

    《微信小程序七日谈》系列文章: 本系列的文章并非初学教程,而是笔者在具体开发过程中遇到的问题以及部分解决方案。 微信小程序提供导航相关的API: wx.nav...

    寒月十八
  • Confluence 6 其他页面操作和页面大小

    在 Confluence 的页面中,你可以对 Confluence 进行下面的一些操作:

    HoneyMoose
  • 14个UI精美功能强大的Android应用设计模板

    由于狂热的开发者社区和移动设备的日益普及,Android的商业应用程序成为一个不断增长的市场。

    奔跑的小鹿

扫码关注云+社区

领取腾讯云代金券