前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大熊学python3爬虫–scrapy浅探(一)

大熊学python3爬虫–scrapy浅探(一)

作者头像
小莹莹
发布2018-04-25 10:36:06
5180
发布2018-04-25 10:36:06
举报

在介绍scrapy之前,我觉得简单介绍下python的class很有必要。

代码语言:javascript
复制
class cainiao:
    def __init__(self,course,study): # 亲 左右均两个_哦
        self.course = course
        self.study = study
    # initialize 初始化,称虚构函数,类被调用_init_就会运行
    def printline(self):
        print('I have ',self.study, 'study' ,self.course + '\n')
I_am = cainiao('python','do my best')
I_am.printline()
class super_cainiao(cainiao): # cainiao的子类
    def forweeks(self,numbers):
        self.numbers = numbers
        print('I had been ',self.study, 'study' ,self.course)
        print('after',self.numbers,'weeks, l am sup_cainiao now')
         
I = super_cainiao('python','tried my best')
I.forweeks(1)

结果:

代码语言:javascript
复制
runfile('C:/Users/GeiLi/Desktop/unt.py', wdir='C:/Users/GeiLi/Desktop')
I have  do my best study python
 
I had been  tried my best study python
for 1 weeks, l am sup_cainiao now

超级菜鸟继承菜鸟,虚构函数用的是父类的,numbers给了值为1.

# 别打我,英语语法有点差

有耐心的可以自己查阅更详细的对python 的 class介绍。scrapy走起…..

首先安装:scrapy支持python3已经有几个月了,大家可以在cmd,终端等输入 pip install scrapy安装scrapy模块。不过问题也比较多,scrapy依赖的东西比较多,并且python3好多包不是特别支持scrapy如twisted。

(详细的可以参考新手上路(一))

之后就是创建工程了:在cmd或者linux等终端上

代码语言:javascript
复制
输入 scrapy startproject myspider

这个命令会在当前目录下创建一个新目录myspider,它的结构大致如下:

之后要做的就是编辑items.py,pipelines.py,spiders/spider.py。

除了spider.py都会帮你生成一个框架。自己填上去一些东西就好。

# item.py

import scrapy

class MyprojectItem(scrapy.Item): pass

####spider 目录下的__init__.py编辑

pass

详细可以参照一起学习python网络爬虫补充。

未完待续

PPV课原创文章,未经允许严禁转载。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2016-08-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PPV课数据科学社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档