专栏:015:重构“你要的实战篇"

用理工科思维看待这个世界

系列爬虫专栏

初学者,尽力实现最小化学习系统

**主题:重构专栏:014 + Scrapy 实战 + sqlalchemy **

0:目标说明

  • Scrapy 基础教程 你要的最佳实战
  • 刘未鹏博客 点我啊
  • 目标:获取刘未鹏博客全站博文
    • 文章标题:Title
    • 文章发布时间:Time
    • 文章全文:Content
    • 文章的链接:Url
  • 思路:
    • 分析首页和翻页的组成
    • 抓取全部的文章链接
    • 在获取的全部链接的基础上解析需要的标题,发布时间,全文和链接

之前的逻辑是starts_url 包括全部的1,2,3,4页,在这个的基础上进行提取各个网页的文章的所需字段。

scrapy 可以编写Rule 规则抓取需要的url


1:目标分解

编写的规则:

start_urls = ["http://mindhacks.cn/"]
rules = (Rule(SgmlLinkExtractor(allow=(r'http://mindhacks.cn/page/\d+/',))),
         Rule(SgmlLinkExtractor(allow=(r'http://mindhacks.cn/\d{4,}/\d{2,}/\d{2,}/.*?-.*?-.*?-.*?/')), callback='parse_detail', follow = True)
         )
# 前一个Rule获取的是1,2,3,4页的网页组成: 如:http://mindhacks.cn/page/2/
# 后一个Rule获取的1,2,3,4网页下符合要求的文章的链接, 再在获取的文章链接的基础上进行解析 如:http://mindhacks.cn/2009/07/06/why-you-should-do-it-yourself/

解析文本函数:

def parse_detail(self, response):
   Item = LiuweipengItem()
   selector = Selector(response)
   title = selector.xpath('//div[@id="content"]/div/h1[@class="entry-title"]/a/text()').extract()
   time = selector.xpath('//div[@id="content"]/div/div[@class="entry-info"]/abbr/text()').extract()
   content = selector.xpath('//div[@id="content"]/div/div[@class="entry-content clearfix"]/p/text()').extract()
   url = selector.xpath('//div[@id="content"]/div/h1[@class="entry-title"]/a/@href').extract()
   for title, time, content, url in zip(title, time, content, url):
       Item["Title"] = title
       Item["Time"] = time
       Item["Content"] = content
       Item["Url"] = url
   yield Item
# 返回的Item 是需要抓取字段

2:ORM

参见:专栏:012

数据表声明

from sqlalchemy import Column, String, Integer
from sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()
class Article(Base):
    __tablename__ = "article"
    id = Column(Integer, primary_key=True)
    Title = Column(String)
    Time = Column(String)
    Content = Column(String)
    Url = Column(String)

3:储存

再次说明scrapy 文件目录结构和作用:

  • items.py : 抓取的目标,定义数据结构
  • pipelines.py : 处理数据
  • settings.py : 设置文件,常量等设置
  • spiders/: 爬虫代码

所以储存操作:pipelines.py 需要在本地先创建数据库表:

CREATE TABLE `article` (
  `id` INT(11) NOT NULL AUTO_INCREMENT,
  `Title` VARCHAR(255) COLLATE utf8_bin NOT NULL,
  `Content` VARCHAR(255) COLLATE utf8_bin NOT NULL,
  `Time` VARCHAR(255) COLLATE utf8_bin NOT NULL,
  `Url` VARCHAR(255) COLLATE utf8_bin NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=39 DEFAULT CHARSET=utf8 COLLATE=utf8_bin
def open_spider(self, spider):
    engine = create_engine("mysql://root:123456@localhost:3306/test?charset=utf8", echo = True)
    DBSession = sessionmaker(bind=engine)
    self.session = DBSession()
    pass

def process_item(self, item, spider):
    one = Article(Title=item["Title"],
                Time=item["Time"],
                Content=item["Content"],
                Url=item["Url"])
    self.session.add(one)

    pass
def close_spider(self, spider):
    self.session.commit()
    self.session.close()
    pass

效果显示:

1463234534713.png

  • Tips

IDE下启动scrapy 爬虫:

新建任意一个文件:比如:main.py

# 文件中添加如下代码
from scrapy.cmdline import execute
execute("scrapy crawl name".split())

运行这个文件,就可以启动爬虫,其中name , 是spiders文件下编写爬虫所对应的那个name

完整代码: 点不点都是代码


4:总结和说明

参考文献: 强烈建议:1 强烈建议:2

Scrapy 爬虫框架还存在许多的未知...

Scrapy各种实例

任何实用性的东西都解决不了你所面临的实际问题,但为什么还有看?为了经验,为了通过阅读抓取别人的经验,虽然还需批判思维看待

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏分布式系统和大数据处理

数据库对象命名参考

编码规范是一个优秀程序员的必备素质,然而,有很多人非常注重程序中变量、方法、类的命名,却忽视了同样重要的数据库对象命名。这篇文章结合许多技术文章和资料,以及我自...

1182
来自专栏用户画像

mysql模拟题二

  3) MSSQLServer2005Enterprise Edition是哪一种版本?

1046
来自专栏程序员的SOD蜜

使用OQL+SQLMAP解决ORM多表复杂的查询问题

    一般情况下,使用ORM框架来完成单个实体的查询是很方便的,但如果有复杂的查询条件,普通的ORM组件比较困难,PDF.NET数据开发框架的ORM实体类查询...

2316
来自专栏一“技”之长

iOS开发之AddressBook框架详解

    首先,AddressBook框架是一个已经过时的框架,iOS9之后官方提供了Contacts框架来进行用户通讯录相关操作。尽管如此,AddressBoo...

2591
来自专栏web编程技术分享

【手把手】JavaWeb 入门级项目实战 -- 文章发布系统 (第九节)

3016
来自专栏GreenLeaves

一、Linq简介

1493
来自专栏Kevin-ZhangCG

[ SSH框架 ] Hibernate框架学习之三

21611
来自专栏liuchengxu

用 Python 写一个 NoSQL 数据库

本文译自 What is a NoSQL Database? Learn By Writing One In Python.

1533
来自专栏PHP实战技术

这些Mysql基础设计思路以及优化思路我都给你总结好了

4、btree索引,就是用树形结构存储在磁盘上,其中操作是用2分发,找一个中间点,然后把大比这个大的分在一边,小的放在一边,然后当你查询的时候,从数字头开始,大...

1102
来自专栏文渊之博

使用SQL Server 扩展事件来创建死锁的时间跟踪

我们通过SQL Server 2012图形界面来部署一个扩展事件跟踪会话。然后可以生成SQL脚本,在2008或2008 R2版本下运行类似的跟踪。 步骤1: 通...

2399

扫码关注云+社区

领取腾讯云代金券