走近代码之Python-爬虫框架Portia

一个迟到很久的新年快乐……3.8节都要到了，然而今天的更新依然是枯燥的知识分享。然而更新总归是好的开始吧！

Portia--基于Scrapy的可视化数据采集框架

1

框架特性

基于 scrapy 内核

可视化爬取内容，不需要任何开发专业知识

动态匹配相同模板的内容

2

安装

Windows 推荐使用 Docker 安装

安装 Docker ToolBox

启动

是 protia 项目的路径，如果没有项目，可以随便输入一个绝对路径，docker 会自动创建

在浏览器中输入地址

是文件中配置的

3

可能遇到的问题

Docker 下载安装镜像的过程可能会很慢，可以使用代理，或者使用国内的 DaoCloud 镜像市场。

根据文档描述，在绑定了 9001 端口以后，可以使用地址访问，但是在 windows 系统下却显示链接无法访问。

原因是：Docker 是运行在 Linux 上的，在 Windows 中运行 docker，实际上还是在 Windows 下先安装了一个 Linux 环境，然后在这个系统中运行的 docker。也就是说，服务中使用的 localhost 指的是这个 Linux 环境的地址，而不是我们的宿主环境 Windows，所以必须使用 Windows 分配给虚拟的 Linux 环境的访问。

Demo

官方 portia 管理平台：https://portia.scrapinghub.com/

爬取数据的工作流程主要分为两步，完全没有编程知识的人都可以操作：

1 Follow Links

2 Extracts data:

3 可以在右侧看到当前页面所有提取的数据:

运行爬虫

1：Portia 提供导出为 Scrapy 的功能，导出以后，可以使用 Scrapy 来运行爬虫

2： 可以使用 Portia 的命令来运行

3： 在 ScrapingHub 点击运行，可以在 web 页面上可视化的查看结果，导出数据

架构

slyd：为创建爬虫工程提供可视化的编辑器

slybot：真正可视化和爬取的核心

Scrapy：基于 Scrapy 爬虫框架实现，其中使用了 scrapy-splash 第三方中间件来提供JS渲染服务。

Splash：是一个 Javascript 渲染服务。它是一个实现了 HTTP API 的轻量级浏览器，Splash 是用 Python 实现的，同时使用 Twisted 和 QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。

Scrapely ：是从HTML页面提取结构化数据的库。

源码分析

Portia 的爬虫核心就是使用了 scrapy，源码分析可以参考

4

部署

Portia 只能可视化的创建一个 scrapy 爬虫，并不能在网页可视化的部署运行。如果需要 web 端可视化管理爬虫有两种方法

需要 Scrapinghub 的Scrapy Cloud，深度使用需要收费。

或者使用scrapyd和scrapyd-client来部署和管理 scrapy 爬虫.

查看 jobs：

5

框架总结

Portia 只是一个可视化编辑爬取规则编辑器，最终创建出来的是一个 scrapy 爬虫项目。如果想要对爬虫进行部署，管理，还是需要学习 scrapy 相关知识。

只能爬取扁平化、结构单一的网站，对于爬取层次较深的网站比较难编写爬取规则。

因为可以匹配相同结构的模板，所以擅长爬取列表页的数据

Docker 在 Windows 上部署比较麻烦，推荐在 Linux 环境下部署 Portia。