Day1爬虫原理

爬虫基本流程

发起请求

通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。

获取响应内容

如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容。类型可能有HTML,Json字符串,二进制数据(如图片类型)等类型。

解析内容

得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能是二进制数据,可以做保存或者进一步的处理。

保存数据

保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。

Request

请求方式

主要有GET,POST两种类型。另外还有HEAD、PUT、DELETE、OPTIONS等。

请求URL

URL全称统一资源定位符,如一个网页文档、一张图片、一个视频等都可以用URL唯一来确定。

请求头

包含请求时的头部信息,如User-Agent、Host、Cookies等信息。

请求体

请求时额外携带的数据,如表单提交时的表单数据。

Response

响应状态

有多种响应状态,如200:成功 、 301:跳转、 404:找不到页面、 502服务器错误

响应头

如内容类型、内容长度、服务器信息、设置Cookie等等。

相应体

最主要的部分,包含了请求资源的内容,如网页HTML、图片二进制数据等。

能抓到怎样的数据?

  • 网页文本 如HTML文档,Json格式文本等。
  • 图片 获取到的是二进制文件,保存为图片格式。
  • 视频 同为二进制文件,保存为视频格式即可。
  • 其它 只要是能请求到的,都能获取。

解析方式

  1. 直接处理
  2. Json解析
  3. 正则表达式
  4. BeautifulSoup
  5. PyQuery
  6. XPath

怎样解决JavaScripy渲染的问题?

  • 分析Ajax请求
  • Selenium/WebDriver
  • Splash
  • PyV8、Ghost.py

怎样来保存数据?

  • 文本 纯文本、Json、Xml等
  • 关系型数据库 如MySQL、Oracle、SQL Server等具有结构化表结构形式存储
  • 非关系型数据库 如MongoDB、Redis等Key-Value形实存储
  • 二进制文件 如图片、视频、音频等等直接保存成特定格式即可

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT可乐

Redis详解(八)------ 主从复制

  前面介绍Redis,我们都在一台服务器上进行操作的,也就是说读和写以及备份操作都是在一台Redis服务器上进行的,那么随着项目访问量的增加,对Redis服务...

930
来自专栏木头编程 - moTzxx

Redis 的安装与拓展操作指导(Windows+Linux)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

1512
来自专栏calvin

net core 程序docker打包镜像并发布到官方store

学习一个技术的第一步,总是要先打印或显示一个hello world的。当然,学习docker也不例外。上一篇文章已经简单的介绍了环境的安装和配置。接下来就要打印...

2842
来自专栏FreeBuf

基于Session的身份窃取

一、Session是什么 密码与证书等认证手段,一般用于登录过程。用户登录之后,服务器通常会建立一个新的Session保存用户的状态和相关信息,用以跟踪用户的状...

3198
来自专栏白驹过隙

Redis - Keepalived + redis 主备热备切换

49011
来自专栏跟着阿笨一起玩NET

WCF服务发布到IIS时候,只能根据hostname访问,不能根据IP地址访问的解决办法

本文转载:http://www.cnblogs.com/deerbox/archive/2013/05/13/3076248.html

2002
来自专栏GreenLeaves

WCF系列教程之初识WCF

本随笔参考自WCF编程系列(一)初识WCF,纯属读书笔记,加深记忆。 1、简介:Windows Communication Foundation(WCF)是微软...

2358
来自专栏挖坑填坑

.net core + angular 项目中使用ueditor遇到的问题

这是两个问题, 1、angular中使用ueditor 2、.net core 中使用ueditor

1382
来自专栏bluesummer

利用Zookeeper实现分布式锁及服务注册中心

对于Zookeeper的定义以及原理,网上已经有很多的优秀文章对其进行了详细的介绍,所以本文不再进行这方面的阐述。 本文主要介绍一些基本的准备工作以及zooke...

3825
来自专栏Road

Redis 设计 --- 持久化存储策略 以及 过期键删除策略

本篇主要介绍 Redis 中 过期键删除策略 以及 如何“友好”支持数据持久化存储

1642

扫码关注云+社区

领取腾讯云代金券