《52讲轻松搞定网络爬虫》读书笔记 - HTTP基本原理
《52讲轻松搞定网络爬虫》读书笔记 - HTTP基本原理
URI 和 URL
URI ：Uniform Resource Identifier，即统一资源标志符，
URL ：Universal Resource Locator，即统一资源定位符。
举栗子，加深理解
链接https://github.com/favicon.ico，它是一个URI也是一个URL，唯一指向一个图标资源，可以通过URI/URL在互联网上找到它
URL和URI的关系
URL 是 URI 的子集，也就是说每个 URL 都是 URI，但不是每个 URI 都是 URL；URI还包括一个子类叫做URN（Uniform Resource Name），即统一资源名称
URN的作用
URN 只命名资源而不指定如何定位资源
举栗子
比如 urn:isbn:0451450523 指定了一本书的 ISBN，可以唯一标识这本书，但是没有指定到哪里定位这本书
URI、URL、URN的关系图
总结
但是在目前的互联网，URN 的使用非常少，几乎所有的 URI 都是 URL，所以一般的网页链接我们可以称之为 URL，也可以称之为 URI
HTTP协议
超文本
我们在浏览器里看到的网页就是超文本解析而成的，其网页源代码是一系列 HTML 代码，而这些可称为超文本
HTTP 和 HTTPS
HTTP：超文本传输协议
HTTP作用：从网络传输超文本内容到本地浏览器的协议，保证高效准确的传送超文本内容；最常用1.1版本
HTTPS：HTTP的安全版，在HTTP协议的基础上加了一层SSL协议，SSL属于安全协议
HTTPS的作用
- 建立一个安全传输通道，保证数据传输的安全性
- 确认网站的真实性，在浏览器可通过网站的证书查看它认证后的真实信息，也可以通过CA机构颁发的安全签章来查询
HTTP请求过程
在客户端（PC电脑或者手机）输入URL，回车后即可看到页面内容，那这个过程的原理是啥呢？
- 客户端发送请求到服务器
- 服务器接收请求，处理和解析请求
- 服务器返回对应的响应给浏览器
通过浏览器开发者工具的network看请求信息
- Name：请求名称，一般截取URL的最后一部分内容当名称
- Status：响应状态码
- Type：请求的文档类型
- Initiator：请求源，标记请求是由哪个对象或进程发起的
- Size：有三种类型 memory cache、disk cache、资源本身大小
- Time：完成一个请求事务的所需时间（发起请求-处理请求-返回响应）
- Waterfa：页面请求过程的可视化瀑布
memory cache、disk cache区别
memory cache：字面意思就是内存缓存，代表这个资源直接从内存获取， 不经过服务器，当关闭当前页面时，这个资源就被释放掉了
disk cache：硬盘缓存，代表这个资源从本地硬盘获取，也不经过服务器，但不会因关闭当前页面会释放掉，下次打开该页面，该资源仍然显示disk cache
细品一个请求的正确组成
首先，请求的组成部分
Request从客户端向服务端发送，可以分为4部分：请求方法（Request Method），请求网址（Request URL），请求头（Request Headers），请求体（Request Body）
然后，看General部分
已经包含了刚刚说的请求方法和请求网址
status code：响应状态码
Remote Address：远程服务器的地址和端口
Referrer Policy：Referrer 判别策略
请求方法
请求头
用来说明服务器要使用的附加信息，比较重要的信息有：Cookie、Refer、User-Agent
- Accept：请求报头域，用于指定客户端可接受哪些类型的信息。
- Accept-Language：指定客户端可接受的语言类型。
- Accept-Encoding：指定客户端可接受的内容编码。
- origin：请求协议+请求域名
- referer：请求资源地址，标识这个请求是从哪个页面；作用：服务器拿到这信息做处理，如来源统计、防盗链处理
- user-agent：俗称 ，让服务器识别客户端的操作系统、系统版本、浏览器版本等信息。在做爬虫时需要加上此信息，伪装成浏览器
UA
- Content-type：互联网媒体类型，也称MIME类型，一般叫请求的媒体类型信息；常见的有：text/html 代表 HTML 格式，image/gif 代表 GIF 图片，application/json 代表 JSON 类型
- Cookie：存储用户信息，一般搭配服务端的Session使用
请求体
Query String Paramter：请求URL后面跟的请求参数，一般是GET请求的数据
Request Playload：请求数据，一般是POST请求的数据
POST请求提交数据方式和Content-Type的关系
细品响应的组成
一般分为三部分：响应状态码（Response Status Code）、响应头（Response Headers）、响应体（Response Body）
响应状态码
响应头
- 包含了：服务器对请求的应答信息，如 Content-Type、Server、Set-Cookie 等
- 常见响应信息有
- Date：响应产生的时间
- Last-Modified：资源的最后修改时间
- Content-Encoding：响应内容的编码
- Content-Length：响应内容长度
- Server：包含服务器的信息，比如名称、版本
- Content-Type：响应内容的文档类型，如果是接口响应，通常为application/json，也可能会加charset=utf-8指定字符集
- Set-Cookie：设置 Cookies。响应头中的 Set-Cookie 告诉浏览器需要将此内容放在 Cookies 中，下次请求携带 Cookies 请求
- Expires：指定响应的过期时间，可以让客户端将加载的内容更新到缓存中，如果再次访问时，可以直接从缓存中加载，降低服务器负载，缩短压缩时间
响应体
响应返回的内容都在响应体中，比如请求网页时，它的响应体就是网页的 HTML 代码；请求一张图片时，它的响应体就是图片的二进制数据；请求一个查询接口时，它响应体就是json字符串