dict值可以是字符串（对于单值标头）或列表（对于多值标头）。如果 None作为值传递，则不会发送HTTP头.一般不需要 - encoding: 使用默认的 'utf-8' 就行。...FormRequest.from_response（）来模拟用户登录 网站通常通过元素（例如会话相关数据或认证令牌（用于登录页面））提供预填充的表单字段。...默认为200 - headers（dict） - 这个响应的头。dict值可以是字符串（对于单值标头）或列表（对于多值标头） - body（str） - 响应体。...()返回的请求会替代start_urls里的请求 - Request()get请求，可以设置，url、cookie、回调函数 - FormRequest.from_response()表单post提交，...访问需要登录查看的页面 **获取Scrapy框架Cookies** **样例代码** `start_requests()`方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls
代码 说明 400 （错误请求） 服务器不理解请求的语法。 401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。...411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。 412 （未满足前提条件） 服务器未满足请求者在请求中设置的其中一个前提条件。...417 （未满足期望值） 服务器未满足”期望”请求标头字段的要求。 5xx（服务器错误） 这些状态代码表示服务器在尝试处理请求时发生内部错误。...如果你频繁使用笔记本和智能手机，你可能会注意到大量的公用 WIFI 服务要求你必须接受一些协议或者必须登录后才能使用。...如果客户端使用HTTP请求来查找文档（可能是JSON），网络将会响应一个登录页，这样你的客户端就会解析错误并导致客户端运行异常，在现实中这种问题非常常见。
服务器返回此响应时，不会返回网页内容。 305 （使用代理） 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。 ...对于需要登录的网页，服务器可能返回此响应。 403 服务器拒绝请求。 404 服务器找不到请求的网页。 405 禁用请求中指定的方法。 ...服务器必须在响应中包含有关冲突的信息。 410 如果请求的资源已永久删除，服务器就会返回此响应。 411 服务器不接受不含有效内容长度标头字段的请求。 ...417 服务器未满足”期望”请求标头字段的要求。 5开头状态码并不常见，但是我们应该知道 500 （服务器内部错误） 服务器遇到错误，无法完成请求。 ...501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。 502 （错误网关） 服务器作为网关或代理，从上游服务器收到无效响应。
400 （错误请求） 服务器不理解请求的语法。 401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。 403 （禁止） 服务器拒绝请求。...服务器必须在响应中包含有关冲突的信息。 410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417 （未满足期望值） 服务器未满足”期望”请求标头字段的要求。...501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。 502 （错误网关） 服务器作为网关或代理，从上游服务器收到无效响应。...如果你频繁使用笔记本和智能手机，你可能会注意到大量的公用 WIFI 服务要求你必须接受一些协议或者必须登录后才能使用。
代码 说明 400 （错误请求） 服务器不理解请求的语法。 401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。...服务器必须在响应中包含有关冲突的信息。 410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417 （未满足期望值） 服务器未满足”期望”请求标头字段的要求。...代码 说明 500 （服务器内部错误） 服务器遇到错误，无法完成请求。 501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。...如果你频繁使用笔记本和智能手机，你可能会注意到大量的公用 WIFI 服务要求你必须接受一些协议或者必须登录后才能使用。
如果没有其他适用的错误， 或者不知道准确的错误或错误没有自己的错误代码，则发送 BadRequest。 Conflict 409 等效于 HTTP 状态 409。...Found 指示请求的信息位于 Location 标头中指定的 URI 处。 接收到此状态时的默认操作为遵循与响应关联的 Location 标头。...保留 PaymentRequired 以供将来使用。 PreconditionFailed 412 等效于 HTTP 状态 412。...使用条件请求标头，如： If-match、 设置条件 If-None-匹配项，或如果-以未修改形式-自。...UseProxy 指示请求应使用位于 Location 标头中指定的 URI 的代理服务器。
对于需要登录的网页，服务器可能返回此响应。 HTTP Status 403 （禁止） -> 服务器拒绝请求。 HTTP Status 404 （未找到） ->服务器找不到请求的网页。...HTTP Status 411 （需要有效长度） ->服务器不接受不含有效内容长度标头字段的请求。...HTTP Status 416 （请求范围不符合要求） ->如果页面无法提供请求的范围，则服务器会返回此状态代码。...HTTP Status 417 （未满足期望值） ->服务器未满足”期望”请求标头字段的要求。...HTTP Status 501 （尚未实施） ->服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。
4xx(请求错误)： 这些状态码表示请求可能出错，妨碍了服务器的处理。 400(错误请求)服务器不理解请求的语法。 401(未授权)请求要求身份验证。对于登录后请求的网页，服务器可能返回此响应。...服务器必须在响应中包含有关冲突的信息。服务器在响应与前一个请求相冲突的 PUT 请求时可能会返回此代码，以及两个请求的差异列表。 410(已删除)如果请求的资源已永久删除，服务器就会返回此响应。...411(需要有效长度)服务器不接受不含有效内容长度标头字段的请求。 412(未满足前提条件)服务器未满足请求者在请求中设置的其中一个前提条件。...417(未满足期望值)服务器未满足”期望”请求标头字段的要求。 5xx(服务器错误)：这些状态码表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误，而不是请求出错。...500(服务器内部错误)服务器遇到错误，无法完成请求。 501(尚未实施)服务器不具备完成请求的功能。例如，服务器无法识别请求方法时可能会返回此代码。
· 203 - Non-Authoritative Information 文档已经正常地返回，但一些应答头可能不正确，因为使用的是文档的拷贝，非权威性信息。...许多浏览器会错误地响应302应答进行重定向，即使原来的请求是POST，即使它实际上只能在POST请求的应答是303时 才能重定向。...登录后，服务器可能会返回对页面的此响应。应答中会包含一个WWW-Authenticate头，浏览器据此显示用户名字/密码对话框，然后在填写合适的Authorization头后再次发出请求。...服务器必须包含有关响应中所发生的冲突的信息。服务器在响应与前一个请求相冲突的 PUT 请求时可能会返回此代码，同时会提供两个请求的差异列表。...· 411 - Length Required （需要有效长度） 服务器不会接受包含无效内容长度标头字段的请求，除非客户发送一个Content-Length头。
服务器返回此响应时，不会返回网页内容。 305 （使用代理） 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。...代码 说明 400 （错误请求） 服务器不理解请求的语法。（解决办法传参格式不正确） 401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。...服务器必须在响应中包含有关冲突的信息。 410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417 （未满足期望值） 服务器未满足"期望"请求标头字段的要求。...（解决办法传参数不正确） 501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。 502 （错误网关） 服务器作为网关或代理，从上游服务器收到无效响应。
服务器返回此响应时，不会返回网页内容。 305 （使用代理） 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。...400 （错误请求） 服务器不理解请求的语法。 401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。...服务器必须在响应中包含有关冲突的信息。 410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417 （未满足期望值） 服务器未满足”期望”请求标头字段的要求。...例如，服务器无法识别请求方法时可能会返回此代码。 502 （错误网关） 服务器作为网关或代理，从上游服务器收到无效响应。 503 （服务不可用） 服务器目前无法使用（由于超载或停机维护）。
410——服务器上不再有此资源且无进一步的参考地址 411——服务器拒绝用户定义的Content-Length属性请求 412——一个或多个请求头字段在当前请求中错误 413——请求的资源大于服务器允许的大小...如果网页自请求者上次请求后再也没有更改过，您应将服务器配置为返回此响应(称为 If-Modified-Since HTTP 标头)。...对于登录后请求的网页，服务器可能返回此响应。 403(禁止)服务器拒绝请求。...411(需要有效长度)服务器不接受不含有效内容长度标头字段的请求。 412(未满足前提条件)服务器未满足请求者在请求中设置的其中一个前提条件。 ...417(未满足期望值)服务器未满足"期望"请求标头字段的要求。 5xx(服务器错误) 这些状态码表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误，而不是请求出错。
服务器返回此响应时，不会返回网页内容。 305 （使用代理） 请求者只能使用代理访问请求的网页。如果服务器返回此响应，还表示请求者应使用代理。...（客户端） 代码 说明 400 （错误请求） 服务器不理解请求的语法。 401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。...服务器必须在响应中包含有关冲突的信息。 410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417 （未满足期望值） 服务器未满足"期望"请求标头字段的要求。...代码 说明 500 （服务器内部错误） 服务器遇到错误，无法完成请求。 501 （尚未实施） 服务器不具备完成请求的功能。例如，服务器无法识别请求方法时可能会返回此代码。
300-399 用于已经移动的文件并且常被包含在定位头信息中指定新的地址信息。 400-499 用于指出客户端的错误。...代码 说明 400 （错误请求） 服务器不理解请求的语法。 401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。 403 （禁止） 服务器拒绝请求。...服务器必须在响应中包含有关冲突的信息。 410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417 （未满足期望值） 服务器未满足"期望"请求标头字段的要求。...代码 说明 500 （服务器内部错误） 服务器遇到错误，无法完成请求。 501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。
307（临时重定向） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。 http状态返回代码 4xx（请求错误） 这些状态代码表示请求可能出错，妨碍了服务器的处理。...http状态返回代码 代码 说明 400（错误请求） 服务器不理解请求的语法。 401（未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。 403（禁止） 服务器拒绝请求。...服务器必须在响应中包含有关冲突的信息。 410（已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411（需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416（请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417（未满足期望值） 服务器未满足”期望”请求标头字段的要求。...http状态返回代码 代码 说明 500（服务器内部错误） 服务器遇到错误，无法完成请求。 501（尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。
301 （永久移动） 请求的网页已永久移动到新位置。 服务器返回此响应（对 GET 或 HEAD 请求的响应）时，会自动将请求者转到新位置。...对于需要登录的网页，服务器可能返回此响应。 403 （禁止） 服务器拒绝请求。 404 （未找到） 服务器找不到请求的网页。 405 （方法禁用） 禁用请求中指定的方法。...服务器必须在响应中包含有关冲突的信息。 410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。 411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。...416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。 417 （未满足期望值） 服务器未满足”期望”请求标头字段的要求。...http状态返回代码 代码 说明 500 （服务器内部错误） 服务器遇到错误，无法完成请求。 501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。
一般 MIME 类型也会和 q 这个属性一起使用，q 是什么？...即使客户端和服务器都能够支持相同的压缩算法，服务器也可能选择不压缩并返回，这种情况可能是由于这两种情况造成的: 要发送的数据已经被压缩了一次，第二次压缩并不会导致发送的数据更小 服务器过载，无法承受压缩带来的性能开销...下面是两种常见的案例 对于 GET 和 POST 方法，会结合使用 Range 标头，它可以确保新发送请求的范围与上一个请求的资源相同，如果不匹配的话，会返回 416 响应。...即使此方法有效，当文档资源发生改变时，它也会添加额外的 响应/请求 交换。这会降低性能，并且 HTTP 具有特定的标头来避免这种情况 If-Range。 ?...即使是安全的，也不应该将敏感信息存储在cookie 中，因为它们本质上是不安全的，并且此标志不能提供真正的保护。
模拟浏览器登录 start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求...对象，其他参数，cookie、url、表单内容等 yield Request()可以将一个新的请求返回给爬虫执行 在发送请求时cookie的操作， meta={'cookiejar':1}表示开启cookie...记录，首次请求时写在Request()里 meta={'cookiejar':response.meta'cookiejar'}表示使用上一次response的cookie，写在FormRequest.from_response...()里post授权 meta={'cookiejar':True}表示使用授权后的cookie访问需要登录查看的页面 获取Scrapy框架Cookies 请求Cookie Cookie = response.request.headers.getlist...2 第一步、 爬虫的第一次访问，一般用户登录时，第一次访问登录页面时，后台会自动写入一个Cookies到浏览器，所以我们的第一次主要是获取到响应Cookies 首先访问网站的登录页面，如果登录页面是一个独立的页面
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
