首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python爬虫基础知识:异常的处理

典型的错误包含"404"(页面无法找到),"403"(请求禁止),和"401"(带验证请求)。 HTTP状态码表示HTTP协议所返回的响应的状态。...:请求到的资源在一个不同的URL处临时保存 处理方式:重定向到临时的URL 304 请求的资源更新 处理方式:丢弃 400 非法请求 处理方式:丢弃 401 授权...BaseHTTPServer.BaseHTTPRequestHandler.response是一个很有用的应答号码字典,显示了HTTP协议使用的所有的应答号。...当一个错误号产生后,服务器返回一个HTTP错误号,和一个错误页面。 你可以使用HTTPError实例作为页面返回的应答对象response。...这表示和错误属性一样,它同样包含了read,geturl,和info方法。 我们建一个urllib2_test07.py来感受一下: 按下F5可以看见输出了404错误码,也就说没有找到这个页面。

1.1K100
您找到你想要的搜索结果了吗?
是的
没有找到

解决404 Not Found Not Found The requested URL was not found on the server. If yo

文件权限问题可能会导致服务器无法找到文件,从而引发404错误使用命令​​chmod​​来更改文件权限,确保文件能够被服务器读取。6....当无法找到所请求的URL时,默认情况下服务器会返回一个简单的404错误页面。为了提升用户体验,可以设置一个自定义的404页面,向用户展示更友好的错误信息,并提供相关的导航或搜索功能。...通过检查URL拼写和路径、确认文件是否存在、检查服务器配置、重启服务器、检查文件权限、检查URL重定向、查看服务器日志和使用调试工具等方法,我们可以解决和排除404错误。...这些错误码用于指示HTTP请求的处理情况,客户端可以根据这些错误码来采取适当的操作。例如,当客户端收到404 Not Found错误码时,可以显示一个错误页面或者尝试使用其他URL进行请求。...需要注意的是,这些错误码是标准的HTTP状态码,适用于大多数Web开发场景。在特定的应用程序或框架中,可能会使用自定义的错误码来表示特定的错误情况。

76340

HTTP协议之状态码详解

本文我花了一个多月的时间把所有的状态码都总结了下,内容太多,看的时候麻烦耐心点了。   HTTP状态码的学习资料到处都有,但是都是理论上讲解。 ...如下图,  当客户端请求一个不存在的URL的时候, Web服务器会返回 “HTTP/1.1 404 Not Found” 告诉浏览器客户端。 服务器无法找到所请求的URL。 ?   ...Response中应该包含一个Location URL, 说明资源现在所处的位置 304 Not Modified(未修改)客户的缓存资源是最新的, 要客户端使用缓存 404 Not Found 未找到资源...使用 这个状态码当前没使用 307 Temporary Redirect(临时重定向 类似302   4XX客户端错误状态码   有时客户端会发送一些服务器无法处理的东西,比如格式错误的Request...403 Forbidden(禁止) 请求被服务器拒绝了 状态码403 404 Not Found(未找到) 未找到资源 HTTP协议详解-404 405 Method Not Allowed(不允许使用的方法

1.4K10

如何使用Selenium WebDriver查找错误的链接?

当您在网站上遇到404 /页面未找到/无效超链接时,会想到什么想法?啊!当您遇到损坏的超链接时,您会感到烦恼,这是为什么您应继续专注于消除Web产品(或网站)中损坏的链接的唯一原因。...除了导致404错误的页面外,断开链接的其他主要示例是格式错误URL,指向已移动或删除的内容(例如,文档,pdf,图像等)的链接。...链接断开的主要原因 以下是发生链接断开(死链接或链接腐烂)的一些常见原因: 用户输入的网址不正确或拼写错误。 网站中具有URL重定向或内部重定向的结构更改(即永久链接)正确配置。...Web元素,可以找到被测URL上存在的链接(即cnds博客)。...4.通过状态码验证链接 如果在步骤(3)中发送的HTTP请求的HTTP响应代码为404(即,找不到页面),则表示该链接是断开的链接。对于断开的链接,HTTP状态代码为200。

6.5K10

【经验】使用http访问一个链接提示400的错误,但是在浏览器访问没问题(server returned HTTP Response code :400 fro URL:),怎么解决

于是就本地断点,发现了如下错误: 程序通过httpClient访问一个地址的时候,提示:server returned HTTP Response code :400 fro URL:XXXX这个错误...怀疑是不是因为中文没有进行URL编码导致【ps:最后得到的结论确实是中文没有URL编码】? Jave中对URL进行url编码,大家都知道,就是URLEncoder.encode()这个方法。简单啊!...于是凯哥就把整个URL进行encode.结果大家可想而知,把http://xxx 中的://也进行了encode.通过httpclient当然访问不了的。 程序 访问前的URL:xxx?...总结: 如果程序访问一个url出现server returned HTTP Response code :400 fro URL这个错误,但是在浏览器中访问同样的url没问题的话,就要考虑是不是因为访问的...把这些特殊字符进行url编码后在使用程序进行访问或许就能成功了。需要注意,在进行url编码的时候,指定编码的字符集

4.7K20

HTTP状态码

http状态码解释 HTTP 状态码分为 5 类。...响应中应该包含一个 Location URL,说明资源现在所处的位置 302 Found(已找到) 与状态码 301 类似,但这里的移除是临时的。...,在客户端获得资源访问权之前,请它进行身份认证 402 Payment Required(要求付款) 当前此状态码并未使用,是为未来使用预留的 403 Forbidden(禁止) 服务器拒绝了请求 404...Not Found(未找到) 服务器无法找到所请求的 URL 405 Method Not Allowed(不允许使用的方法) 请求中有一个所请求的 URI 不支持的方法。...) 服务器遇到了一个错误,使其无法为请求提供服务 501 Not Implemented(实现) 服务器无法满足客户端请求的某个功能 502 Bad Gateway(网关故障) 作为代理或网关使用的服务器遇到了来自响应链中上游的无效响应

1K10

HTTP状态码详解

Response中应该包含一个Location URL, 说明资源现在所处的位置 状态码301 302 Found(已找到) 与状态码301类似。但这里的移除是临时的。...客户端会使用Location中给出的URL,重新发送新的HTTP request HTTP协议详解-302 303 See Other(参见其他) 类似302 304 Not Modified(未修改...状态码 状态消息 含义 实例 400 Bad Request (坏请求) 请求报文中存在语法错误 状态码400 401 Unauthorized(授权) 客户端需要通过HTTP认证 HTTP协议之基本认证...-401 403 Forbidden(禁止) 请求被服务器拒绝了 状态码403 404 Not Found(未找到) 未找到资源 HTTP协议详解-404 405 Method Not Allowed...客户端需要通过HTTP认证 状态码501 502 Bad Gateway(网关故障) 代理使用的服务器遇到了上游的无效响应 状态码502 503 Service Unavailable(提供此服务)

1.3K50

php出现failed to open stream: HTTP request failed! HTTP1.1 404 Not Found错误页的解决办法

今天在处理缩略图裁剪代码的时候偶一条错误“failed to open stream: HTTP request failed!...HTTP/1.1 404 Not Found”,最开始以为是内存不足,后来百度一下不是这个问题。...大概的原因是处理缩略图裁剪的时候,发现链接出现错误,因为测试站开启了网站密码这就导致查询不到http状态码,所以这个时候就出现了这个错误提示。...我再用的是php7.4和8.0,其中8.0出错误提示,那么如何解决failed-to-open-stream:-HTTP-request-failed的错误呢按照百度的教程有两种完美的解决办法。...打开服务器php配置文件php.ini(别问我这个文件在哪)找到这两个选项:allow_url_fopen =on(表示可以通过url打开远程文件,如果是off修改成on),user_agent="PHP

2.5K10

网络编程之HTTP状态码详解

这个代码是和一个选项列表一起返回的, 然后用户就可以选择他希望使用的选项了 301 Moved Permanently( 永久搬离) 请求的 URL 已移走。...401 Unauthorized( 授权) 与适当的首部一起返回, 在客户端获得资源访问权之前, 请它进行身份认证 402 Payment Required( 要求付款) 当前此状态码并未使用, 是为未来使用预留的...403 Forbidden( 禁止) 服务器拒绝了请求 404 Not Found( 未找到) 服务器无法找到所请求的 URL 405 Method Not Allowed( 不允许使用的方法) 请求中有一个所请求的...) 服务器遇到了一个错误, 使其无法为请求提供服务 501 Not Implemented( 实现) 服务器无法满足客户端请求的某个功能 502 Bad Gateway( 网关故障) 作为代理或网关使用的服务器遇到了来自响应链中上游的无效响应..., 但是响应来自网关或代理, 此网关或代理在等待另一台服务器的响应时出现了超时 505 HTTP Version Not Supported( 不支持的 HTTP 版本) 服务器收到的请求是以它不支持或不愿支持的协议版本表示的

75440

HTTP状态码及其含义

出现该状态代码时,浏览器能够自动访问新的URL,因此它是一个很有用的状态代码。注意这个状态代码有时候可以和301替换使用。...例如,如果浏览器错误地请求http://host/~user(缺少了后面的斜杠),有的服务器 返回301,有的则返回302。严格地说,我们只能假定只有当原来的请求是GET时浏览器才会自动重定向。...306 (unused):使用。 307 Temporary Redirect:和302 (Found)相同。...402 Payment Required:使用。 403 Forbidden:资源不可用。服务器理解客户的请求,但拒绝处理它。通常由于服务器上文件或目录的权限设置导致。...404 Not Found:无法找到指定位置的资源。这也是一个常用的应答。

1.7K20

如何使用SpringMvc处理Rest异常

对于那些有可能是中间结点返回的错误响应(常见的包括401、403、404、405、406、408、409、429、500、502、503、504)要特别注意,它们的响应体未必符合http接口文档里声明的格式...在上面的例子中,错误码属性的值是40483。通用的那个“状态码”(404)表明没找到该资源,然后有一个应用特有的错误码40483,来表明该资源不光是没找到,而且还表明了是因为尚未被上传到服务器。...探讨 作者的意思应该是可以从“存在性”维度来区别诸如“存在过”、“曾经拥有现已搬走”、“曾经拥有不知所踪”、“暂时不在稍后回来”等不同的细分情况。...你可以把异常信息、堆栈或任何你觉得对使用者有帮助的信息放在里面。  详情/moreInfo “详情”属性指定一个url,可以展示给看到错误信息的人,他们可以点击或把它复制粘贴到浏览器里。...url指向的目标网页应该有完整的错误详情以及解决方案,帮助他们解决问题。 这可能是最重要的属性,因为你可以在目标网页上更好地提供信息。

1.3K00

什么是Ajax以及ajax请求的步骤

2.Ajax请求的步骤 (1)创建`XMLHttpRequest`对象,也就是创建一个异步调用对象; (2)创建一个新的`HTTP`请求,并指定该`HTTP`请求的方式、`URL`及验证信息; (3)设置响应...`HTTP`请求状态变化的函数; (4)发送`HTTP`请求; (5)获取异步调用返回的数据; (6)使用JavaScript和DOM实现局部刷新。...(禁止)服务器拒绝请求 404:(未找到)服务器找不到请求的页面 408:(请求超时)服务器等候请求发生超时 500:(服务器内部错误)服务器遇到错误,无法完成请求 6.onload和onreadystatechange...`请求,并指定该`HTTP`请求的方式、`URL`及验证信息; (3)设置响应`HTTP`请求状态变化的函数; (4)发送`HTTP`请求;... 200:(成功) 403:(禁止)服务器拒绝请求 404:(未找到)服务器找不到请求的页面 <br /

2.2K20

HTTP 返回状态值详解

4、Http/1.1 400 Bad Request 域名绑定错误   一般是服务器上域名绑定成功,未备案等情况。...6、Http/1.1 404 Not Found 文件或目录不存在   表示请求文件、目录不存在或删除,设置404错误页时需确保返回值为404。...4xx:请求包含一个错误语法或不能完成 400——错误请求,如语法错误 401——请求授权失败 402——保留有效ChargeTo头响应 403——请求不允许 404——没有发现文件、查询或URl...404(未找到)服务器找不到请求的网页。例如,对于服务器上不存在的网页经常会返回此代码。   ...该代码与 404(未找到)代码类似,但在资源以前存在而现在不存在的情况下,有时会用来替代 404 代码。如果资源已永久移动,您应使用 301 指定资源的新位置。

2.9K30

Ajax Status请求状态

出现该状态代码时,浏览器能够自动访问新的URL,因此它是一个很有用的状态代码。注意这个状态代码有时候可以和301替换使用。...例如,如果浏览器错误地请求http://host/~user (缺少了后面的斜杠),有的服务器返回301,有的则返回302。严格地说,我们只能假定只有当原来的请求是GET时浏览器才会自动重定向。...(HTTP 1.1新) 4xx - 客户端错误 发生错误,客户端似乎有问题。例如,客户端请求不存在的页面,客户端提供有效的身份验证信息。...这个错误代码为 IIS 6.0 所专用。 403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。 404 - Not Found 无法找到指定位置的资源。...这个错误代码为IIS 6.0 所专用。 504 - Gateway Timeout 网关超时,由作为代理或网关的服务器使用,表示不能及时地从远程服务器获得应答。(HTTP 1.1新) 。

1.8K10

⚡3分钟⚡熟悉面试常问状态码,面试官都听呆了

例如,如果浏览器错误地请求 http://host/~user (缺少了后面的斜杠) ,有的服务器返回301,有的则返回302。严格地说,我们只能假定只有当原来的请求是GET时浏览器才会自动重定向。...(HTTP 1.1新) image.png 4开头 发生错误,客户端似乎有问题。例如,客户端请求不存在的页面,客户端提供有效的身份验证信息。...这个错误代码为 IIS 6.0 所专用。 · 403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。 · 404 - Not Found 无法找到指定位置的资源。...它和404的不同在于,返回407表示文档永久地离开了指定的位置,而404表示由于未知的 原因文档不可用。...这个错误代码为 IIS 6.0 所专用。 · 504 - Gateway Timeout 网关超时,由作为代理或网关的服务器使用,表示不能及时地从远程服务器获得应答。(HTTP 1.1新) 。

1.8K20

详解ASP.NET Core 处理 404 Not Found

问题 在没有修改任何配置的情况下,这是用户使用 Chrome 访问不存在的URL时会看到的内容: image.png 幸运的是,处理错误状态代码非常简单,我们将在下面介绍三种技术。...在处理 not-found 错误时,我们需要处理两种不同的情况。 URL与任何路由不匹配的情况。在这种情况下,如果我们无法确定用户正在访问什么,我们需要返回一个通用的未找到的页面。...在这里,我们知道用户正在查看产品,而不是返回通用错误,我们可以更友好的页面,返回自定义未找到产品的的页面。这仍然需要返回404状态代码,但是使用不通用的页面,同时也可以向用户显示类似或受欢迎的产品。...通过使用StatusCodePagesMiddleware中间件,可以非常容易地处理通用404错误(或实际上是任何非成功状态代码)。...一般来说,这两种技术是在ASP.NET Core中处理非成功HTTP状态代码的首选方法。

1.9K20

HTTP响应状态码:除了404,还有啥?

出现该状态代码时,浏览器能够自动访问新的URL,因此它是一个很有用的状态代码。注意这个状态代码有时候可以和301替换使 用。有的服务器返回301,有的则返回302。...服务器告诉客户,原来缓冲的文档还可以继续使用。 · 305 - Use Proxy 客户请求的文档应该通过Location头所指明的代理服务器提取(HTTP 1.1新)。...· 404 - Not Found(未找到) 服务器找不到请求的网页。例如,如果请求是针对服务器上不存在的网页进行的,那么,服务器通常会返回此代码。...· 407 - Proxy Authentication Required (需要代理授权) 此状态代码与 401(授权)类似,但却指定了请求者应当使用代理进行授权。...它和404的不同在于,返回407表示文档永久地离开了指定的位置,而404表示由于未知的原因文档不可用。

2K20
领券