如何使用python抓取来处理“403禁止”响应？

文章/答案/技术大牛

发布

1回答

python、web-scraping、python-requests

我已经抓取了我想要的图片的url，但我使用了请求模块来下载图片，服务器响应403禁止。我曾尝试在chrome F12中捕获流量，在主页中有许多JS响应，图片的url仅响应文档类型 import requests 'https://i.hamreus.com/ps4/0

浏览 14提问于2019-06-19得票数 1

4回答

Error_code:403，“描述”：“禁止:机器人被用户阻止。python中的错误处理

python、telegram、telegram-bot

我在python中使用telebot有问题。如果用户向bot发送消息，等待响应，同时阻止bot。我得到了这个错误，而bot不会对其他用户做出响应：还有其他办法来摆脱这种情况吗？如何发现bot被用户阻塞，并避免回复此消息？except Exception as e: print(e) # do not handle

浏览 14提问于2021-08-24得票数 7

回答已采纳

1回答

python 3:使用请求时收到403:禁止错误

python-3.x、url、request、wget

HTTP错误403:禁止使用以下两个命令之一生成。此外，我的cygwin中的wget也能够抓取html源代码。有人知道如何通过单独使用python中的包来获取这个网站的源代码吗？

浏览 20提问于2016-07-29得票数 1

回答已采纳

1回答

netbeans上的Rubygems快把我逼疯了！

netbeans、rubygems

我不明白为什么Gems抓取失败了，它总是工作得很好，我不知道如何解决这个问题，希望有人能帮上忙。快把我逼疯了。有关hep，请参阅中的故障排除部分。(Gem：：RemoteFetcher：：FetchError)错误响应禁止403 ()

浏览 0提问于2010-05-29得票数 0

1回答

PermissionRequiredMixin AccessMixin permission_denied_message

python、django

好的，所以我不知道为什么django在引发PermissionDenied异常时也插入了permission_denied_message变量时，显示了一个"403禁止的“。

浏览 4提问于2016-05-03得票数 2

回答已采纳

2回答

应用扫描检测到主机名/管理器的隐藏目录

tomcat、embedded-tomcat-7

我的应用程序中使用url 调用api，其中说有403次访问被拒绝。现在，我想将此消息更改为404。PS，我在这个主机名中运行了两个应用程序。我使用tomcat作为服务器，我不想在tomcat中更改任何内容。

浏览 3提问于2015-08-11得票数 0

2回答

抓取网站页面数据时出现403错误

c#、asp.net-mvc-3、web-scraping

对于所有网站，代码运行正常，但其中一个返回403禁止错误。该网站采用Asp.net MVC3框架开发。以下是我的代码。 public static decimal?我如何继续报废网站？

浏览 0提问于2014-09-05得票数 1

2回答

如何在django中设置"CSRF验证失败“的默认处理程序？

python、django、apache、mod-wsgi、http-status-code-403

我的404和500处理程序工作正常。但是在被禁止访问的情况下，我不能触发它(当我引发HttpResponseForbidden时，触发的处理程序就是错误500的处理程序)。不管怎样，这不是我的问题。我的问题是，当我试图篡改(为了测试目的) CSRF令牌时，它会抛出“禁止的”，但同样，我的禁止访问处理程序也不会被调用--它会为403禁忌调用默认的django模板。当我试图访问static (或media)目录的根目录时，调用的页面来自服务器默认禁

浏览 6提问于2016-11-23得票数 2

回答已采纳

2回答

urllib.request.urlopen无法获取堆栈溢出选举的主页面

python、python-3.4、urllib

它适用于大多数站点，但堆栈溢出除外，其中使用request.urlopen of urllib检索URL失败，出现403个错误(禁止)。fetching {} ...'.format(url))输出时，Math SE和Server故障的URL可以正常工作，但是堆栈溢出失败：抓取抓取 ..。抓取 ..。/Versions/3.4/lib/python3.

浏览 4提问于2015-11-16得票数 1

回答已采纳

1回答

ASP.NET内核给了我禁止的代码500 ()

c#、asp.net、asp.net-web-api、web、asp.net-core

没有配置任何身份验证处理程序来处理该方案:自动 (当然，服务器返回500)。奇怪的是，我没有在任何地方进行任何身份验证，而且不会发生，例如，如果方法随return Ok();离开。我真的希望这里有人知道如何解决这个问题和/或我能做些什么来找出为什么会发生这种情况。

浏览 3提问于2017-06-16得票数 17

回答已采纳

6回答

如何创建返回禁止结果的筛选器

c#、asp.net-mvc、asp.net-web-api

我想要创建一个web过滤器来检查请求头是否有正确的api键。 { } 使用我知道的，但我如何将状态代码更改为403，只返回一个字符串并停止执行，停止处理其他过滤器和控制器操作？

浏览 4提问于2014-09-17得票数 13

1回答

从网页抓取/抓取.jpg图像- 403禁止错误

python、web-scraping、web-crawler、wget

示例：我想从这个目录中抓取所有的.jpg图像。我知道有很多。当我尝试使用wget时，我得到403禁止的错误。使用镜像的完整路径：使用Python，有没有办法在开发人员禁用了原始/ *.jpg /目录上的目录列表的情况下，也能抓取网页上的图像？该站点使用的是纯http。

浏览 0提问于2018-11-16得票数 0

3回答

HttpWebRequest/响应抛出错误“未找到”

windows、windows-phone-7、.net-4.0、silverlight-3.0

> <statusCode>403</statusCode> <error> (HttpWebResponse)requestData.Request.EndGetResponse(result); 如何在忽略错误的同时仍然创建流来读取

浏览 0提问于2011-04-01得票数 1

回答已采纳

1回答

在Rails3中向:root重定向添加状态代码会导致令人讨厌的"You are redirect“页面

ruby-on-rails、ruby-on-rails-3

这是可行的：这会导致Rails3生成一个“您正在被重定向”页面： redirect_to :root, :status => 403

浏览 3提问于2011-02-07得票数 2

回答已采纳

1回答

寻找对Apache操作头的行为的解释

htaccess、apache、404、http-headers、403-forbidden

在一些URL上，Apache触发404 (正确)，在另一个URL上触发- 403 (错误)。我无法用RegEx捕获URL，因为Apache 403，所以我不能正确地重写它们以强制404。我创建了以下变通方法，强制执行404而不是403：ErrorDocument 403 /404.php对于这两种情况，>以这种方式显示Googlebot 404，在那里，Apache试图用403来

浏览 0提问于2016-04-07得票数 5

回答已采纳

1回答

当我与比特币平均服务器通信时，它显示403状态码错误

javascript、node.js、express

app.listen(3000, function(){});当我与比特币平均服务器通信时，它显示403

浏览 0提问于2019-10-05得票数 0

1回答

如何在使用代理时获得https域

proxy、wget

我正在尝试使用wget和代理来获取google(https)页面。但是下面的命令给出403个被禁止的响应响应2016

浏览 11提问于2016-06-08得票数 0

回答已采纳

2回答

rails api中被阻止的用户配置文件的最佳HTTP状态代码是什么？

ruby-on-rails、api、http

那么我应该返回的最佳HTTP代码状态是: 404、403、204或200(不渲染)？

浏览 1提问于2016-12-26得票数 13

回答已采纳

1回答

抓取Justdial

python、web-scraping

我想从Justdial中抓取学校名称、地址和电话号码的数据。我已经准备好脚本了。我使用Scrappy和selenium。但是，我从Justdial服务器收到HTTP错误403(禁止)和504(网关超时)。上面写着访问被拒绝。，并在具有不同网络的不同机器上尝试了它，使用VPN、代理来运行这个程序。首先我得到了403错误，然后在一些尝试之后，我得到了504错误，如下所示：忽略响应<504 https://www.justdial

浏览 17提问于2021-10-07得票数 0

1回答

需要用WebClient C#读取禁止的403的响应

c#、webclient、httpresponse、http-status-code-403

我使用C# WebClient来获取服务器响应，并得到以下异常消息：第一个图像是在chrome中显示HTTP头。第二个则显示了反应。 

浏览 0提问于2014-10-17得票数 0

回答已采纳

点击加载更多