抓取网站时遇到401错误

文章/答案/技术大牛

发布

1回答

python、web-scraping、python-requests

我正在尝试使用python的请求库来抓取https://www.nseindia.com/api/equity-stockIndices?index=NIFTY%20500，但是失败了。我使用的url和标题显示在网络选项卡上，但它给出了401响应。有人能指出我的错误吗？谢谢！...: dg/91.0.864.64"Out[15]: <Response [4

浏览 26提问于2021-07-05得票数 0

1回答

如何从API读取数据，该API在访问请求URL时出现未经授权的错误

python-3.x、web-scraping、beautifulsoup、request

我正在尝试“抓取”一个网站，但当我试图打开请求url时，它给我一个未授权的错误，状态为401。网址：https://www.dbxkjfejjekef.com/ 请求地址：https://www.db.co.in/__api__/api/1.0/feed/home 错误消息： { path: &qu

浏览 54提问于2020-08-20得票数 1

回答已采纳

1回答

JAXWS客户端基本身份验证

java、web-services、jax-ws

(Exception e) { }但是，我总是会遇到以下错误： (401)未经授权

浏览 2提问于2015-06-03得票数 1

回答已采纳

1回答

.htaccess在每次请求时都会不断询问密码

apache、.htaccess、login、.htpasswd

我有一个临时网站，我用一个简单的.htaccess文件来保护它。AuthUserFile /real/path/to/.htpasswd我的.htpasswd如下：当我从桌面登录时，但是当我从我的iPhone (火狐，Safari)登录时，它总是在每次请求时都要求我提供登录信息。如果我只是忽略它，它不会重定向我，但每次我提出新的请求时，它仍然会继续弹出。

浏览 0提问于2017-05-21得票数 1

1回答

Hi最近开发了一个移动网站，并决定使用网络抓取来使用来自大学网站的数据，但我遇到了一个问题。关于服务器的信息:它正在运行asp.net，它可以与所有用户代理一起工作，当你访问www.example.com/ login /时，它会弹出一个登录对话框。我之所以使用python来写这个应用，是因为我已经尝试过跨平台使用urlib技术，即使我添加了密码和用户名，我也得到了401未授权，我会在回家后发布代码。我得到了一个带有cookie jar的机制浏览器设置，但仍然没有给出

浏览 0提问于2012-12-18得票数 0

1回答

如何根据刮取结果中的符号将一列分成两列？

r、dataframe、split

因此，我使用rvest抓取了IMDB网站，并遇到了一些分裂问题。我尝试过不同的方法来拆分列，但都失败了。这是我从IMDB网站抓取信息的代码： votes_grossVotes: 615,401<

浏览 1提问于2019-04-09得票数 1

回答已采纳

1回答

使用Oauth检索联系人时出错

android、oauth

我在连接网站时遇到了一个问题，它给了我错误401。

浏览 0提问于2012-10-23得票数 0

回答已采纳

2回答

使用请求抓取网站链接时遇到麻烦

python、python-3.x、web-scraping

我试图从一个网页上获取一个连接到这家L'atelier de willy餐厅的网站链接，但我做不到。q5aizCJEIWEVtIiYHVLaizCJEIWHEpttVcL4pIaQtipEnV1zS0pIaQaVMSpa1EVTVEEJchttps://mozart-resto.be/ 如何使用请求通过该网站链接

浏览 0提问于2019-07-31得票数 0

回答已采纳

1回答

尝试使用urllib - Python 2.7检索图像时获得401

python、python-2.7、urllib2、urllib

我一直在做一个小脚本，从一个网站抓取一个图像，但我必须通过认证才能得到图像。使用下面的代码，我可以拉下网页，但是我在获取图像时遇到了问题，我得到了下面的错误。文件"/usr/lib/python2.7/urllib.py"，第386行，在http_error_default raise中('http错误‘、errcode、errmsg、headers) IOError：('http错误’，<

浏览 3提问于2016-03-16得票数 0

回答已采纳

1回答

IIS7 Windows身份验证导致0x2746 SocketException

.net、wcf、iis-7、windows-server-2008、windows-authentication

它可以正常运行几个星期，然后当我们执行类似于服务器重新启动(通常是由于部署)的操作时，它会开始遇到以下错误： SocketException (0x2746)：远程主机WebExceptio

浏览 2提问于2013-11-17得票数 1

回答已采纳

1回答

如何在scrapy spider运行时获取新的令牌头

web-scraping、scrapy、scrapy-middleware

我正在运行一个抓取蜘蛛，它首先从我抓取的网站获取授权令牌，使用基本请求库。用于此的函数称为get_security_token()。此令牌作为标头传递给scrapy请求。问题是令牌在300秒后过期，然后我得到一个401错误。爬行器是否可以看到401错误，再次运行get_security_token()函数，然后将新的令牌传递给所有未来的请求头？

浏览 12提问于2020-08-04得票数 0

1回答

TypeError: errorHandler不是一个函数

node.js

我正在尝试在我的电子商务Web应用程序中更专业地处理错误。但是，即使在执行npm安装错误处理程序之后，我仍然不断地得到这个错误(TypeError: errorhandler不是一个函数)。middlewareapp.use(morgan('tiny'));app.use(errorHandler()) if (err.n

浏览 3提问于2022-08-25得票数 0

2回答

在URL字符串中添加带有反斜杠字符的变量时发生Python错误

python、url、cookies、urllib2、backslash

我试图从一个网站中抓取一些数据，该网站分配一个会话cookie并生成HTML，其中包含我需要附加到URL以获取数据的代码。当crumb变量包含反斜杠时，我遇到了问题(HTTP 401未经授权).因为crumb是一个变量，所以我不知道如何将r‘添加到开头。contains a backslash有人知道在尝试打开包

浏览 1提问于2017-06-26得票数 3

回答已采纳

1回答

Python请求status_code 401未经授权

python、authentication、python-requests

我正在尝试从一个安全的网络中抓取网络。安全措施已经很严格了，我有用户名和密码--但是如果你打开我正在尝试使用我的程序的网站，你不会被提示登录(因为你是在网络内部)。我在认证时遇到了麻烦...r = requests.get(url, auth=('myusername', 'mypass')) print(r

浏览 0提问于2016-06-22得票数 1

回答已采纳

1回答

使用python发送tweet时遇到401错误

python、twitter、tweepy

下图显示了代码和错误消息。

浏览 1提问于2016-08-23得票数 0

5回答

当htaccess重定向到404时，如何访问受密码保护的目录？

wordpress、.htaccess、redirect、password-protection、cpanel

我使用以下htaccess安装了wordpress：RewriteEngine OnRewriteRule ^index\.php$ - [L]RewriteCond %{REQUEST_FILENAME} !-fRewriteRule . /index.php [L]和一个目录/public_html/

浏览 1提问于2011-08-31得票数 4

回答已采纳

2回答

访问azure上的WCF服务时出现错误401未授权

azure

首先，我使用Azure active directory授权我的asp.net应用程序，然后我尝试访问也在Azure.but上的WCF服务，在调用该服务时遇到错误401。我在访问时是否遗漏了什么？？

浏览 0提问于2016-02-16得票数 0

1回答

使用Jsoup抓取网站数据时遇到问题

java、jsoup

这是该网站的html代码：<a href="/p/fifa-19-ps4" title="Fifa 19... on PS4"> <img src="

浏览 17提问于2019-11-24得票数 0

1回答

Wordpress的重定向错误太多

wordpress、.htaccess

我甚至尝试从上面的news-events/中删除'/‘，但仍然得到相同的错误。我已经清除了cookies，缓存等，但没有使用。之前一切都很正常，但突然有几个页面停止正常加载。

浏览 0提问于2018-07-24得票数 0

2回答

Java程序中的错误代码401

java、http-status-code-401、web-crawler

我正在尝试用java程序抓取一个网站。直到昨晚，它还工作得很好，但现在服务器返回错误代码401。另外两点:这个站点没有用户名和密码，身份验证基于我的IP。此外，我尝试更改我的用户代理，但现在我得到错误503。

浏览 1提问于2012-01-03得票数 1

回答已采纳

点击加载更多