scrapy https proxy 403错误-在curl中工作

文章/答案/技术大牛

发布

1回答

python、http、https、proxy、scrapy

：scrapy crawl sslproxies -o output/data.csv2017-08-15 18:57:20 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://www.sslproxies.org/&g

浏览 15提问于2017-08-16得票数 0

2回答

刮除: 403错误对所有请求

python、python-3.x、scrapy、scrapy-spider

我的刮痕爬虫使用，它在我的电脑上工作。但是，当我在vps上运行它时，它会在每个请求上返回403错误。2018-05-26 09:43:18 [scrapy.proxies] DEBUG: Proxy user pass not found 2018-05-26 09:43:18 [scrapy.proxies] DEBUG: Retrying <GET http://www.yelp.com/> (failed 1 times)

浏览 2提问于2018-05-26得票数 0

回答已采纳

1回答

如何在Scrapy项目中使用Privoxy和Tor

python、proxy、scrapy、privoxy

我正在尝试从中抓取，但目前我无法在浏览器中访问该站点，因为它的所有者禁止了我的IP地址(见下文)。我试图通过使用Privoxy和Tor来解决这个问题，类似于在中所描述的。我在/etc/privoxy/config中添加了下面一行} 根据我从了解到的情况，如果我设置了http_proxy环境变量，那么HttpProxy

浏览 10提问于2017-04-24得票数 2

回答已采纳

2回答

在企业代理背后下载模具

javascript、git、npm、stenciljs

我正在尝试开始我的第一个模板项目，但看到了这个错误： component-startermaster Check your internet connection 我的git config和npm config http和https代理设置都正确地指向了我的代理url，但我仍然收到这个

浏览 14提问于2019-08-16得票数 1

回答已采纳

1回答

AWS网关API，将lambda设置为代理

amazon-web-services、aws-lambda、proxy、aws-api-gateway

在AWS中，我在VPC中有一个带有私有IP的EC2，它没有在线访问权限。我将一个私有VPC端点坐到Gateway上，按照下面的说明：curl -i "https://xxxxx-vpce-xxxxxx.execute-api.us-east} curl -i --proxy "https://xxxxx

浏览 1提问于2021-05-26得票数 1

回答已采纳

1回答

Curl :没有在日志中显示我的标题

curl

我正在尝试使用curl在我的命令行中调试一个传出的GET HTTP请求。curl --header "Authorization: Basic AAABBBCCCCDDDEEFFF=" https://myserver:8443/user?Proxy-Connection: Keep-Alive< HTTP/1.0 403 Forbidden < Server: squid/3

浏览 0提问于2018-04-10得票数 0

2回答

如何通过Polipo over TOR连接到带有Scrapy的https站点？

python、scrapy、tor

'] = settings.get('HTTP_PROXY') 在我的设置文件中，我的HTTP_PROXY定义为HTTP_PROXY = 'http://localhost:8123'。现在，如果我将开始URL更改为，一切工作正常，没有问题。如果我尝试在上运行，我每次都会得到一个400 Bad Request错误(我也尝试过不同的https://站点，它们都有相同

浏览 1提问于2013-07-24得票数 8

1回答

带有刮伤的Uber API调用

python、api、curl、web-scraping、scrapy

下面是一个运行良好的curl命令：在scrapy shell中，请求重定向并显示404状态代码：>>> fetch(scrapy.

浏览 9提问于2020-11-05得票数 0

2回答

在scrapy中使用try/ get子句无法获得想要的结果

python、python-3.x、web-scraping、scrapy

我在scrapy中编写了一个脚本，通过get_proxies()方法使用新生成的代理发出代理请求。我使用requests模块获取代理，以便在脚本中重用它们。request = scrapy.Request(self.check_url,callback=self.parse,dont_filter=True)

浏览 1提问于2019-04-29得票数 1

回答已采纳

2回答

npm安装在Windows 10代理后的Ubuntu上显示403错误

node.js、npm、installation、http-status-code-403、windows-subsystem-for-linux

我使用以下命令下载了nodejs： curl -sL https://deb.nodesource.com/setup_10.x | bash npm config set https-proxy http://my.domain.name:port

浏览 33提问于2019-10-11得票数 0

1回答

我应该怎么做，当我得到错误“HTTP403 from proxy* after CONNECT”在PHP中使用cURL？*

php、curl、telegram-bot

我想使用Telegram API查看我的消息，比如"/getupdates“或"/getme"，我读到我必须使用cURL，但不幸的是我在页面上没有看到任何东西...空白页面。php $botUrl = "https://api.telegram.org/bot" ./geupdates"); c

浏览 4提问于2016-02-04得票数 0

1回答

如何在刮刮中使用代理文件？

proxy、scrapy、http-proxy

grep -oP $[0-9]+.${3}[0-9]+:[0-9]+ proxies.txt > proxy.csvimport os,csv name = "quotes"req.meta['proxy'] = random.choice(self

浏览 0提问于2017-10-27得票数 2

1回答

如何抓取面向国家的网站

python、proxy、web-scraping、scrapy

我正在用scrapy尝试抓取站点。但已重定向到页面错误404，因为我不是来自那个国家。如果使用代理，我也有同样的方法。(scrapy.Spider):结果： 2017-03-23 12:49:29 [scrapy] DEBUG: Redir

浏览 0提问于2017-03-23得票数 0

1回答

ubuntu更新后Docker拉取不起作用

docker

我得到以下错误：Using default tag: latestcurl -v 'https://registry-1.docker.io/v2/'*> Host: registry-1.docker.io:4

浏览 0提问于2018-06-26得票数 0

1回答

php代理不再工作

php、proxy

curl_setopt($ch, CURLOPT_HEADER, $this->header); }我像这样初始化，所以=> $content = $proxy

浏览 2提问于2012-11-24得票数 1

1回答

使用gurnt connect代理代理cloudfront获取403错误

javascript、proxy、gruntjs、amazon-cloudfront

我使用grunt-connect-proxy反向代理一些页面到我的CloudFront网站，但它不能工作。context: ['/signin', '/scripts', '/styles'], port: '80', }]} 它从CloudFront获得403段代

浏览 0提问于2019-04-18得票数 0

1回答

API调用在jenkins中不返回任何内容[redhat6.7]

unix、curl、jenkins、redhat

我正在尝试从Unix机器上获取jenkins作业的curl输出，该作业应该返回最后的构建状态，但调用完成后没有返回任何内容，并且失败并返回错误：下面是curl命令： curl -u https://username:password@<hostname>/job/<

浏览 1提问于2017-05-26得票数 0

1回答

Facebook PHP SDK Curl over proxy

php、facebook、curl

SDK正在使用Curl进行请求。但我必须通过代理来做这件事。我的选择： CURLOPT_CONNECTTIMEOUT => 10,print "<pre>"; print_r($opts); print "[100

浏览 5提问于2010-10-15得票数 0

1回答

在代理后运行Boot2docker，禁止FATA[0020]与Docker中心进行任何交互

docker、boot2docker

在试图提取图像时更新为包含curl -v 的结果* About to/7.33.0 >

浏览 0提问于2015-05-29得票数 0

3回答

Curl返回“未知协议”

apache、curl、ssl

尽管在谷歌上有很多结果，但似乎没有人给出答案。我有一个Debian盒子，我就是这样做的：* About to connect() to localhost(1):* Closing connection #0 curl实际上，-sslv

浏览 1提问于2014-02-07得票数 24

点击加载更多