1回答
它是在Scrapy中自动配置的，但不是在Curl或normal request中。http://<server_ip>:8050/render.html?url=http://www.example.com/?timeout=10&wait=0.5我试过这个：
http://<server_ip>:8050/render.html?url=http://www.example.com/?timeout=10&wait=0.5 --proxy myproxy:p
浏览 20提问于2017-02-20得票数 1
回答已采纳
既然google趋势需要你登录，我还能使用IP旋转器如crawlera下载csv文件吗？如果是这样的话，有没有使用python的示例代码(即python + crawlera在google上下载文件)。
提前谢谢。
浏览 11提问于2016-09-17得票数 0
我一直在使用Crawlera和Scrapy，它很棒。然而，我在Crawlera仪表板中更改了我的API密钥，从那以后我就无法让Crawlera工作了。我联系了他们的客户支持，他们说API密钥工作正常。我决定尝试让Crawlera使用Scrapy文档中的示例。不走运。Scrapy正在向"dmoz.org“而不是paygo.com发出请求。我已经安装了scrapy-crawlera以及scrapy。日志如下：
[scrapy] INFO: Using crawlera at htt
浏览 3提问于2015-08-11得票数 0
proxy.SocksUserName = "<<API KEY>>"; proxy.HttpProxy = options.AddArguments("--proxy-server=<API KEY>::proxy.crawler
浏览 6提问于2021-02-19得票数 1
1回答
我一直在尝试使用scrapy-crawlera作为使用scrapy抓取一些数据的代理。我在settings.py中添加了以下行：CRAWLERA_ENABLED= True 在新更改的scrapinghub网站app.zyte.com中，我
浏览 10提问于2021-03-09得票数 1
如你所知，当我们尝试在Crawlera中使用Scrapy Splash时，我们使用这个lua脚本： -- Make sure youpass your Crawlera API key in the 'crawlera_user' arg. -- Find your C
浏览 7提问于2018-11-27得票数 0
1回答
www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker -H x-crawlera-use-https:1', 'X-Crawlera-Timeout': 40000,
&#
浏览 1提问于2019-06-11得票数 1
回答已采纳
对于已经使用httpcache中间件缓存的页面，我不希望使用crawlera代理服务(因为我对每月的调用次数有限制)。我正在使用crawlera中间件，并使用以下命令启用它：'scrapy_crawlera.CrawleraMiddleware': 610} 'crawlera/request/method/GET': 11,
'
浏览 3提问于2017-04-23得票数 1
我使用Crawlera作为一个IP轮换服务来抓取一个特定的网站，这很快就禁止了我的IP，但我只有一个网站有这个问题。因此，我可以将Crawlera的配额仅用于有问题的网站，而不是所有的请求。
浏览 6提问于2020-05-28得票数 0
当我运行我的抓取蜘蛛raise TimeoutError("Getting %s took longer than %s seconds." % (url, timeout)) twisted.internet.error.TimeoutError: User timeout caused connection failure: Getting https://www.exampletest.com/test took longer than 190 seconds..时，我总是得到这个 我已经设置了以下设置，但没有帮助 'AUTOTHROTTLE_ENABLED&#
浏览 45提问于2019-06-06得票数 0
1回答
我正在使用Crawlera的Scrapy，但出于某些原因，我想关闭Crawlera的某些请求，而打开另一些请求。我发现dont_proxy元密钥似乎是为这些目的而创建的，但当我使用它时，我从Crawlera得到了407响应(据我所知)，这意味着代理授权错误，所以这个解决方案显然不够。在旅途中打开和关闭Crawlera的正确方法是什么？
浏览 2提问于2018-01-10得票数 2
1回答
我目前正在尝试将代理解决方案Crawlera与Goutte结合使用。可以使用curl，cf。，但Goutte没有问题(没有错误，不返回内容)。client = new Client();$guzzle->setDefaultOption('headers', array('X-Crawlera-Use-HTTPS' => 1));
$guzzle->setDefaultOption('proxy', '
浏览 1提问于2015-11-04得票数 0
1回答
custom_settings = { 'CRAWLERA_APIKEY' : //my appikey,
'DOWNLOAD_DELAY' : 0,
浏览 0提问于2016-07-13得票数 1
回答已采纳
{'crawlera/request': 699, 'crawlera/request/method/POST': 28,'crawlera/response': 699,
'crawlera/response/status/200
浏览 0提问于2020-06-09得票数 0
对带有代理的GET请求使用Crawlera的示例代码。import requests
proxy_host = "proxy.crawlera.com"{ 'Proxy-Authenticate': 'Basic real
浏览 0提问于2018-03-26得票数 1
回答已采纳
我在使用HTTPoison对Crawlera服务进行身份验证时遇到了问题。因此，我在HTTPoison设置上设置身份验证选项时遇到了问题我正在尝试以下三种选择：
HTTPoison.get("url", header, hackney: [:insecure], proxy: 'proxy.crawle
浏览 1提问于2017-10-23得票数 1
回答已采纳
因此，基本上我尝试使用来自scrapinghub的Crawlera代理和使用python的windows上的selenium chrome。我查看了文档，他们建议像这样使用Polipo：parentProxy = "proxy.crawlera.com:8010"2)将其添加到selenium驱动程序
polipo
浏览 0提问于2018-06-06得票数 1
尝试了两个代理url身份验证：--proxy-server=u:p@proxy.crawlera.com:8010还能得到ERR_NO_SUPPORTED_PROXIESconst browser = await puppeteer.launch({ args: ['--proxy-server=proxy.crawlera.compage.setExtraHTTPHeaders({
'Proxy-Autho
浏览 0提问于2018-01-03得票数 2
回答已采纳
我只想使用Crawlera在抓取蜘蛛中的一些请求。因此，我想为不同的请求设置不同的CRAWLERA_ENABLED。有可能吗？
浏览 0提问于2018-10-20得票数 1
回答已采纳
1回答
腐败反应？
、、、、
= 50CONCURRENT_REQUESTS_PER_DOMAIN = CRAWLERA_MAX_CONCURRENTCOOKIES_ENABLED = False # Disable cookies (enabled by default)
"X-Crawlera-Profile": "desktop",
"X-
浏览 1提问于2021-05-07得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
