1回答
您好，我正在尝试发送一个post请求到一个API，这是：https://www.cpaaustralia.com.au/api/FindACpa/SearchApi.mvc/ExecuteSearchHwy, Loganholme QLD 4129, Australia","PostCode":"4129","Locality":"Loganholme","CountryCode&q
浏览 18提问于2019-09-27得票数 1
我有一个包含数据的python请求，我必须用一个scrapy请求来替换它，但是我无法找到一种方法，将这些数据放在scrapy请求中的位置。{"username":"xyz@gmail.com","password":"123"}'
response = requests.post('https://my.matte
浏览 3提问于2019-09-17得票数 0
我是一个使用Scrapy的初学者，我试图刮这个网站的，它是使用javascript来加载内容。所以我检查了networks，这里有一个API地址，如果打开这个地址，数据是格式的。我第一次尝试使用Scrapy，将请求发送到API地址，没有任何头部，它返回的响应是在使用JSONDecode ()时抛出json.loads错误的。所以我使用了标题'Accept‘：'a
浏览 8提问于2022-11-29得票数 2
回答已采纳
我无法抓取一个Java脚本依赖的网站。我需要从使用XHR请求发送到服务器的API调用中获取学校列表，该请求获取JSON对象 我使用与XHR请求相同的请求头，包括Cookie值。不确定为什么它不工作。附加来自google chrome请求标题(网络选项卡)的Python代码和屏幕截图，以及来自vs代码术语的错误： # -*- coding: utf-8 -*-
im
浏览 24提问于2020-11-24得票数 0
1回答
我正在抓取数据，对于每个用户，我不知道是否会有整个时间段的数据。因此，我想首先调用大量时间块上的API，然后如果有结果，则调用API以在该大块中进行较小的时间增量。我最初尝试只抓取大块的数据，但是API似乎有一些有文档的max记录要显示，有时只显示记录的一部分，从而导致json格式化问题和数据不完整。编写基于先前请求对象的响应对象长度的新请求对象的</em
浏览 1提问于2015-06-02得票数 0
回答已采纳
我正在尝试将scrapy配置为跟随外部链接。有没有办法将scrapy配置为立即并行开始下载外部链接？我的蜘蛛是： 17 name = "reddit"
18 start_urls = ['https://'body': respo
浏览 1提问于2017-03-09得票数 4
1回答
硒与Scrapy结合
、、、、
是否有任何方法有效地将Selenium集成到Scrapy中，以实现其页面呈现功能(以便生成屏幕截图)？在Scrapy已经处理完这个请求之后，我看到的很多解决方案只是在WebDriver上抛出一个Scrapy请求/响应URL，然后就可以完成了。这会产生两倍多的请求，在许多方面失败(需要登录的站点，具有动态或伪随机内容的站点，等等)，并使许多扩展/
浏览 3提问于2015-07-13得票数 6
1回答
我需要提取一些美元货币的工资，但我访问的页面从另一个国家，然后，货币显示是当地(里尔)一个而不是美元。因此，我要发送cookie请求一个新的货币和一个新的国家。在“设置”中：COOKIES_DEBUG = Trueclass HtSpider(scrapy.Spider): joint = urljoin(ur
浏览 0提问于2021-01-05得票数 0
当我们使用Moleculer框架实现微服务时，我无法找到如何实现swagger，因为我使用Api-gateway来解析和映射请求，并使用NATS传输器将请求发送到特定的节点或服务。
浏览 15提问于2019-08-02得票数 2
1回答
当我提交请求时，我面临着奇怪的行为，理想情况下，每个请求都会在6秒后产生，但实际发生的情况是，在60 (6*10)秒后，所有请求都会同时发出，我能够通过CONCURRENT_REQUESTS=1解决这个问题import scrapyfrom scrapy.utils.response import open_in_browser
浏览 3提问于2020-02-07得票数 0
我将更详细地解释目标，脚本的要点是检查供应商网站上A栏中的(产品代码)值，如果产品可用，循环将检查下一个值。如果该产品不在该站点上，则将JSON PUT请求发送到另一个将库存水平设置为0的销售网站。问题是如何将同一CSV文件的B列中的值分配给PUT请求 CSV文件 COL-A COL-Bbbbbb 222
ccccc 333 这是我到目前为止所拥有的代码 import(
浏览 29提问于2021-06-12得票数 0
回答已采纳
2回答
这是我用来爬行网页的代码。我想刮的站点已经启用了图像延迟加载，所以刮伤只能抓取100个图像中的10个，其余的都是placeholder.jpg。在Scrapy中处理延迟加载映像的最佳方法是什么？class MasseffectSpider(scrapy.Spider):allowed_domains = ["amazon.com"] 'file
浏览 2提问于2016-04-30得票数 3
回答已采纳
1回答
因此，一个带有Websockets的聊天应用程序，用户A可以向用户B发送任意数量的消息，用户B可以向用户A发送任意数量的消息。如果聊天应用程序是使用HTTP协议构建的，它是否会以相同的方式工作，但会有更多的延迟？
浏览 1提问于2020-05-17得票数 0
我希望使用刮擦的JsonRequest对象向使用DRF构建的API发送一个文件。目前，我正在使用请求模块，但这违背了异步抓取的目的。规格：Django==3.0.3目前的解决办法： url = 'API_URL'rb'))TypeError: Object o
浏览 3提问于2020-04-21得票数 0
回答已采纳
现在，我希望通过POST请求将抓取的结果发送到rest API。
我的印象是扩展提要导出功能，使其发出POST请求，而不是写入文件/将其发送到S3/等。我确信我的settings.py和配置是正确的，但是由于某些原因，open和close函数从未被调用过，即使我从feedexport.py复制、粘贴并重命名先前存在的提要导出类也是如此。= 'http:/&#x
浏览 0提问于2021-05-26得票数 2
我正在尝试制作一个Scrapy SitemapSpider，并希望让蜘蛛从站点地图中提取的每个链接通过刮板API执行一个get请求(指向文档：的链接)。你知道我该怎么做吗？
浏览 0提问于2020-05-24得票数 2
回答已采纳
2回答
API应该允许包含用户希望刮取的URL的任意HTTP请求，然后Flask应该返回刮取的结果。有更好的方法来架构这个解决方案吗？或者我如何允许scrape_it在不停止扭曲的反应堆(不能再次启动)的</e
浏览 9提问于2015-09-22得票数 10
回答已采纳
1回答
我正在尝试废除这个网页的表格(管道/索引/英国)。当我检查Network中的页面时，我看到这个页面使用AJAX请求(类型POST)将其数据获取到API，这些请求是在加载布局后由浏览器完成的。因此，我试图构建一个蜘蛛，它使用请求中给出的form_data向网页发送帖子请求。我已经使用下面的shell命令进行了快速测试，并获得了数据。class FtseSpider(scrapy.Spider):
浏览 0提问于2018-10-02得票数 0
回答已采纳
1回答
我有一个API Gateway端点，它将请求的主体传递给它，并将它们放在一个SQS队列中。API Gateway能够转换请求，并将请求程序元(如用户代理和ip地址)添加到最终发送到SQS的消息。我想将此从API Gateway更改为SNS，以便请求者可以发布到SNS主题，该主题可以馈送到SQS或直接到SQS。我遇到的问题是，虽然我可以从请求者pre-send获取用
浏览 6提问于2019-01-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
