如何使用Scrapy ajax发送请求和获取json数据
Scrapy是一个强大的Python网络爬虫框架，可以用于抓取网页数据。然而，Scrapy默认不支持处理JavaScript渲染的页面或通过Ajax发送请求获取JSON数据。要在Scrapy中使用Ajax发送请求和获取JSON数据，可以使用以下步骤：
- 导入必要的库和模块：
import scrapy
import json- 创建一个Scrapy Spider类，并继承自scrapy.Spider：
class MySpider(scrapy.Spider):
name = 'my_spider'
start_urls = ['http://example.com'] # 起始URL
def parse(self, response):
# 在这里编写解析响应的代码
pass- 在parse方法中，使用scrapy.Request发送Ajax请求，并指定回调函数处理响应：
def parse(self, response):
# 构造Ajax请求
ajax_url = 'http://example.com/ajax'
headers = {
'X-Requested-With': 'XMLHttpRequest',
'Content-Type': 'application/json',
}
data = {
'param1': 'value1',
'param2': 'value2',
}
yield scrapy.Request(
url=ajax_url,
method='POST',
headers=headers,
body=json.dumps(data),
callback=self.parse_ajax_response
)- 编写回调函数parse_ajax_response来处理Ajax响应：
def parse_ajax_response(self, response):
# 解析JSON响应
json_data = json.loads(response.body)
# 在这里编写提取数据的代码通过上述步骤，你可以使用Scrapy发送Ajax请求并获取JSON数据。请注意，根据实际情况，你可能需要调整请求头、请求方法、请求体等参数。
对于Scrapy的更多信息和使用方法，你可以参考腾讯云的产品文档：Scrapy产品文档。
注意：本回答中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，以遵守问题要求。
相关·内容
1回答
一系列json页面通过页面上的最后一个id彼此链接。页面的url是example.com/20/id，所以我想抓取第一个页面，保存数据，获取该页面的最后一个id，然后爬行另一个页面：example.com/40/new_id等等，每次都有20个结果。我不知道有多少页，所以我会停止时，没有身份证。
这应该是一个简单的递归，但我不知道如何做到这一点，并在同一时间保存数据。我对这一点很困惑：
yield scrapy.Request(url, self.parse)
在我看来，应该恢复到没有id，但它只运行了2次。
import scrapy
import json
import logging
浏览 5提问于2017-09-08得票数 0
回答已采纳
1回答
刮伤，等待管道
、、
(我对刮痕很陌生)。
上下文
假设有一个站点https://example.com，我想刮它。
它的结构如下：
<body>
<ul>
<li>
title_foo
<a href="https://example.com/title_foo">a desription</a>
</li>
<li>
title_bar
<a href="https://example.com/title_bar
浏览 3提问于2020-09-26得票数 0
回答已采纳
在我的Scrapy spider.py中，可以看到最后两行。我想从parse()中的url1获取URL地址。如何编码？
class DmozSpider(scrapy.Spider):
name = "sh2"
def __init__(self, category=None, *args, **kwargs):
# super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://esf.suzhou.fang.co
浏览 16提问于2017-01-21得票数 3
回答已采纳
当我使用http://example.com、https://example.com或http://www.example.com时，我正在使用刮伤来检查某些网站是否正常。当我创建scrapy请求时，它可以正常工作。例如，在我的page1.com上，它总是被重定向到https://。我需要以返回值的形式获取这些信息，或者是否有更好的方法来使用scrapy获取这些信息？
class myspider(scrapy.Spider):
name = 'superspider'
start_urls = [
"https://page1.com
浏览 1提问于2018-08-30得票数 2
回答已采纳
我想在python上创建一个字典，使用json格式的web数据。我正在尝试使用scrapy，但没有任何反应。 我已经尝试过了： from scrapy.crawler import CrawlerProcess
class my_spider(scrapy.Spider):
name = "my_spider"
start_urls = ["https://meteo.cat/observacions/llistat-xema"]
def parse(self, response):
for slug in r
浏览 14提问于2021-05-05得票数 0
请帮我优化我的抓取蜘蛛。特别是下一页分页不起作用。有很多页每页有50个项目。我在parse_items中捕获了第一页的50个项目(链接)，下一页的项目也在parse_items中被丢弃。
import scrapy
from scrapy import Field
from fake_useragent import UserAgent
class DiscoItem(scrapy.Item):
release = Field()
images = Field()
class discoSpider(scrapy.Spider):
name = 'mys
浏览 1提问于2018-03-05得票数 0
回答已采纳
1回答
函数，返回值返回到哪里？
、、、
我是“飞毛腿”的新手，如果这个问题微不足道，我很抱歉。我从官方网页上读到了“刮刮”上的文件。当我翻阅文档时，我遇到了这个例子：
import scrapy
from myproject.items import MyItem
class MySpider(scrapy.Spider):
name = ’example.com’
allowed_domains = [’example.com’]
start_urls = [
’http://www.example.com/1.html’,
’http://www.example.com/2.html’,
’http:/
浏览 1提问于2014-10-04得票数 7
回答已采纳
我对我的刮痕蜘蛛有意见。从一个解析函数到另一个解析函数的响应对象。该代码将只对没有产生请求的函数执行(请参阅两个片段之间的差异)，为什么会这样呢？
# Yield in parse_page2 scope; "Parsing page 2" doesn't print
import scrapy
class GetInfSpider(scrapy.Spider):
name = "get_inf"
# allowed_domains = ["example.com
def start_requests(self):
浏览 2提问于2016-06-08得票数 0
是我正在爬行的网站的站点地图网址。我希望我的蜘蛛从以/property开头的页面中刮取数据。
问题是，当发送请求时，这些页面没有给出正确的响应。请求需要一个用户代理头。
我想出了一个这样的解决方案。首先，以/property开头的urls由parse方法爬行，该方法得到一个空响应。通过parse方法发送相同的请求以及标头，正确的响应将由parse_items方法爬行。
从来不调用parse_items方法，也从不启动shell进程。我不明白为什么没有联系到parse_items。是否有任何方法来定义像start_requests这样的方法，这样我就可以为SitemapSpider类重写pars
浏览 0提问于2019-07-08得票数 1
回答已采纳
让Scrapy爬虫在SQS队列(或其他队列)上监听新的种子URL爬行的方法是什么？ 在文档中找不到任何示例，所以我想这里可能有人知道。 提前谢谢。 编辑： 这可能是start_requests的正确位置吗？ class MySpider(scrapy.Spider):
name = 'example.com'
allowed_domains = ['example.com']
def start_requests(self):
# read requests from queue here?
while
浏览 16提问于2019-01-15得票数 0
回答已采纳
我写了一个小例子蜘蛛来说明我的问题：
class ListEntrySpider(scrapy.Spider):
start_urls = ['https://example.com/lists']
def parse(self, response):
for i in json.dumps(response.text)['ids']:
scrapy.Request(f'https://example.com/list/{i}', callback=self.parse_lists)
浏览 0提问于2019-06-06得票数 1
回答已采纳
1回答
我对Scrapy很陌生。我写了这个剧本：
class MySpider(scrapy.Spider):
#identity
name="mysite"
#Request
def start_requests(self):
url= 'example.com/doc/file/vid'
yield scrapy.Request(url=url, callback=self.parse)
#Response
def p
浏览 0提问于2019-03-05得票数 0
回答已采纳
我想收集一个项目的数据从两个不同的网站。
它的工作应如下：
parse_website_1从website_1中获取人员名称并填充该项
parse_website_1生成对parse_website_2的请求
parse_website_2解析website_2，根据从website_1中刮来的人名收集人的头发颜色，并填充该项目。
parse_website_2加载项
考虑到项目是在items.py中定义的，这是否正确？
import scrapy
from scrapy.loader import ItemLoader
from myproject.items imp
浏览 0提问于2018-01-25得票数 2
回答已采纳
1回答
我试图构建一个脚本，使用scrapy递归解析类别链接，然后在单独的方法中打印不同项的链接。我已经能够通过循环遍历类别来访问产品页面，但是找不到在单独方法中打印产品链接的任何方法。
类别
产品页面
这是我目前的做法：
class mySpider(scrapy.Spider):
name = "myspider"
start_urls = ['https://www.phoenixcontact.com/online/portal/gb?1dmy&urile=wcm%3apath%3a/gben/web/main/products/subcat
浏览 3提问于2020-11-22得票数 1
回答已采纳
3回答
我使用Scrapy从第一个URL中抓取数据。
第一个URL返回一个响应，其中包含一个URL列表。
到目前为止对我来说还可以。我的问题是我如何进一步刮掉这个URL列表？搜索之后，我知道我可以在解析中返回一个请求，但似乎只能处理一个URL。
这是我的解析：
def parse(self, response):
# Get the list of URLs, for example:
list = ["http://a.com", "http://b.com", "http://c.com"]
return sc
浏览 3提问于2015-03-11得票数 1
回答已采纳
我正在使用Python第二版阅读Web抓取，并希望使用Scrapy模块从网页中抓取信息。
我从文档中获得以下信息：
回调(可调用)-该函数将以该请求的响应(一旦下载)作为其第一个参数来调用。有关更多信息，请参见将其他数据传递给下面的回调函数。如果请求没有指定回调，那么将使用蜘蛛的parse()方法。注意，如果在处理过程中引发异常，则将调用errback。
我的理解是：
传入url并重新定位，就像在请求模块中一样。
resp = requests.get(url)
传递用于数据解析的resp
解析(Resp)
问题是：
我没看到resp是从哪里传入的
为什
浏览 4提问于2020-07-04得票数 0
回答已采纳
1回答
我正在尝试抓取使用Ajax分页的。我尝试了所有方法，但它返回none或http-status代码400。有人能帮助解决这个问题吗？
import json
import scrapy
from..items import xyzItem
class MySpider(scrapy.Spider):
name = 'abc'
data = {"id":"infinite_scroll_1","order":"","orderby":"","catnames&#
浏览 0提问于2020-05-13得票数 0
我正在使用scrapy.Spider来搜索，并且我希望在回调函数中使用请求(在start_requests中)，但是该请求不起作用，它应该返回一个响应，但它只返回请求。
我跟踪调试断点，发现在类请求(Object_ref)中，请求只完成了初始化，但没有像预期的那样进入Request = next(slot.start_requests)开始请求，因此只返回请求。
以下是我的代码：
class ProjSpider(scrapy.Spider):
name = 'Proj'
allowed_domains = ['mashable.com']
浏览 1提问于2019-08-25得票数 0
1回答
我在迭代地为一个id抓取两页。第一个刮刀适用于所有id，而第二个只对一个id工作。
class MySpider(scrapy.Spider):
name = "scraper"
allowed_domains = ["example.com"]
start_urls = ['http://example.com/viewData']
def parse(self, response):
ids = ['1', '2', '3']
for id in ids:
浏览 2提问于2016-04-22得票数 0
回答已采纳
我正在使用最新版本的scrapy ()，并试图找出如何使刮除只抓取作为start_url列表的一部分提供给它。在大多数情况下，我只想爬行一个页面，但在某些情况下，可能会有多个页面，我将指定。我不想让它爬到别的网页上。
我尝试过设置深度level=1，但我不确定在测试中它是否实现了我希望达到的目标。
任何帮助都将不胜感激！
谢谢!
2015-12-22 -守则更新：
# -*- coding: utf-8 -*-
import scrapy
from generic.items import GenericItem
class GenericspiderSpider(scrapy.Spider
浏览 0提问于2015-12-20得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
