如何正确使用Xpath来抓取scrapy中的AJAX数据？
Xpath是一种用于在XML和HTML文档中定位元素的语言。在Scrapy中，当需要抓取包含AJAX数据的网页时，可以使用Xpath来正确定位和提取这些数据。
以下是正确使用Xpath来抓取Scrapy中的AJAX数据的步骤：
- 导入必要的库和模块：
- 导入必要的库和模块：
- 在Spider类中定义一个方法来处理响应：
- 在Spider类中定义一个方法来处理响应：
- 在Spider类的
start_requests方法中发送请求： - 在Spider类的
start_requests方法中发送请求： - 在
parse_ajax_response方法中使用Xpath来提取数据： - 在
parse_ajax_response方法中使用Xpath来提取数据： - 在上述代码中，
//div[@class="ajax-data"]/text()是一个Xpath表达式，用于定位包含AJAX数据的<div>元素，并提取其文本内容。 - 可以根据需要进一步处理提取到的数据，例如保存到数据库或进行进一步的分析。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云服务器（CVM）：提供弹性计算能力，满足各种业务需求。产品介绍链接
- 腾讯云数据库（TencentDB）：提供高性能、可扩展的数据库服务。产品介绍链接
- 腾讯云对象存储（COS）：提供安全、稳定、低成本的云端存储服务。产品介绍链接
- 腾讯云人工智能（AI）：提供丰富的人工智能服务和解决方案。产品介绍链接
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
我想用Python抓取下面的url的一些数据。
它是关于公司信息的摘要。
我想刮掉的东西没有显示在第一页上。通过单击名为"재무제표“的页签，可以访问财务报表。点击名为“현금흐름표”的页签，进入“现金流”。
我想要抓取“现金流”数据。
然而，现金流数据是由javascript通过url生成的。以下链接是隐藏url
现金流数据是通过向该url提交一些选项值和cookie来生成的。
正如您所看到的，第一个链接中的itemcode=078340表示股票代码，我希望收集现金流数据的股票多达1680只。我想让它成为一个循环结构。
有没有收集现金流数据的好方法？我尝试过scrapy，但是scrap
浏览 2提问于2012-04-07得票数 8
我是Scrapy的新手，我想做的是做一个爬虫，它只会跟踪给定start_urls上的HTML元素中的链接
举个例子，假设我只想让一个爬虫程序遍历start_urls设置为的AirBnB清单
我不想抓取URL中的所有链接，而是只想抓取xpath中的链接
目前，我正在使用以下代码来抓取所有的链接，我如何才能使其仅抓取//*[@id="results"]
from scrapy.selector import HtmlXPathSelector
from tutorial.items import DmozItem
from scrapy.contrib.sp
浏览 0提问于2012-12-25得票数 6
回答已采纳
链接：
我正在尝试从上面的链接中抓取描述。XPath看起来是正确的，但它没有返回scrapy shell中的值。(请看下面的截图)。我尝试了所有的方法，比如get()，getall()，extract()，extract_first()，extractall()，但是我得到了一个空列表。请帮我找出错误。谢谢..。
浏览 17提问于2020-05-09得票数 0
回答已采纳
我对python和web抓取很陌生，我想知道是否有可能用刮伤从产品页面中抓取。
示例:我在amazon.com上搜索监视器，我希望scrapy转到每个产品页面并从那里刮取，而不是只是从搜索结果页面中抓取数据。
我读过一些关于xpath的文章，但我不确定是否可以使用这个方法，而且我发现的所有其他资源似乎都在使用其他东西，比如漂亮的汤等等。我正确地拥有了一个从搜索结果页面中抓取的刮擦项目，但是我想将它改进为从产品页面中刮取。
编辑：
以下是我根据您的建议修改的spider.py：
class TestSpiderSpider(scrapy.Spider):
name = 'testscra
浏览 3提问于2020-11-10得票数 0
回答已采纳
1回答
抓取蜘蛛不能正确抓取数据
、、、、
我正在尝试从我的大学网站上抓取关于循环的数据，使用scrapy进行一个项目，但我的爬虫没有正确地抓取数据。有很多空白元素，而且由于某些原因，我无法抓取通知的'href‘属性。我假设我的CSS选择器是错误的，但我无法找出我到底做错了什么。我用'Selector Gadget‘Chrome扩展复制了我的CSS选择器。我一直在学习scrapy，所以如果你能解释我做错了什么，那就太好了。 我正在抓取数据的网站是：https://www.imsnsit.org/imsnsit/notifications.php 我的代码是： import scrapy
from ..items imp
浏览 10提问于2020-11-21得票数 0
我正在抓取this website，我需要的大部分数据都是用Ajax呈现的。 我一开始试着用Ruby (因为Ruby是我最了解的语言)来解决这个问题，但是没有成功。然后我被建议用Python和Scrapy来做这件事，我试过了，但我不明白为什么我无法获得数据。 import scrapy
class TaricSpider(scrapy.Spider):
name = 'taric'
allowed_domains = ['ec.europa.eu/taxation_customs/dds2/taric/measures.jsp?Lang=en&
浏览 17提问于2019-09-16得票数 0
回答已采纳
Javascript隐藏了一些元素，但是当我使用scrapy抓取数据时，这些元素会被抓取，就好像它们没有被Javascript隐藏一样。
链接1：链接2：
例如:当我使用Scrapy和xpath (//div@id='productDetails'/ul@class='details'/li@id='add_to_cart_li'/a@id='add_to_cart'/span@class='buy-txt')，抓取这两个链接时，我在两个链接中都得到了“立即购买”的文本，即使其中一个链接不包含“立即购买”文本。
浏览 0提问于2014-05-30得票数 0
1回答
目的:从div类list_area daily_all中抓取文本数据。 使用scrapy shell，我首先“抓取”了我想要抓取数据的网站：https://comic.naver.com/webtoon/weekday.nhn 使用'scrapy shell‘脚本：scrapy shell 'https://comic.naver.com/webtoon/weekday.nhn' 使用xpath，我想从div类"list_area daily_all“中抓取所有文本数据： response.xpath("//div[@id='wrap'
浏览 18提问于2019-06-10得票数 2
我在一个item.json文件中使用Scrapy抓取数据。数据正在被存储，但问题是只存储了25个条目，而在网站中有更多的条目。我使用以下命令：
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["justdial.com"]
start_urls = ["http://www.justdial.com/Delhi-NCR/Taxi-Services/ct-57371"]
def parse(self, response):
hxs = Selector(response)
浏览 1提问于2015-04-17得票数 0
我使用Scrapy从网站的第一页抓取信息，并将数据导出为.csv文件，如下所示：
scrapy crawl spidername -o data.csv
我想要获得form的输出：
{'Title': [u'Message'],
'Link': [u'url'],
'Text': [u'Hello World']}
{...........
.....} etc
但相反，我在一个{}中获得了所有内容，即
{[all 'Title' data],
[all 'Link&
浏览 1提问于2015-10-19得票数 0
1回答
不久前我偶然发现了pyexecjs，我想知道它是否可以与scrapy一起用于抓取JS生成的数据。
我检查了应该如何使用该库的示例，但我不确定如何将其与scrapy集成。
浏览 4提问于2014-10-12得票数 0
1回答
以下爬行链接
、、、
有以下蜘蛛：
import scrapy
from final.items import FinalItem
class ScrapeMovies(scrapy.Spider):
name='final'
start_urls = [
'https://www.trekearth.com/members/page1.htm?sort_by=md'
]
def parse(self, response):
for row in response.xpath('//table[@class
浏览 2提问于2018-05-18得票数 0
回答已采纳
我是新的抓取和使用它从拉扎达网站刮数据。我得到了200条HTTP消息，这意味着响应将成功返回。但是我不能解析响应，尽管xpath查询是正确的。有谁可以帮我？谢谢。
这是代码：
import scrapy
class LazadaSpider(scrapy.Spider):
name = 'lazada'
allowed_domains = ['lazada.com.my']
start_urls = ['https://lazada.com.my/catalog/?q=books/']
def parse(self, response):
浏览 19提问于2020-10-28得票数 0
嗨，有人能帮我，我似乎被困住了，我正在学习如何爬行和保存到mysql我们刮刮。我正在尝试抓取抓取所有的网站网页。从"start_urls“开始，但它似乎并不会自动爬行所有页面，而是使用pipelines.py保存到mysql中。当f= open("urls.txt")中提供urls时，它也会抓取所有页面，并使用pipelines.py保存数据。
这是我的密码
test.py
import scrapy
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.
浏览 6提问于2015-03-30得票数 0
回答已采纳
我正在试着从网站上收集2000年的天气数据。
我对爬行器的代码是：
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class weather(CrawlSpider):
name = 'data'
start_urls = [
'https://www1.ncdc.noaa.gov/pub/d
浏览 3提问于2017-05-27得票数 0
我在64位Windows Vista上使用的是Python.org 2.7版。我有下面这段代码，它从一个web页面中抓取一个命名表：
from scrapy.spider import Spider
from scrapy.selector import Selector
from scrapy.utils.markup import remove_tags
from scrapy.cmdline import execute
import csv
filepath = "C:\\Python27\\Football Data\\test" + ".txt"
浏览 4提问于2014-07-30得票数 0
3回答
动态创建字段的剪贴式正确选择器
、、、、
我正在做一个网络抓取器，我在抓取正确的选择器时遇到了麻烦。下面是我的代码：
# -*- coding: utf-8 -*-
import scrapy
import pandas as pd
from ..items import HomedepotpricespiderItem
from scrapy.http import Request
class HomedepotspiderSpider(scrapy.Spider):
name = 'homeDepotSpider'
allowed_domains = ['homedepot.com
浏览 0提问于2020-11-14得票数 4
我正在做一个项目，它涉及到使用Scrapy从网站上抓取数据。之前我们使用Selenium，但现在我们必须使用Scrapy。我没有任何关于Scrapy的知识，但现在正在学习它。其中一个挑战是从网站上删除数据，这些数据是在表格中结构化的，虽然有下载这些数据的链接，但在我的情况下是行不通的。
下面是表的结构
我所有的数据都在tbody下，每个数据都有tr
到目前为止，我已经编写的伪代码是：
def parse_products(self, response):
rows=response.xpath('//*[@id="records_table"]/tbody/&#
浏览 2提问于2018-10-30得票数 0
2回答
我刚开始刮刮网站上的一些数据，但我需要先进行身份验证，然后才能开始抓取所需的数据，如下所示
我正在尝试使用from_response方法来尝试登录到站点。
import scrapy
from scrapy.spiders import CrawlSpider
from scrapy.http import Request, FormRequest
from scrapy.selector import Selector
from fandromeda.items import FandromedaItem
class FandromedaC(CrawlSpider):
name
浏览 4提问于2016-12-01得票数 0
回答已采纳
2回答
我正在尝试在ajax请求之后抓取加载的数据。
例如，在html中可以看到youtube页面的前30个视频，然后用户必须单击一个"load more“按钮，该按钮触发ajax并获得更多的结果。
我可以获得ajax链接，但是使用Scrapy特性提取剩余数据/“分页”的最佳方法是什么？
启动外壳：
scrapy shell https://www.youtube.com/user/testedcom/videos
获取用于ajax延续的url：
continuation_url = response.xpath('//*[@class="yt-uix-button yt-ui
浏览 1提问于2015-10-24得票数 1
1回答
我最近开始了我的第一个Python项目。我对火车很感兴趣，我在我的国家铁路公司的网站上没有发现任何CSV数据，所以我决定在Scrapy做网络抓取。但是，当在我的终端中使用fetch命令测试响应时，我一直无意中发现了DEBUG:爬行(403)。当我试图获取第二个链接时，终端会结冰--这些是我想为我的项目抓取数据的网站：
在看了几篇关于这个问题的文章之后，我改变了蜘蛛的设置，以克服错误，比如禁用cookie，使用刮除的假用户代理，以及更改下载延迟。我还试图只将USER_AGENT变量设置为一些随机的用户代理，而不引用scrapy-假冒伪劣用户代理。不幸的是，所有这些都没有用。
DOWNLOAD
浏览 7提问于2022-10-25得票数 0
在我的网络抓取项目中，我必须从中抓取足球比赛数据，以便从上面的url导航到比赛数据，我必须遵循url中具有散列的超引用：
<a href="#matches" data-toggle="tab">Matches</a>event
以下链接的标准抓取机制：
href = response.xpath("//a[contains(@href,'matches')]/@href").extract_first()
href = response.urljoin(href)
将生成一个不指向匹配数据的链接：
浏览 0提问于2018-10-07得票数 0
我正在尝试用scrapy和xpath从python的网页中抓取一些链接，但是我想抓取的元素是介于：：they和::after之间的，所以xpath看不到它们，因为它们不存在于HTML中，而是用javascript动态创建的。有没有办法去掉这些元素呢？
::before
<div class="well-white">...</div>
<div class="well-white">...</div>
<div class="well-white">...</div>
::a
浏览 2提问于2018-09-12得票数 2
2回答
我试图在网页上抓取大约20篇文章，但由于某种原因，爬行器只能找到第一篇文章所需的信息。我如何让它抓取页面上的每一篇文章？ 我已经多次尝试更改xpath，但我认为我对此还太陌生，无法确定问题出在哪里。当我从for循环中取出所有路径时，它会很好地删除所有内容，但它的格式不允许我将数据传输到csv文件。 import scrapy
class AfgSpider(scrapy.Spider):
name = 'afg'
allowed_domains = ['www.pajhwok.com/en']
start_urls = ['
浏览 20提问于2020-07-22得票数 0
回答已采纳
我使用的是pythons scrapy库。我希望能够使用Xpath选择器从下面的<h1>代码中抓取包含在title属性中的文本。 <h1>
<a href="https://www.facebook.cpm/" title="Go to Facebook home">
<i class="fb_logo img sp_z3EmYTfbUvU_1_5x sx_91465b">...</i>
</a>
</h1> 这是我已经尝试过的，但它不起作用
浏览 32提问于2019-01-13得票数 0
回答已采纳
2回答
我想抓取这个页面的表，但是报废的数据只在一列中，在某些情况下数据不会出现。另外，我使用shell来查看Xpath是否正确(我使用Xpath助手来识别这些xpath)
import scrapy
class ToScrapeSpiderXPath(scrapy.Spider):
name = 'scrape-xpath'
start_urls = [
'http://explorer.eu/contents/food/28?utf8=/',
]
def parse(self, response):
浏览 1提问于2017-10-26得票数 1
回答已采纳
2回答
我正在使用Scrapy抓取一个网站。一些页面使用AJAX，所以我得到了AJAX请求来获取实际数据。到目前一切尚好。这些AJAX请求的输出是JSON输出。现在我想解析JSON，但是Scrapy只提供了HtmlXPathSelector。有没有人成功地将JSON输出转换成HTML，并能够用HtmlXPathSelector解析它？
非常感谢你提前
浏览 1提问于2013-04-10得票数 4
1回答
我正试图从房地产上市页面中获取详细信息。我可以抓取所有的数据，但我似乎无法导出..
我使用yield关键字的方式可能有问题。这些代码在大多数情况下都是有效的：
访问第1页，example.com/kitten
转到第2页，example.com/puppers。这里有10套公寓楼。我可以从每个块获得数据，但我需要更多的信息从超链接内。
访问超链接，比如说，example.com/puppers/partment1。它也从这里获取了一些信息，但我似乎无法返回这些数据来将其包含在我的HousingItem()类中。
从urllib.parse导入urljoin类HousingItem(
浏览 3提问于2018-07-19得票数 0
回答已采纳
1回答
我正在尝试使用scrapy抓取。我可以成功地抓取页面上的数据，但我也希望能够从其他页面抓取数据。(说下一步的)。以下是我的代码的相关部分：
def parse(self, response):
item = TimemagItem()
item['title']= response.xpath('//div[@class="text"]').extract()
links = response.xpath('//h3/a').extract()
crawledLinks=[]
linkPat
浏览 1提问于2014-11-01得票数 3
我想用scrapy抓取一个wordpress站点。我的问题是我想要标题，文本，日期和作者。作者数据没有打印在正文上，整个文本也不在简短版本中。因此，我必须首先复制作者，然后访问该帖子的完整版本以获取文本。我想不出如何将数据从两个urls发送到同一csv线路。
所以我想访问复制作者-->转到第一篇文章复制标题，日期和文本-->将数据存储到csv (作者，标题，日期，文本) -->返回，对第二篇文章做同样的事情，依此类推。
我知道如何使用选择器，所以我的问题是我不能将来自两个urls的数据存储到同一行。
我可以用selenium和BeautifulSoup来做这件事，但是我想学习
浏览 11提问于2020-05-14得票数 3
回答已采纳
2回答
我是新刮刮，目前正在学习如何从一个名单刮刮的URL信息。我已经能够从一个网址上抓取信息，通过在刮伤网站上的教程。然而，即使在谷歌在线搜索解决方案之后，我也面临着从url中刮出的url列表中的信息的问题。
我在下面写的刮刀可以从第一个网址刮起。但是，它不成功地从刮过的URL列表中抓取。这个问题从def parse_following_urls(self，response)开始:这样我就无法从被刮掉的URL列表中抓取
有人能帮忙解决这个问题吗？提前谢谢。
import scrapy
from scrapy.http import Request
class SET(scrapy.Item):
浏览 7提问于2016-02-12得票数 0
回答已采纳
1回答
我试图尝试使用Scrapy和PyCharm来抓取一个房地产网站，但不幸地失败了。
预期结果：
刮除1个基本URL ()，但5个不同的内部URL ()，其中{i} = 1,2,3,4,5
爬行每个内部URL中的所有页面或使用基本URL
获取所有href链接并抓取所有href链接，并从每个href链接中获取span标记数据。
尽可能高效和快速地刮掉大约5,000到7,000份独特的清单.
将数据输出到CSV文件中，同时保持Cyrillic字符。
注意:我尝试过使用BeautifulSoup进行网络抓取，但是每次列表大约花了1-2分钟，使用for循环刮掉所有的列表需要2到
浏览 1提问于2021-11-04得票数 0
回答已采纳
我使用刮除外壳来提取以下网页的数据：
大多数数据都正常工作，但在较低的部分中有一个表，其中的内容(如PZN )。我似乎无法提取。
scrapy shell
fetch('https://www.apo-in.de/product/acc-akut-600-brausetabletten.24170.html')
>>> response.xpath('//*[@id="accordionContent5e95408f73b10"]/div/table/tbody/tr[1]/td/text()').extract()
返回：[
浏览 4提问于2020-04-14得票数 0
回答已采纳
1回答
我已经开发了一个代码来抓取单个页面的数据，但是我不知道如何使用我的刮取代码来刮取多个数据
import scrapy
class QuoteSpider(scrapy.Spider):
name = 'quote'
start_urls = ['https://www.goodreads.com/quotes/tag/love?page=2']
def parse(self, response):
url=response.url
text=response.css(".mediumText:n
浏览 2提问于2022-06-04得票数 -1
2回答
现在我正在学习如何结合使用Xpath和python Scrapy来抓取网站。现在，我被困在以下几个方面：
我正在看一个荷兰网站，在那里我想要抓取产品的名称：
因此，最终我需要一个csv文件，其中包含所有这些面包文章的名称。如果我检查元素，我可以看到这些名称是在哪里定义的：
我需要找到正确的XPath来提取"AH Tijgerbrood bruin高跟鞋“。因此，我认为我应该在我的蜘蛛中做以下事情：
import scrapy
from stack.items import DmozItem
class DmozSpider(scrapy.Spider):
na
浏览 1提问于2015-08-06得票数 0
1回答
我试着抓取所有页面中的所有数据。当我尝试加入url时，我不能。我想知道我做错了什么
from scrapy.spiders import CrawlSpider
from scrapy.selector import Selector
import urlparse
from data.items import TextPostItem
from scrapy import optional_features
optional_features.remove('boto')
class RedditCrawler(CrawlSpider):
name = 'r
浏览 2提问于2015-12-28得票数 0
在我的网站上，我创建了两个简单的页面:这是他们的第一个html脚本：
test1.html：
<head>
<title>test1</title>
</head>
<body>
<a href="test2.html" onclick="javascript:return xt_click(this, "C", "1", "Product", "N");" indepth="true">
<span>
浏览 1提问于2014-07-25得票数 0
我正在尝试制作一个simpe tumblr机器人来抓取tumblr博客的所有图片。现在，蜘蛛能找到像头像和图标这样的东西，但找不到它们自己的帖子。
settings.py
BOT_NAME = 'tumblr'
SPIDER_MODULES = ['tumblr.spiders']
NEWSPIDER_MODULE = 'tumblr.spiders'
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}
IMAGES_STORE = 'C:\Use
浏览 0提问于2015-10-21得票数 0
1回答
试图提取信息，这些信息被一堆类似于附加标签的标签所包围。这些数据取代了“喜剧之夜现场直播集”。我用过
response.xpath("//h3/span/text()").extract()
response.xpath('//*[@id="meta"]/h3/span/text()').extract()
查询被提取，但每次我得到一个空的列表。通过命令访问数据可能有一些错误，但作为初学者，我需要指导如何实现所需的目标。
<a id="meta" class="yt-simple-endpoint style-sco
浏览 1提问于2018-04-15得票数 1
回答已采纳
我以前用过Scrapy抓取过几个网站，所以我很熟悉它的语法，似乎不能捕获下面的class元素： ? 这是我最近尝试的方法： import scrapy
from scrapy.selector import Selector
import black
class PeopleperhourSpider(scrapy.Spider):
name = 'peopleperhour'
start_urls = ['https://www.peopleperhour.com/hire-freelancers/technology-programming&
浏览 28提问于2021-04-05得票数 0
1回答
刮取蜘蛛Xpath图像Url
、、、、
我有一个刮擦蜘蛛，它接收所需关键字的输入，然后生成一个搜索结果url。然后，它会抓取该URL，以抓取“item”中每个汽车结果所需的值。我正试图在我的产品中添加每个完整大小的汽车图像链接的url，该链接伴随着车辆列表中的每一辆汽车。
当我输入关键字为"honda“时，正在爬行的特定url如下所示：
我一直很难找到正确的方法来编写xpath，然后在代码的最后一部分将获取的图像url列表包含到蜘蛛的“item”中。现在，当项目被保存到一个.csv文件中时，下面的lkq.py爬行器使用命令"scrapy -o items.csv -t csv“运行时，items.csv文件的列只是全
浏览 6提问于2016-05-20得票数 1
回答已采纳
1回答
我正在尝试使用scrapy和python从中抓取所有的视频和英语记录的链接。
我让蜘蛛刮了所有网页的所有视频网址(注)。(我在编程上毫无用处)，但我想不出怎么刮笔录。只有单击按钮后才会弹出文字记录对话框。在这个新的弹出窗口中可以找到到记录本的链接。所有其他教程我都读过address POST请求，但这似乎是一个ajax请求。(所以我完全不知道该怎么做)。我也看到过一些帖子提到了有效负载和表单控制，但是我不知道它们是什么。
单击“相关HTML”按钮前单击：
<span class="transcription make-cursor" onclick="
浏览 3提问于2017-10-16得票数 2
回答已采纳
import scrapy
class ActScraper1Spider(scrapy.Spider):
name = 'act_scraper_1'
allowed_domains = ['sso.agc.gov.sg']
start_urls = ['https://sso.agc.gov.sg/Act/AA2004']
def parse(self, response):
info = response.xpath("//div[@class='body']//text()
浏览 153提问于2020-12-22得票数 0
1回答
我正在使用scrapy runspider命令在相同的域中抓取大约10,000个具有相同结构的链接。随机地在一些页面之间(大约40%到50%的页面)爬行，但不抓取，因为在我的parse方法中，我计算页面中的特定元素，并根据该元素抓取页面的其他元素。但由于某种原因(稍后将详细介绍此原因)，对于某些urls，该元素的计算结果不正确。为了解决这个问题，我想要为这些urls重复调用我的解析方法，最多5次，直到它正确地计算(希望在5次运行中，页面将正确地响应条件，否则我假设该元素确实被评估为错误)。如何对此进行编码(下面的部分代码)？
出现上述现象的可能原因:我的网页链接类型是www.example.c
浏览 2提问于2016-10-19得票数 1
我用刮痕来抓取一些信息，但是我被数据的句柄吓呆了。在for循环中，第一步是找到一个名为selectors的“根”xpath，然后循环。我的想法是，如果是第一个选择器，是ul的第一个选择器，那么我可以抓取第一个选择器的所有数据！相反，scrapy返回所有元素的数组。我用选择变量作为“这”
import Scrapy
class SecccionAmarillaSpider( scrapy.spider ):
name="seccion_amarilla"
start_urls = ['https://www.seccionamarilla.com.mx/result
浏览 0提问于2018-09-28得票数 0
回答已采纳
我正在尝试从上抓取工作数据。
我遇到了一个问题，当我启动我的爬行器时，我得到了一个有效的start_url 200HTTP响应，但是我没有抓取任何数据；0个页面和0个项目被抓取。
我尝试迭代的节点是e:Entities，它包含包含e:Entity作业数据的节点。
我真的说不出我做错了什么。我跟着到了一个发球区。
我怀疑这可能与XML的糟糕组织有关，并且以某种方式与XML上的大量名称空间相关。我的命名空间有问题吗？
我几乎可以肯定，我选择了正确的iternodes值以及parse_node XPath选择器。
这是我的XMLFeedSpider代码。
class Schneider_XML_Sp
浏览 0提问于2015-02-19得票数 0
2回答
这是我正在尝试抓取的网站源代码的一部分。
<th>会社名</th>
<td colspan="2">
<p class="realtorName">
<ruby>株式会社エリア・エステート 川崎店</ruby>
</p>
</td>
这只是一个测试爬行器，用来查看scrapy是否正在获取任何数据
# -*- coding: utf-8 -*-
import scrapy
class TestSpider(scrapy.Spider)
浏览 0提问于2017-07-10得票数 0
我正在建立一个刮刀来刮不同的链接使用scrapy。Scrapy不断地从初始page.Although中抓取链接GET请求的urls是不同的，response.url总是相同的，这会导致相同的页面被抓取。我不认为有任何类型的重定向，因为在普通浏览器中链接不会被重定向。我还使用设置了随机DELAY_INTERVAL和轮换用户代理。下面是我的解析函数：
def parse(self,response):
scraped_data = response.xpath("*//h3/a/@href").extract()
if self.ur
浏览 1提问于2017-01-31得票数 1
1回答
我刚接触scrapy和python。我使用scrapy来抓取数据。
该网站使用AJAX进行分页，所以我不能获得超过10条记录的数据，我正在发布我的代码
from scrapy import Spider
from scrapy.selector import Selector
from scrapy import Request
from justdial.items import JustdialItem
import csv
from itertools import izip
import scrapy
import re
class JustdialSpider(Spider):
浏览 3提问于2016-08-31得票数 0
回答已采纳
1回答
使用Scrapy解析文档
、、、
我有一个问题，我想解析一个网站，并从它抓取每个文章的链接，但问题是Scrapy没有抓取所有的链接和抓取其中的一些随机次数。
import scrapy
from tutorial.items import GouvItem
class GouvSpider(scrapy.Spider):
name = "gouv"
allowed_domains = ["legifrance.gouv.fr"]
start_urls = [
"http://www.legifrance.gouv.fr/affichCo
浏览 3提问于2016-02-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
