我已经意识到我的代码工作正常，得到了我请求的数据，但print给了我整个元素，而不仅仅是我想从css获得的类。下面是我的代码 def parse_links(self, response):
print(cha
浏览 18提问于2020-11-23得票数 0
回答已采纳
我最近开始学习Scrapy (和Python )，但遇到了一个特殊的问题，到目前为止我还找不到一个解释。我设法找到了一种解决方法(见下文)，但我很想了解.extract()行为背后的原因。Scrapy保存的不是定义的输出csv中的数据，而是完整的字符串(？)data=u'Basel Bad Bf'>,
<Selector xpath='/
浏览 1提问于2016-01-20得票数 1
1回答
Python3抓取网爬虫
、、、、
对于我的工作，我必须写一个爬虫，它只保存页面的标题，交付状态和产品的数量。以下是我的默认蜘蛛代码： name = "quotes"
]
浏览 2提问于2020-07-20得票数 0
回答已采纳
我试图抓取一个网站，但是我在Scrapy的响应对象上使用的Xpath表达式有问题。根据Chrome的检查，<tbody>元素在文件中。：
:: parsed_week_number: ['1&
浏览 0提问于2020-07-18得票数 0
回答已采纳
2回答
我对Scrapy、Python和面向对象编程比较陌生，所以如果我遇到任何术语错误或不清楚的地方，我深表歉意。目前，我正在使用Scrapy的选择器抓取数据，并使用lxml修改响应。但是，我希望使用Scrapy的方法来进行修改，而不是使用lxml，因为同时使用
浏览 2提问于2015-07-19得票数 6
因此，我试图使用xpath函数boolean()并使用scrapy提取真正的false响应，但是所有的scrapy返回都是u'0'。不管它是返回布尔值真还是布尔值:false scrapy总是返回基本上这是我的xpa
浏览 13提问于2017-07-19得票数 1
我尝试了几种设置，比如延迟下载时间，控制台似乎没有错误，选择器从Scrapy Shell返回正确的数据知道为什么它没有为-o CSV文件收集任何数据吗？如果你有任何建议，谢谢你
预期的输出是从产品页面<
浏览 22提问于2021-05-13得票数 0
回答已采纳
我正在尝试抓取一个网站(我得到了他们的授权)，我的代码在scrapy shell中返回了我想要的东西，但我的爬行器什么也得不到。我也检查了之前所有与这个问题类似的问题，但都没有成功，例如，网站没有在主页中使用javascript来加载我需要的元素。我想要理解为什么xpath选择器与scrapy shell一起工作(我得到的正是我需要的链接)，但是当我在我的
浏览 36提问于2018-04-25得票数 1
回答已采纳
我正在尝试刮一个带有刮硒的网站。我正面临着两个问题下面是检查工具的屏幕截图：
这是我的代码：from scrapy.selector importSelector
from scrapy_
浏览 2提问于2020-10-29得票数 0
回答已采纳
运行以下网站的Scrapy shell，
对于包含文本的div，我有以下选择器：
In [91]: response.xpath('//*[@br><span class="wrapText">Package: com.lenovo.anyshare.gps</span>\n<br>2,239 downloads </div>&#x
浏览 2提问于2017-04-13得票数 0
回答已采纳
我在此路径C:\Users\PATTY\Desktop\Project_Website\Scrapy上使用scrapy启动了一个项目import scrapy
class QuotesSpider(scrapy.Spider): # Errorstart_urls = ['http://quotes.toscrap
浏览 11提问于2017-03-02得票数 0
回答已采纳
我正在使用Scrapy制作一个爬虫，并想知道为什么我的xpath在CSS选择器中不能工作？我想从这个html中获得提交的数量： <a data-pjax="" href="/samthomson/flot/commits/master">text()').extract()response.css('li.commits
浏览 1提问于2015-09-19得票数 1
回答已采纳
我正在抓取一个网站使用Scrapy返回字符串格式的json类型的文件。 当我使用下面的选择器时，我在列表中得到了预期的完整数据。response.xpath('//p/text()').extract() 该列表中的数据是一个类似json的字符串，我需要将其转换为使用json.loads()的字典 但是当我使用下面的选择器<
浏览 26提问于2019-02-28得票数 1
回答已采纳
我已经将一个自定义数据属性分配给添加到Raphael画布中的一些圆圈，如each()循环中所示：如何在画布上找到具有相同事务数据值的元素目前我有代码：它应该
浏览 5提问于2012-06-25得票数 3
回答已采纳
我正在使用Scrapy并试图刮掉 url，当我请求页面上任何有关产品的数据时，我就会把它拿出来。但是带有分页器类和id=paginator1的div作为空返回，即使它是一个具有对下一页的引用的表。我尝试过对表和css选择器使用xPath选择器，但两者都返回为空。这就是我尝试过的，使用css
In [29]: response.css('span a::a
浏览 0提问于2018-02-24得票数 0
回答已采纳
我正在抓取博客文章，遇到了一个奇怪的问题。当提取一个完整的元素而不仅仅是它的文本时，scrapy将返回所选的元素+网页中后面的每个元素/结束标记。例如，我有以下代码：
name = 'postscraper'
allowed_
浏览 1提问于2021-12-16得票数 0
我仍然在学习如何做网络抓取，我正在尝试刮一个网站，从一个索引页所有的文章，然后获取他们的信息，以及全文。有了下面的代码，我可以得到我需要的所有信息-日期，时间，类别，标题-除了整篇文章。text': news.css('p.categoryArticle__excerpt::text').get()没有捕获所有的文本。下面是我到目前为止编写的代码：
class CoalNewsFromOilPrice(scrapy.Spide
浏览 6提问于2022-07-13得票数 0
回答已采纳
我正在尝试将一个url附加到一个提取的数据片段中，但终生找不到方法。我使用的选择器如下所示：这行代码返回如下内容：然后我想附加http:exampleurl.com/images/12306116_l_a1.jpghttp
浏览 0提问于2018-07-19得票数 0
last"))]/a/span/text()').extract(): catIndex += 1
想要的结果是"Books“，当我在Firebug控制台上用xpath检查它时，它返回了正确的结果，但当我运行爬虫时，它返回了完整的3个Li元素，不排除class="f
浏览 2提问于2015-08-29得票数 0
1回答
，计数它们，将它们的编号分配给ktsayisi变量(这里出现了问题)
Scrapy只返回访问的链接，而不是我希望函数返回的数字。为什么会这样呢？我想要一个数字来代替这些得到的
浏览 6提问于2021-12-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
