注意:我使用的是动态项，添加的内容如下My Item is as belowclass Website(Item):-------------------------------------------------
item[Heading]=Body.xpath
浏览 2提问于2016-09-15得票数 1
回答已采纳
我想了解如何使用Python中的Scrapy从下面的页面提取数据
https://fincaraiz.com.co/inmueble/apartamento-en-arriendo/florida-blanca/bogota/6738284问题
这个页面动态加载内容，所以当我从Scrapy发出请求时，我得到的结果是HTML所以我不能应用XPa
浏览 18提问于2022-02-18得票数 0
1回答
我希望Scrapy每一项运行一次，以便相关的数据被分组在一起。因为它只是把所有的链接，标题，日期等放在一起。它还不止一次地将所有内容发布到文件中。我对Scrapy和Python都很陌生，所以任何建议我都很感激。这是我的蜘蛛代码：from scrapy.selector import Selector
for site in sit
浏览 2提问于2015-08-19得票数 1
回答已采纳
2回答
刮伤xpath不捕获标记
、、、
在这种情况下，我想让Scrapy提取出“圆形大小”。但事实证明，Scrapy无法捕捉dl下的任何子节点。response.xpath('//[@id="termsheet"]/div/section[1]/div/dl/li[2]/dt/span').extract()
Xpath表达式是从Chome inspect我在Scrapy中启用了Ajax，它可以捕获其他动态<
浏览 7提问于2016-06-06得票数 0
回答已采纳
我也无法导入Selector，因为在scrapy目录层次结构中没有Selector (不知道为什么)from scrapy.selectorallowed_domains = ["dmoz.org"] "http://www.dmoz.org/Computers/Programming/Languages/Pytho
浏览 2提问于2014-08-14得票数 1
回答已采纳
1回答
我正在尝试刮，使用这个页面作为启动url：这个页面有3个列表，其中一个列表有100+项。我的代码只抓取100项，而不从下一页获取数据。请检查代码有什么问题。yield next(it) return next(self.
浏览 5提问于2020-05-06得票数 0
回答已采纳
我刚开始学习Python和Scrapy。
item['name']=sel.xpath('/td/text()')[2].extract()
item['type']=sel.xpath</e
浏览 2提问于2017-01-03得票数 0
回答已采纳
1回答
import scrapyfrom scrapy.loader import ItemLoader start_urls = ['https://medium.com/tag/pythonbutton
浏览 1提问于2020-02-24得票数 0
回答已采纳
比如[u'Python 3 Object Oriented Programming']而不是u'Python 3 Object Oriented Programming'。在后面的示例中，将列表分配给作为item['title'] = sel.xpath('a/text()').extract()的项，我认为这在逻辑上是不正确的。import scrapy
class DmozSpider(scrapy</
浏览 1提问于2016-02-26得票数 5
回答已采纳
2回答
当我查阅官方scrapy文档时，我发现字段可以动态添加，但我不知道如何做到这一点 我尝试了ItemLoader的一个演示，它像测试代码一样成功： 我为ItemLoader传递了一个field_name_listFile "D:\python\Scripts\test\lib\site-packages\scrapy_splash\middleware.py", line 156, in process_spider_outputfor el in result:
File "D:\
浏览 10提问于2019-04-02得票数 2
回答已采纳
我对Python和Scrapy比较陌生。我试图取消在“客户谁买了这个项目也买了”的链接。例如：。有17页的“顾客买了这个项目也买了”。如果我要求scrapy放弃这个url，它只会删除第一页(6项)。我如何要求刮刮按下“下一个按钮”来报废17页中的所有项目？一个示例代码(仅是crawler.py中重要的部分)将受到极大的赞赏。谢谢您抽时间见我!
好的。这是我的密码。正如我说的，我是Python新手，所以代码看起来可能很愚蠢，但它可以用来删除第一页(6项)。我主要是使用Fo
浏览 0提问于2013-12-08得票数 2
回答已采纳
使用python，我可以爬行单个静态url，但是如何抓取动态url呢？喜欢，喜欢智慧。单静态页面工作代码class GetTestSpider(scrapy.Spider): start_urls =def parse(self,response):
浏览 0提问于2020-01-10得票数 1
回答已采纳
1回答
如果我去掉extract_first()，那么它将提取所有数据并对它们进行分组。因此，寻找两个答案中的一个是可行的。 import scrapyfrom urlparse import urlparsefrom scrapy import Request
from scrapy<
浏览 1提问于2017-10-02得票数 1
回答已采纳
我试图生成包含在特定类(标题、链接、价格)中的选择项的csv输出，该输出将在自己的列中解析每一项，并使用项目加载器和items模块在自己的行中分析每个实例。但是，我可以使用scrapy来接受for循环，它不会导致任何更改，也就是说，项目仍然被分组在单个字段中，而不是被输出到独立的行中。下面是两个项目尝试中包含的代码的详细信息--不包含项目模块和项加载器的‘工作行输出蜘蛛代码’和‘非工作行输出蜘蛛代码’-以及每个项目的相应输出。工作行输出蜘蛛代码: btobasics.py
import scrap
浏览 0提问于2018-09-13得票数 0
回答已采纳
结构如下
response.css("div.trk-cell.title a").xpath("@href").extract()resource.xpathdiv[@class='trk-cell title']/a/@href").get()response.css("div.trk-cell.artists a").xpath("@h
浏览 6提问于2021-12-29得票数 0
回答已采纳
1回答
爬行0页，刮取0项
、、、
我刚开始学习Python和Scrapy。爬行0页(0页/分钟)刮0项(0项/分钟) # name = scrapy.Field() precioAlquiler = scrapy.Field()
ubicacion = <em
浏览 0提问于2018-09-09得票数 0
回答已采纳
1回答
定义了items.py： title = scrapy.Field()link = scrapy.Field()item = CraigslistSampleItem()
item["title"] = $someXpath.extract()如果我注释掉链接的XPath并将其存储为csv，我仍然会得到两列数据，其中链接列
浏览 1提问于2015-05-28得票数 4
回答已采纳
2回答
我用python编写了一个脚本，使用scrapy从一个网站收集不同帖子的名称及其链接。当我从命令行执行我的脚本时，它工作得完美无缺。现在，我打算使用CrawlerProcess()运行脚本。但是，当我试图按原样运行它时，我会得到以下错误：
from scrapy import Selector
import scrapy
浏览 0提问于2018-10-28得票数 2
回答已采纳
我的所有shell命令只返回一项(即没有逗号)。 yieldnext(it)
File "/Library/Frameworks/Python.framework/Ve
浏览 0提问于2015-10-18得票数 1
使用刮伤外壳时：并试图提取网址的标题：import scrapyfrom scrapy.
浏览 1提问于2014-10-27得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号