我想问一下，如何在一个变量中处理提取的数据列表。由于(xpath)选择器只提取第一个.extract_first()或所有内容.extract ()，我想知道如何才能只迭代和提取一个element...like .extract()i和i=i+1..这看起来很明显，但在这一点上，我不明白如何利用项目加载器、管道或任何粗糙的文档来解决这个问题。
item ['author'] =
浏览 2提问于2018-02-28得票数 2
回答已采纳
1回答
我在scrapy中有以下代码，它创建了一个行列表：列表中的每个元素都有此示例模板<img src="test"></img> <div class
浏览 3提问于2016-01-25得票数 2
回答已采纳
我正在尝试使用Scrapy获取数据，我面对的是这个表格，其中包含数字和字母用于分页。大概有116页。那么我怎么才能迭代到116。这是站点的URL。请看一下。谢谢。
浏览 10提问于2020-10-24得票数 0
回答已采纳
2回答
当我在TakeFirst中对输出处理器使用参数"TakeFirst()“时，下面的代码非常好。但是，我需要将所有条目都输入到MySQL，而不仅仅是第一个条目。当我使用参数"MapCompose()“时，我会得到以下与MySQL相关的错误消息：
浏览 7提问于2016-06-08得票数 0
回答已采纳
我想做的事在/ nwinners_list_spider.py / nobel_winners /蜘蛛中输入以下代码。scrapy crawl nwinners_list -o nobel_winners.json出现
浏览 0提问于2018-07-28得票数 1
回答已采纳
1回答
我试图从以下源代码片段中提取url：from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelectoritem['link'] = site.select(&#x
浏览 2提问于2017-06-25得票数 1
回答已采纳
1回答
我对Scrapy和Python很陌生，因此我是个初学者。我希望能够让Scrapy读取一个包含大约100 k URL的种子列表的文本文件，让Scrapy访问每个URL，并提取每个种子URL上的所有外部URL(其他站点的URL)，并将结果导出到一个单独的文本文件中Scrapy只应该访问文本文件中的URL，而不是爬行
浏览 0提问于2016-08-28得票数 1
回答已采纳
3回答
如何重新组织子列表并从子列表中排除某些项以创建新的子列表列表？
通过重组，我的意思是要在每个子列表中更改每个子列表中项的顺序。例如，将索引0处的每个元素移动到索引1，并在每个子列表中将索引2中的每个<em
浏览 5提问于2014-01-26得票数 0
回答已采纳
1回答
我刚开始使用Scrapy，我想了解这些规则是如何在CrawlSpider中使用的。如果我有一个在亚利桑那州图森市的纸杯蛋糕列表的黄页中爬行的规则，那么产生一个URL请求如何激活该规则--具体地说，它是如何激活restrict_xpath属性的？
谢谢。
浏览 1提问于2014-08-17得票数 23
回答已采纳
我运行下面的爬行器：from ..items import PythonlibrariesItem
return item大多数项目的变量/
浏览 0提问于2017-04-17得票数 0
我有另外两个脚本来检索目标名称，然后找到api，这样我就可以刮掉我在熊猫中收集的所有urls了。到目前为止，我正在从清理urls的dataframe中将我的urls输出到csv文件；然后将该csv文件导入到我的刮伤脚本中，然后取出我的数据，然后再输出另一个csv文件。我想把已经有URL的数据连接起来吗？而不是创建一个csv并将其重新读入我的脚本中。脚本
lass DataCrawlerSpider(s
浏览 1提问于2022-10-31得票数 -1
我在本地机器上有一个很大的csv，它只包含一个urls列表，没有其他我想要抓取的列，并从每个urls中提取特定的css元素。我已经完成了一个测试，不看csv，只做一个一次性的开始url。我不知道如何打开一个包含一百万个urls的大型csv，让scrapy遍历每个urls，然后再转到下一个。import scrapy
from ..items import stks
浏览 3提问于2020-04-30得票数 0
1回答
抓取爬行器输出
、、
我在Scrapy文档中的中有一个问题。它似乎爬得很好，但我很难将它输出到CSV文件(或任何真正的文件)。所以，我的问题是，我可以用这个：还是我必须创建一个import scrapyfrom scrapy.contrib.linkextrac
浏览 4提问于2014-10-23得票数 0
回答已采纳
我使用这段代码来提取特定链接类中的文本。我可以选择.extract_first()类中的一个元素，但我不能选择同一个类的所有元素，我希望能够选择所有元素并将它们存储在列表中。下面是我的代码：import scrapy
浏览 7提问于2020-02-27得票数 0
3回答
我使用Scrapy从第一个URL中抓取数据。
def parse(self, response): li
浏览 3提问于2015-03-11得票数 1
回答已采纳
1回答
我目前的抓取爬行器可以根据需要从网站上提取产品名称，但会将每个start的摘录放在一个单独的['product']列表中。我希望所有的start_url提取都放在一个单独的列表中(对于每个类类型:产品、价格等)，这样我就可以在将来操作提取时调用列表中的每个产品标题。这是我目
浏览 0提问于2013-05-04得票数 1
回答已采纳
为什么我在尝试使用scrapy提取位于以下url：https://www.udemy.com/courses/search/?src=ukw&q=accounting上的锚标签的href属性时得到一个空列表？下面是我提取位于list-view-course-card--course-card-wrapper--TJ6ET类内部的<a></a>元素</em
浏览 10提问于2019-06-25得票数 0
2回答
设置
除了循环列表中的元素之外，我还想循环处理这些特性本身。也就是说，我想把每一个特征的所有循环“合并”成一个循环。我尝试了以下方法(我的
浏览 0提问于2017-04-28得票数 3
回答已采纳
1回答
我正在尝试用SML做基本的列表操作。List : [A,B,C,D]Final List: [AA,AB,AC,AD]
如何在SML中遍历列表中的每个<
浏览 1提问于2010-11-23得票数 2
回答已采纳
Scrapy具有LinkExtractor类，该类跟踪链接并返回回调
Linkextractor是否检查来自每个yield(ed) Request的响应中的链接？是否包含被其他规则yield(ed)的页面中的链接？
浏览 1提问于2015-08-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
