所以我正在做一个关于scrapy的小项目，我对python和scrapy还是个新手。basicurl = "canadianlawlist.com/"
products = response.xpath('//*[@class="searchresult_item_regular"]/a&
浏览 21提问于2018-08-15得票数 0
我得到的擦伤错误是： File "/anaconda/lib/python2.7/u
浏览 7提问于2017-11-11得票数 1
我对Python非常陌生，对Scrapy非常陌生。我正在尝试构建一个蜘蛛，它将转到给定的URL，并在该站点中运行多个嵌套搜索。存储基本URL ->家庭->厨房->电器:解析结果寻找“搅拌器”。
存储基本URL ->家庭->厨房->电器:解析结果寻找“水壶”。我可以将搜索数据加载到我的CrawlSpider中，并告诉Scrapy运行所有这些搜索，但是Scrapy看到起始URL是相同的，所以它只运行
浏览 2提问于2014-02-26得票数 1
1回答
我猜是因为我在CentOS 6上安装了新的python2.7。背景:我在我的CentOS 6上安装了python2.7，但是保留了系统的python2.6，因为我的yum是基于python2.6的，并且我将python2.7设置为默认的：然后为py2.7
浏览 2提问于2017-05-06得票数 0
回答已采纳
(这是我的items.py)class FreelanceItem(scrapy.Item):url = scrapy.Field()import scrapyfrom freelance.items import
浏览 0提问于2018-11-16得票数 1
2回答
不运行回调函数
、、、
网址是：import scrapy
name='article''] return [scrapy.Request(url=url, callback=self.parse)
浏览 0提问于2021-02-09得票数 0
回答已采纳
下面是对scrapy的介绍：2017-08-09 19:45:37 [scrapy.core.scraper] ERROR: Spider/anaconda/lib/python3.5/site-packages/scrapy/spidermiddlewares/offsite.py", line 29, in process_spider_outputfor x
浏览 13提问于2017-08-10得票数 0
回答已采纳
2回答
刮伤部署不再起作用
、、、、
似乎是某种形式的听力错误，基于这些信息和一些其他问题张贴在这里，但我只是不知道哪个解决方案应该工作，或在哪里调整这些。/scrapy", line 4, in <module> File "/Library/Python/2.7/site-packages/Scrapy-0.22.2-py2.7)
File "/Library/Python/
浏览 2提问于2014-09-17得票数 0
回答已采纳
1回答
_set_url(url)ValueError: Missing scheme in request url:
浏览 2提问于2020-08-20得票数 1
回答已采纳
class A1Spider(scrapy.Spider): allowed_domains = ["www.amazon.com"] self.page += 1 url_x = '//*[starts
浏览 0提问于2016-06-01得票数 0
2回答
我使用的是Scrapy 1.5.0。当Scrapy尝试转到下一页时，它会循环第一页和第二页。代码# Scrapy 1.5.0
from scrapy.http import Request
name = "mlspider"
allowed_domains = ['m
浏览 10提问于2018-10-11得票数 0
我是个蟒蛇新手，试着自己学习如何使用Scrapy，但我在第一步就失败了。我安装了Scrapy，并遵循了上的说明。 File "/Library/Frameworks/Python.framework/Versions/2.7/bin/scrapy", line 3, in <module>
f
浏览 0提问于2013-02-04得票数 2
回答已采纳
1.创建一个新的python项目，创建一个新的.py文件；2.reference项目(甚至我也不知道怎么做)；3.在新的python文件中编写导入:从scrapy.selector导入选择器从scrapy.http导入HtmlResponse 4.
浏览 4提问于2017-10-13得票数 0
回答已采纳
1回答
我对Scrapy和Python很陌生，因此我是个初学者。我希望能够让Scrapy读取一个包含大约100 k URL的种子列表的文本文件，让Scrapy访问每个URL，并提取每个种子URL上的所有外部URL(其他站点的URL)，并将结果导出到一个单独的文本文件中Scrapy只应该访问文本文件中的URL，而不是爬行并跟踪任何其他URL。
我希望能够让
浏览 0提问于2016-08-28得票数 1
回答已采纳
2回答
我不知道，然后出现了这个错误，但现在我不能运行任何Scrapy爬虫。> File "C:\Python27\lib\site-packages\scrapy\crawler.py", line 46, in configureself.extensions = ExtensionManager.from_crawler(self)
File "C:\Python27\lib\site-packages\scrapy
浏览 0提问于2014-09-02得票数 0
): yield scrapy.Request(url=url, callback=self.parse_first_pagescrapy.Request(url=next_url, callback=self.parse, cb_kwargs=self.args)
如您所见，CustomSpider类重写start_requests，后者是scrapy.R
浏览 2提问于2020-05-18得票数 0
回答已采纳
3回答
我在pip install scrapy上安装了Scrapy。pyasn1, idna, cryptography, pyOpenSSL, attrs, pyasn1-modules, service-identity, queuelib, PyDispatcher, scrapy那么，是否可以使用终端命令卸载scrapy及其所有必需包？
浏览 4提问于2016-07-06得票数 0
我开始学习Scrapy，但在奇怪的情况下，我无法将默认shell设置为ipython。我的笔记本电脑的操作系统是Ubuntu15.10。我还安装了ipython和scrapy。根据scrapy的，我可以通过在全局配置文件中输入以下内容来更改默认的scrapy shell = ipython
~/.config/sc
浏览 5提问于2016-07-06得票数 0
只是尝试scrapy和尝试让一个基本的蜘蛛工作。我知道这可能只是我遗漏了一些东西，但我已经尝试了我能想到的所有方法。from scrapy.spider import BaseSpider
class JustASpider
浏览 0提问于2012-09-04得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
