为什么我在scrapy开头得到空字符串
在Scrapy开头得到空字符串的原因可能有多种。下面是一些可能的原因和解决方法：
- 代码错误：检查你的代码是否正确地设置了Scrapy的起始URL和解析规则。确保你的代码没有错误地返回空字符串。
- 网络问题：如果你的起始URL无法访问或返回空内容，那么你将得到一个空字符串。确保你的网络连接正常，并且起始URL可以正确访问。
- 爬取速度过快：如果你的爬虫速度过快，可能会导致服务器返回空内容。你可以尝试通过设置下载延迟或使用下载中间件来限制爬取速度。
- 网站反爬虫机制：一些网站可能会使用反爬虫机制来阻止爬虫访问。这可能包括验证码、IP封锁等。如果你遇到这种情况，你可以尝试使用代理IP、用户代理池或者解析验证码等方法来绕过反爬虫机制。
- 页面结构变化：如果你的爬虫在开发期间正常工作，但在某个时间点后开始返回空字符串，可能是因为目标网站的页面结构发生了变化。你需要检查目标网站的更新情况，并相应地更新你的爬虫代码。
总之，要解决在Scrapy开头得到空字符串的问题，你需要仔细检查你的代码、网络连接和目标网站的情况，并采取相应的措施来解决问题。
相关·内容
3回答
刮除逗号
、、、
import scrapy
import pandas as pd
from ..items import HomedepotpricespiderItem
from scrapy.http import Request
class HomedepotspiderSpider(scrapy.Spider):
name = 'homeDepotSpider'
allowed_domains = ['homedepot.com']
start_urls = ['https://www.homedepot.com/pep
浏览 7提问于2020-11-12得票数 0
回答已采纳
1回答
第一个刮刀不工作
、、、
我使用Python课程进行数据营Web抓取，并试图在自己的环境中运行“capstone”web刮刀(该课程是在一个特殊的浏览器环境中进行的)。该守则旨在从数据营网页上刮取课程的标题和说明。
我花了很多时间到处修修补补，现在我希望社区能帮我解决这个问题。
我试图运行的代码是：
# Import scrapy
import scrapy
# Import the CrawlerProcess
from scrapy.crawler import CrawlerProcess
# Create the Spider class
class YourSpider(scrapy.Spider):
浏览 1提问于2022-04-13得票数 1
1回答
我正在尝试用Scrapy构建一个刮板，我正在努力返回所需的文本。任何帮助都将不胜感激。
下面是我的代码：
import scrapy
from scrapy.spiders import Request
from scrapy.linkextractors import LinkExtractor
from scrapy.http import HtmlResponse
import re
from urllib import *
BASE_URL = 'http://murderpedia.org/'
PROTOCOL = 'https:'
这是我的项
浏览 0提问于2018-10-26得票数 0
我想在他们在教程中使用的Dmoz网站上使用Scrapy，但我不想仅仅通过使用Item/Field对来阅读图书URL ()中的书籍，我希望创建一个Item加载器，它将读取所需的值(名称、标题、描述)。
这是我的items.py文件：
from scrapy.item import Item, Field
from scrapy.contrib.loader import ItemLoader
from scrapy.contrib.loader.processor import Identity
class DmozItem(Item):
title = Field(
浏览 1提问于2016-06-06得票数 8
回答已采纳
我正试图从monsterindia.com上爬几页。但是，每当我在scrapy shell上编写任何xpath时，它都会给出空的结果。但是，应该有某种方式，因为view(response)命令给了我相同的html页面。
我执行了这个命令：
scrapy shell "https://www.monsterindia.com/search/computer-jobs"
在我的终端上，然后尝试了几种方法来形成不同的x路径，比如- response.xpath('//*[@class="job-tittle"]/text()').extract()。但
浏览 1提问于2019-04-12得票数 0
回答已采纳
2回答
我想使用python和scrapy从网页中抓取一些信息，但当我尝试这样做时，我的项目的输出是空的……
首先，我用scrapy开始了一个新项目。然后，我在items.py文件中编写了以下代码：
import scrapy
class KakerlakeItem(scrapy.Item):
info=scrapy.Field()
pass
接下来，我使用以下代码在爬行器的文件夹中创建了一个新文件：
import scrapy
from kakerlake.items import KakerlakeItem
class Kakerlakespider(scrapy.Spide
浏览 3提问于2015-11-07得票数 2
我正在使用Scrapy在网上刮 .
当我调用这个xpath时：
.//div[@class='readmore-concealed-container']
虽然我可以在chrome开发工具中看到它，但是我得到了空的结果。为什么要这样？
浏览 3提问于2015-02-23得票数 1
回答已采纳
2回答
我正在使用刮除从一个网站的网址。目前，它返回所有的urls，但我希望它只返回包含单词“download”的urls。我该怎么做？
from scrapy.selector import HtmlXPathSelector
from scrapy.spider import BaseSpider
from scrapy.http import Request
import scrapy
DOMAIN = 'somedomain.com'
URL = 'http://' +str(DOMAIN)
class MySpider(scrapy.Spider):
浏览 5提问于2017-03-27得票数 1
回答已采纳
1回答
当我运行这段代码时，它给我一个单词，然后离开整行，这个过程重复到最后。我希望它是在row中，而不是在columns中。 import scrapy
from .. items import FetchingItem
import re
class SiteFetching(scrapy.Spider):
name = 'Site'
def start_requests(self):
links = [('https://www.rev.com/freelancers/subtitles', self.parse_subtit
浏览 8提问于2019-05-10得票数 0
回答已采纳
我使用Windows 64位上的Python.org版本2.7 64位。我有下面的Scrapy代码，它应该在每次发现Span元素‘title=“目标’的实例时返回”目标“一词：
from scrapy.spider import Spider
from scrapy.selector import Selector
from scrapy.utils.markup import remove_tags
from scrapy.cmdline import execute
import re
class MySpider(Spider):
name = "goal"
浏览 2提问于2014-07-15得票数 1
回答已采纳
我只是按照Scrapy文档编写了我的第一个爬虫。
dmoz_spider.py：
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Comput
浏览 1提问于2015-09-04得票数 0
2回答
我正在尝试爬行这个，但是我得到了空响应，我使用了scrapy，我尝试了打印xpath，但是我得到了空数组，虽然这是一个直接的任务，但是现在我无法从表中获取数据。这是我的密码。
import scrapy
from scrapy import Request
class ShareInfoSpider(scrapy.Spider):
name = 'share'
def start_requests(self):
url = "https://nepsealpha.com/investment-calandar/ipo"
浏览 16提问于2022-11-14得票数 1
回答已采纳
public static void main(String args[]) {
String sub="0110000";
String a[]=sub.split("");
System.out.println(Arrays.toString(a));
}
我得到的输出是
[, 0, 1, 1, 0, 0, 0, 0]
为什么第一个元素为空？如何获得开头没有null的数组？
浏览 1提问于2010-12-02得票数 4
回答已采纳
这些是在Ipython中运行的代码。
from scrapy.selector import Selector
from scrapy.http import HtmlResponse
response = HtmlResponse(url='https://en.wikipedia.org/wiki/Pan_American_Games')
datas = Selector(response=response).xpath('//div[@class="thumb tleft"]')
当我执行response时，我得到了<200 htt
浏览 4提问于2015-06-30得票数 1
我在Chrome的XPATHHelper和火狐的XPather中尝试了下面的XPATH，它总是在谷歌搜索结果页面中显示所有的片段(即搜索结果的描述)，但它在Scrapy shell中不起作用：
//span[@class='st']
如果很重要，我会像这样调用scrapy shell：
scrapy shell "http://www.google.com/search?q=myQuery"
我说的是hxs.select("//span[@class='st']")。这总是返回一个空列表。有什么线索可以解释为什么会发生这种情况
浏览 2提问于2012-06-08得票数 1
回答已采纳
为什么re.match返回None对象，而类似的re.findall返回非空结果？
我正在解析电子邮件主题。有问题的是
subject = "=?UTF-8?B?0JLQsNGI0LUg0YHQvtC+0LHRidC10L3QuNC1INC90LUg0LTQvtGB0YLQsNCy0LvQtdC90L4=?=. Mail failure."
我想知道为什么
re.match("mail failure", subject, re.I)返回对应对象的None对象
re.findall("mail failure", subject, re.I)在列
浏览 0提问于2014-06-04得票数 11
回答已采纳
1回答
我还在尝试Scrapy，并且我正试图在我的本地网络上爬行一个网站。该网站的IP地址为192.168.0.185。这是我的蜘蛛：
from scrapy.spider import BaseSpider
class 192.168.0.185_Spider(BaseSpider):
name = "192.168.0.185"
allowed_domains = ["192.168.0.185"]
start_urls = ["http://192.168.0.185/"]
def parse(
浏览 0提问于2012-02-11得票数 2
我目前正在从事一个学生的数据科学家项目，其中包括建立一个鱼的图像识别系统。我们将使用tensorflow从数据和刮取中找到大量数据(鱼图片和他的科学名称)。
我刚接触过scrapy，但是我已经工作了3天了，我编写了一个基本的fishbase蜘蛛(您可以在蜘蛛代码中找到url )：
import scrapy
from ..items import FishbaseItem
class FishbaseSpider(scrapy.Spider):
name = 'fishbase'
allowed_domains = ['fishbase.org'
浏览 0提问于2018-02-21得票数 0
回答已采纳
我正在努力学习如何使用Scrapy抓取网页内容，并遇到了一个我无法理解的问题。我不明白为什么会发生这种情况；我可以使用任何浏览器的dev工具来选择DOM元素，但是当我试图从Scrapy中选择相同的元素时，会返回一个空列表。在这里，您可以看到这个xpath //*[@class='lSPager lSGallery']/li/a/img[@src]在浏览器中运行良好。
，但是当从Scrapy调用它时，它什么也不返回：
此外，Scrapy完全看不到lSPager类
可以很容易地在浏览器中选择
浏览 5提问于2020-05-05得票数 0
我试着用Scrapy和Python从网站上抓取一些数据。问题是我的搜索结果总是被切断。我在两台不同的电脑上试过这个。一种是使用windows 10，scrapy 1.4.0，python 2.7.13。另一个是使用Windows 7，scrapy 1.4.0，python 2.7.13。我在这两台电脑上的结果是一样的。
示例：(在命令行上使用scrapy )
1. scrapy shell "www.reddit.com"
2. ..... some output comes here
3. response.xpath('//div')
因此，在
浏览 3提问于2017-06-07得票数 0
回答已采纳
1回答
当我运行以下代码时： import scrapy
from scrapy.crawler import CrawlerProcess
class QuotesSpider(scrapy.Spider):
name = "quotes"
search_url = ''
def start_requests(self):
print ('self.search_url is currently: ' + self.search_url)
yield scrapy.Request(url=s
浏览 6提问于2019-06-10得票数 0
我想知道为什么response.xpath()在中返回一个空数组[]，即使我使用response.xpath('//div').extract()！示例：
$ scrapy shell https://www.amazon.cn/b/2127529051
...
>>> response.xpath('//div').extract()
[]
我可以从主页上得到一些结果，但是我不能从很多其他页面中得到任何结果。
顺便说一句，我不是想爬亚马逊什么的，这只是为了学习。
我也尝试过其他网站，但没有面对这个问题，所以我想知道为什么。
有什么想法吗？
谢
浏览 4提问于2016-06-17得票数 0
我希望能够在Django内部运行。Scrapy本身只提供一个命令行工具scrapy来执行其命令，也就是说，该工具不是有意从外部程序中调用的。
用户提出了一个，即从Django自定义管理命令调用Scrapy。为了方便起见，我在此重复他的解决办法：
# -*- coding: utf-8 -*-
# myapp/management/commands/scrapy.py
from __future__ import absolute_import
from django.core.management.base import BaseCommand
class Command(BaseCom
浏览 6提问于2012-05-12得票数 11
回答已采纳
1回答
我试图在我的蜘蛛中启用mongodb，在scrapinghub平台上。为此，我必须通过UI中的“扩展”设置启用扩展。但是，在运行蜘蛛时，我得到以下错误：
ValueError: Some paths in "{'scrapy.contrib.feedexport.FeedExporter': None}" convert to the same object, please update your settings
我的背景如下：
EXTENSIONS = {'scrapy.contrib.feedexport.FeedExporter': No
浏览 1提问于2015-06-23得票数 2
回答已采纳
我试图拆分字符串数组，并使用分隔符删除任何空格(包括\t)，但由于某种原因，我得到了一个空元素""。 我的代码： String temp = " x = x + 9";
String[] tempArr = temp.split("\\s+"); 我得到的结果是： tempArr[0] = ""
tempArr[1] = "x"
tempArr[2] = "="
... 我不明白为什么我在数组的第一个索引中得到一个空元素。
浏览 12提问于2019-04-21得票数 0
回答已采纳
我对Scrapy还很陌生，但我正在设计一个网络抓取工具来从GoFundMe中提取某些信息，特别是在这种情况下，有多少人为一个项目捐款。我已经写了一个xpath语句，它在Chrome中运行良好，但在Scrapy中返回null。
一个随机的例子是，它目前有22个捐赠。当在Chrome inspect中输入以下内容时，我会得到我需要的“捐赠(22)”-
//h2[@class="heading-5 mb0"]/text()
然而，在我的Scrapy爬行器中，以下结果为空-
class DonationsSpider(scrapy.Spider):
name = 'get_do
浏览 11提问于2020-02-13得票数 0
我正在使用Scrapy进行web抓取。网站在<code>标签之间嵌入了json，如下所示：
<code id="content" style="display:none;"><!--{"content": "text1",...,..., "compute": "text2"}--></code>
使用xpath，我可以在<code>标记中提取注释。使用：
hxs.select("//code[@id='content
浏览 0提问于2013-09-23得票数 0
我正在尝试用Scrapy (scrapy.org)创建简单的爬虫。例如，允许使用item.php。我如何编写规则，允许以http://example.com/category/开头的url，但在GET参数中，page应该与其他参数一起使用任意数量的数字。这些参数的顺序是随机的。请帮助我怎样才能写出这样的规则？
很少有有效值是：
以下是守则：
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkEx
浏览 6提问于2014-12-06得票数 4
回答已采纳
1回答
刮擦蜘蛛不保存数据
、、、、
我试着用Scrapy将篮球队的时间表保存到CSV文件中。我在这些文件中编写了以下代码：
settings.py
BOT_NAME = 'test_project'
SPIDER_MODULES = ['test_project.spiders']
NEWSPIDER_MODULE = 'test_project.spiders'
FEED_FORMAT = "csv"
FEED_URI = "cportboys.csv"
# Crawl responsibly by identifying yourself
浏览 1提问于2017-12-27得票数 0
回答已采纳
我正在尝试使用.space来预留空间，以便在其中存储字符串：
.data
myString: .space 16
我从我的老师那里得到了一个示例代码，它说我必须用一个空值(0)开始这个字符串，我不明白为什么，为什么需要这样做呢？
提前感谢！
浏览 2提问于2020-12-07得票数 0
回答已采纳
我试图使用"pip scrapy-inline-request“来安装scrapy-inline-request，但是得到了下面的错误。我已经检查了文档，但似乎找不到哪里出了问题。有什么建议吗？
error: [Errno 13] Permission denied: '/usr/local/lib/python2.7/dist-packages/inline_requests.py'
浏览 2提问于2014-07-15得票数 0
我想使用以下命令运行scrapy服务器：
scrapy server
它失败了，因为没有project.Then我创建了一个空项目来运行服务器，并成功部署了另一个项目。但是，scrapy服务器不能与这个项目一起工作，并告诉我它找不到蜘蛛。为什么？这意味着我必须为每个项目运行不同的服务器？
浏览 2提问于2013-06-24得票数 4
可能重复：
一些类似于真实的东西让我们明白了：
"FooBar".StartsWith(string.Empty)
首先，我认为这不应该是真的，但我也不太确定为什么它是真的，看看“Reflector‘’ed”代码：
public bool StartsWith(string value, bool ignoreCase, CultureInfo culture)
{
if (value == null)
{
throw new ArgumentNullException("value");
}
if (t
浏览 6提问于2011-03-07得票数 2
回答已采纳
用于findall()和finditer()的Python声明：
结果中包含空匹配，除非它们触及另一匹配的开头。
这可以如下所示：
In [20]: [m.span() for m in re.finditer('.*', 'test')]
Out[20]: [(0, 4), (4, 4)]
但是，有人能告诉我，为什么这个模式首先返回一个空匹配呢？.*不应该使用整个字符串并返回单个匹配吗？而且，如果我将模式锚定在字符串的开头，为什么在结束时没有空匹配呢？例如：
In [22]: [m.span() for m in re.finditer('^.
浏览 2提问于2014-09-03得票数 9
回答已采纳
3回答
我正在用Scrapy 1.0.3编写一个爬行器，它将抓取Unicode页面的存档，生成页面的p标记中的文本，并将其转储到JSON文件中。我的代码如下所示：
def parse(self,response):
sel = Selector(response)
list=response.xpath('//p[@class="articletext"]/font').extract()
list0=response.xpath('//p[@class="titletext"]').extract()
浏览 1提问于2015-08-24得票数 1
1回答
刮取Start_Urls
、、、、
好的，要保持这一点，需要赶着去开会
我正试图在抓取的开始urls，无论我如何尝试，我似乎无法完成它。这是我的代码(蜘蛛)。
import scrapy
import csv
from scrapycrawler.items import DmozItem
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.lxmlhtml import LxmlLinkExtractor
from scrapy.selector import Selector
from scrapy.
浏览 2提问于2015-01-24得票数 1
回答已采纳
我是python 2.7 & Scrapy的新手，当从命令行运行"scrapy爬虫螺旋桨$“时会收到以下错误。我认为这是一个简单的解决办法，因此，任何帮助都是非常感谢的！
错误信息：
File"C:\Anaconda2\propub\propub\spiders\propub_spider.py", line 4, in <module>
from propub.items import propubItem
ImportError: cannot import name propubItem
items.py
import scrapy
浏览 3提问于2015-03-25得票数 1
回答已采纳
(我是Docker的新手。)我正在尝试对接一个Scrapy应用程序。作为第一步，我尝试在容器中启动一个项目-它创建并填充一个目录结构-并将一个卷附加到项目目录以进行编辑。 首先，我需要调用scrapy startproject myScraper；然后，我希望在容器上调用scrapy shell或scrapy crawl myCrawler等自定义命令来运行网络爬虫。 因为所有的Scrapy命令都是从调用scrapy开始的，所以我写了这个Dockerfile： FROM python:3
COPY requirements.txt .
RUN pip install
浏览 28提问于2020-01-19得票数 0
为什么我在尝试使用scrapy提取位于以下url：https://www.udemy.com/courses/search/?src=ukw&q=accounting上的锚标签的href属性时得到一个空列表？ 下面是我提取位于list-view-course-card--course-card-wrapper--TJ6ET类内部的<a></a>元素的代码： response.xpath("//div[@class='list-view-course-card--course-card-wrapper--TJ6ET']/a/@href&#
浏览 10提问于2019-06-25得票数 0
这个网站是"https://www.jbhifi.com.au/collections/laptops“。我正试图在href中搜索“下一页”。 ? 但是为什么scrapy shell返回一个空列表呢？我使用的语句是： response.css("li.ais-pagination--item ais-pagination--item__next a").xpath("@href") 请告诉我如何使用Scrapy刮这个。我怀疑这是因为这个类以"ais“开头(但不知道为什么会导致这个问题)。我以前也遇到过这种情况。有什么解决方案吗？干杯!
浏览 28提问于2020-01-07得票数 0
1回答
我正在尝试将中的“跟随链接”示例改编为我自己的爬行器：
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from funda.items import FundaItem
class PropertyLinksSpider(CrawlSpider):
name = "property_links"
allowed_domains = ["funda.nl"]
def _
浏览 3提问于2016-07-18得票数 1
回答已采纳
1回答
我尝试使用scrapy xpath来抓取页面，但是当我使用for循环时，它似乎不能捕获带有谓词的标记，# This package将包含Scrapy项目的爬行器
from cunyfirst.items import CunyfirstSectionItem
import scrapy
import json
class CunyfristsectionSpider(scrapy.Spider):
name = "cunyfirst-section-spider"
start_urls = ["file:///Users/haowang/Desktop/section
浏览 25提问于2018-06-02得票数 0
1回答
这个xpath response.xpath( "//div[@class='c16H9d']").extract()的方括号是空的。 这是url https://www.daraz.com.bd/audio/?spm=a2a0e.home.cate_2.2.49c74591NNpWDU 我的xpath没有错，那么为什么我会得到这个空方括号呢？ >>>scrapy shell "https://www.daraz.com.bd/audio/?spm=a2a0e.home.cate_2.2.49c74591NNpWDU"
>
浏览 14提问于2020-03-19得票数 0
回答已采纳
在Scrapy shell上执行
url = "https://www.daraz.com.np/smartphones/?spm=a2a0e.11779170.cate_1.1.287d2d2b2cP9ar"
fetch(url)
r = scrapy.Request(url = url)
fetch(r)
response.xpath("//div[@class='ant-col-20 ant-col-push-4 c1z9Ut']/div[@class='c1_t2i']/div[@class='c2prKC']/d
浏览 1提问于2020-07-24得票数 1
我是蟒蛇的新手。我有个小项目。我使用的是conda虚拟环境，其中我编写了一个管道类，如下所示：
from cassandra.cqlengine import connection
from cassandra.cqlengine.management import sync_table, create_keyspace_network_topology
from recentnews.cassandra.model.NewsPaperDataModel import NewspaperDataModel
from recentnews.common.Constants import DEF
浏览 3提问于2017-05-31得票数 0
回答已采纳
2回答
在检查之后，当我在浏览器中搜索xpath时，它会显示所需的结果，但是当我在scrapy中使用与响应相同的xpath时，它应该是一个空列表。
因此，当在浏览器上查找元素时，我会显示令人满意的元素的数量，例如查看图片。
现在，当我在scrapy shell中的响应中运行相同的xpath时，我得到一个空列表，即使响应状态是200。这可能是什么原因造成的？
浏览 0提问于2019-07-10得票数 0
2回答
我是第一次使用scrapy，我一直在尝试从意大利政府https://www.governo.it/it/cscovid19/report-vaccini/的网站上抓取接种疫苗的数量(中间的大数字)。 我想我已经能够正确地设置scrapy了，当我在scrapy shell中写"view(response)“时，我正确地得到了整个网站，但是不管我用xpath写了什么，我都不能得到这个数字。 该数字在h1标记内： <h1 class="pl-2 mt-4 font-weight-light">7.894.659</h1> 但是，当我尝试过滤结果时，得
浏览 34提问于2021-03-23得票数 0
回答已采纳
我已经写了一个简单的代码，为网络爬虫使用刮刮。我的测试代码可以在下面找到。
import scrapy
class ExtractUrls(scrapy.Spider):
name = "extract"
# request function
def start_requests(self):
urls = [ 'https://www.iitdh.ac.in/events.php', ]
for url in urls:
yield scrapy.Request(url =
浏览 9提问于2019-11-03得票数 0
回答已采纳
2回答
我正在使用scrapy和python提取数据。
数据有时包括空格。我使用normalize-space和xpath来删除这些空格，如下所示：
xpath('normalize-space(.//li[2]/strong/text())').extract()
它说得很好。但是，现在我想在css选择器中使用normalize-space。
我试过这个：
car['Location'] = site.css('normalize-space(div[class=location]::text)').extract()
我得到的结果是空的，但如果去掉正
浏览 1提问于2014-01-14得票数 0
回答已采纳
在python上的一个程序中，我通过sqlalchemy向SQL Server 2005发出查询：
SELECT * FROM table
WHERE (cipher=:value? OR CHARINDEX(cipher_mask,:value?)!=0)
and NOT exists( SELECT * FROM table WHERE CHARINDEX(not_cipher_mask,:value?)!=0 AND code=:code?)
and code=:code?
这可以很好地工作。
我正在尝试为SQLite创建类似的查询(它不使用函数CHARINDEX)
SELECT *
浏览 3提问于2012-09-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
