我被指派使用python和scrapy创建一个爬虫来获取特定酒店的评论。我阅读了相当多的教程和指南，但我的代码仍然生成一个空的CSV文件。Item.py import scrapy
# define the fields for your item here like:
# name = scrapy.
浏览 20提问于2020-04-05得票数 0
2回答
我有一个刮擦的项目，它不会在命令行中使用scrapy crawl <spider-name>执行。我刚刚在ubuntu16.04上迁移到了一个新的开发环境，所以我想再次检查这个问题是否与我的设置有关。为此，我使用virtualenvwrapper使用python 2.7.12创建了一个干净的虚拟环境，并遵循了Scrapy文档中的。(v1.1模仿我<em
浏览 6提问于2017-01-06得票数 4
大家早上好,我觉得我的MacOs有问题。当我像在上写这段代码时，在安装python3和scrapy之后，它根本不工作brew install python3pip install scrapy
然后，我<
浏览 0提问于2018-07-18得票数 0
我正在创建一个scrapy项目，其结构如下：我可以通过scrapy命令行scrapy crawl SPIDER_NAME运行这个应用程序，但是如何将这个应用程序打包成一个常规的python程序在命令行scrapy crawl SPIDER_NAME中，我不知道程序的入口点。handler方法作为它的入口点，那么如何以编程方式触发刮刮任务呢？
浏览 2提问于2019-07-22得票数 0
回答已采纳
我有一种奇怪的东西，我不能把我的头放在这里： process.start()
checkForUpdates()
process能够在没有问题的情况下找到
浏览 2提问于2016-01-10得票数 0
2回答
在Python3中使用Scrapy时，我遇到了以下错误。我使用的是Ubuntu16.04，安装python3-twisted并没有解决这个问题。File "/home/fran/.local/lib/python3.5/site-packages/scrapy/crawler.py", line 150, in cra
浏览 0提问于2016-06-19得票数 0
回答已采纳
1回答
我只是试着制作一个简单的蜘蛛，使用scrapy从XML文件中获取数据。这就是我想出来的： name我认为这与我如何映射标签有关。/dist-packages/scrapy/commands/crawl.py", line 57, in run
浏览 1提问于2015-04-24得票数 0
回答已采纳
我使用Ubuntu14.04 x64，我遵循Scrapy文档使用pip安装软件包然后，我跟踪示例项目的初始化，并尝试执行示例爬行器。(spname, **opts.spargs)
File "/usr/lib/python2.7/dist-packages/scrapy/command.py", line 34, in crawler_cr
浏览 1提问于2015-02-23得票数 5
回答已采纳
1回答
我有一段代码来测试scrapy。我的目标是在不从终端调用scrapy命令的情况下使用scrapy，这样我就可以将这段代码嵌入到其他地方。代码如下：from scrapy.selector import Selector
from scrapy.item import Item, Fieldfrom scrapy.crawler import Cr
浏览 2提问于2017-02-21得票数 2
回答已采纳
1回答
我正在尝试从python脚本运行爬行器，下面是一个抓取的文档：from scrapy.crawler import Crawlerfrom scrapy import log, signalsfrom scrapy.utils.projectthe spider_closed s
浏览 2提问于2014-04-17得票数 0
我正在运行本教程中的示例。我正在运行Python2.7.8。我用pip下载Scrapy和其他必需的软件包。我相信我正确地遵循了这个教程，但我不能运行蜘蛛。我以前读过关于同一个问题的文章，但其他人仍然无法解决这个问题。 self.crawler_process.start()
浏览 2提问于2014-10-22得票数 0
回答已采纳
我对scrapy非常陌生，今天是我第一次使用它。我在最基本的代码中遇到了一个问题。我一直收到一个错误，说是invalid syntax。这是我的代码，下面是我得到的错误。/scrapy/crawler.py", line 170, in crawl Fil
浏览 0提问于2018-09-12得票数 2
我试着在Python 2中使用Scrapy，我得到了这个错误， six.reraise(*exc_info)
File "/Library
浏览 10提问于2017-08-21得票数 0
我让我的scrapy机器人在两个不同的系统上运行。其中一个工作正常，而另一个不工作。它们是一模一样的复制品。当我使用-t csv -o data.csv时，我得到以下回溯。/python2.7/site-packages/scrapy/crawler.py", line 124, in start_crawling
return self._start_crawler() is
浏览 4提问于2014-01-17得票数 0
系统: Ubuntu 14.04我遵循的教程定位为。"/usr/local/lib/python2.7/dist-packages/scrapy/commands/crawl.py", line 57, in run
self.crawler_process.crawl(spname,
浏览 0提问于2015-07-04得票数 9
回答已采纳
我试图通过使用代理来运行一个scrapy spider，但每次运行代码时都会遇到错误。 这是针对Mac，python 3.7，scrapy 1.5.1的。我已经尝试了设置和中间件，但没有效果。/Versions/3.7/lib/python3.7/site-packages/scrapy/crawler.py", line 171, in crawl
浏览 45提问于2019-02-15得票数 1
回答已采纳
1回答
我编写了一个非常小的脚本，可以使用scrapy和selenium结合使用库，从网页中解析不同餐馆的名称。= which("chromedriver")import scrapy
from scrapy.utils.project import get_project_settings\Python37-32\lib\site-pac
浏览 0提问于2019-05-21得票数 0
回答已采纳
我试图运行这里给出的代码，但是我得到了下面的错误：2018-07-24 17:16:24"/usr/local/lib/python3.7/site-packages/scrapy/commands/crawl.py", line 57, in run
self.crawler_proc
浏览 35提问于2018-07-24得票数 1
2回答
这是我的代码 self.settings.overrides['JOBDIR']= "seen" File "C:\Python27\lib\site-packages\scrapy\spider.py", line 46, in settings File "C:\Python27\lib\site-p
浏览 5提问于2014-08-18得票数 3
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
