python - scrapy，逐个打印 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

python - scrapy，逐个打印

python、scrapy

我正在做谷歌搜索爬行以下是我的代码 def parse(self, response): title = page.xpath('//*[@id="main"]/div/div/div/a/h3/div/text()').extract() link = page.xpath('//*[@id="main"]/div/d

浏览 35提问于2021-06-24得票数 0

回答已采纳

2回答

如何在自定义python脚本中从scrapy抓取网站后获得urls列表？

python、python-2.7、web-crawler、scrapy

有谁知道我如何在自定义python脚本中启动scarpy并在列表中获得urls链接呢？

浏览 2提问于2015-03-17得票数 0

回答已采纳

1回答

Python scrapy不会深入

python、scrapy

我使用的是Python2.7和Scrapy 1.0.4。下面的抓取在Shell中逐个测试并运行。然而，当我把它们放在一起时，似乎Scrapy在第一关之后不会更深入。import scrapy name = "trb"start_urlsa.volLink::attr("href")'):

浏览 1提问于2016-01-30得票数 1

1回答

我遵循了“刮除”的教程，但是没有选择的信息被打印出来。

scrapy

我做的正是website.when上的内容，我试着在屏幕上打印站点，没有相关信息被打印出来。这是我的代码：class DmozIterm(scrapy.Item): title=scrapy.Field()link=scrapy.Field()domzSpider.pyclass DmozSpider(s

浏览 0提问于2016-09-05得票数 0

1回答

Python Scrapy tutorial KeyError：‘找不到爬虫：

python、scrapy

/hacks/prosum-scraper/scrapy/home/tim/.virtualenvs/proscraper/lib/python2.7/site-packagesPlease install it from <https://pypi.python.org/pypi/service_identity>./

浏览 2提问于2014-10-14得票数 6

回答已采纳

2回答

刮擦编码数据错误

python、scrapy、encode

由于某些原因，当我使用Scrapy从元素中获取文本值时，它将正确显示，但当我将其放入数组中时，它会被不正确地编码。value=node.xpath('//AddrDisplayMemberSerialization/

浏览 4提问于2017-09-05得票数 0

回答已采纳

1回答

为什么我不能安装python-Scrapy？

python、linux、scrapy

File "/usr/local/lib/python2.7/dist-packages/scrapy/__init__.py", line 34, in <module> File "/usr/local/lib/python2.7/dist-packages/scr

浏览 0提问于2017-10-27得票数 0

1回答

从Python脚本向Scrapy* Spider传递参数*

python、web-scraping、arguments、scrapy、scrapy-spider

我基本上是试图从Python脚本中执行一个Scrapy蜘蛛，而不需要任何额外的文件(甚至是Settings文件)。这就是为什么，我也在代码本身中指定了设置。self.make_requests_from_url(url) File "/usr

浏览 3提问于2015-06-26得票数 5

回答已采纳

1回答

如何抓取爬行工作:哪个类是实例，哪个方法被调用？

scrapy

下面是一个简单的python文件--test.py。(math.sqrt(x)) myInstance=myClass()用pythontest.py打印3，分析运行过程。2.调用myFun函数并打印结果。在scrapy1.4手册中，quotes_spider.py如下所示。import scrapy class

浏览 1提问于2017-09-01得票数 0

回答已采纳

1回答

我正在Windows 64位上运行Python.org版本2.7 64位来使用Scrapy。, please inherit from scrapy.spider.Spider.from scrapy.selector import Selectorimport re class MySpider其次，当我按照错误中的说明，将代码中的两个BaseSpider实例替换为'Spider‘时，代码在Py

浏览 4提问于2014-07-06得票数 0

回答已采纳

1回答

防止不必要的物品被打印到屏幕上的方法

scrapy

当从Python或命令行运行Scrapy程序时，会在屏幕上打印项目，如下所示：2014-08-28 00:12:21+0100 [scrapy] INFO: Scrapy 0.24.4 started (bot: webscraper2) 2014-08-28 00:12:21+0100[scrapy] INFO: Optiona

浏览 1提问于2014-08-27得票数 0

回答已采纳

1回答

一次运行Scrapy脚本，处理输出，并加载到数据库？

django、scrapy

我已经成功地编写了一个从网页抓取数据的Scrapy项目，当我在命令行使用scrapy crawl dmoz -o items.json -t json调用它时，它成功地将抓取的数据输出到JSON文件中。首先，我不能让我的Scrapy项目以我想要的方式输出数据，这似乎真的很愚蠢。但是我该把修改Feed exports输出数据的“默认”方式的代码放在哪里呢？其次，我希望从python脚本内部调用scraper，然后该脚本也会将生成的JSON fixture加载到我的数据库中。这是不是很简单，就像这样： from twisted

浏览 0提问于2013-02-03得票数 1

回答已采纳

1回答

哪些文件的名称来自结果dir(scrapy)命令？

python、scrapy

通过下面的命令，我可以看到scrapy模块中的名称：>>>dir(scrapy) ['Field', 'FormRequest', 'Item', 'Request'', 'link', 'selector', 'signals', 'spiders', 'twisted_version&#x

浏览 0提问于2018-07-28得票数 0

回答已采纳

1回答

如何防止刮伤从伐木？

python、logging、scrapy

我正在从一个更大的框架中调用一个基于Scrapy的爬虫。在爬行过程中，Scrapy记录所有事件。抓取之后，抓取应该停止日志记录，调用框架应该接管日志记录任务，并再次打印出来。如何阻止Scrapy 控制所有日志并将其传递回我的框架？如何管理Python?刮痕一直在阻止我打印到标准版。

浏览 2提问于2013-12-10得票数 1

1回答

我使用python3.2和pip6.0.6，当我运行startproject教程时，我得到以下错误

python、scrapy

c:\Python27>scrapy startproject tutorial File "C:\Python32\Scripts\scrapy-script.py", line 9, in <module> load_entry_point('Scrapy==0.24.4', 'console_scripts', 'scrapy

浏览 0提问于2015-01-14得票数 0

回答已采纳

2回答

无法在python中创建scrapy项目

python-3.x、scrapy、scrapy-spider

Python36\Scripts\scrapy.exe\__main__.py", line 9, in <module> func(*a, **kw) File "d:

浏览 2提问于2018-10-09得票数 0

1回答

Macbook上的scrapy错误:模块'tutorial‘已存在

python、macos、scrapy

安装完scrapy后，我使用'scrapy startproject tutorial‘开始，但它显示如下：Error: Module 'tutorial' already existsIcelesss-MacBook-Pro:~ iceless$ import scrapy -bash:

浏览 0提问于2018-06-09得票数 3

3回答

Python命令行细分(用于"scrapy")

python、windows-7、scrapy

我正在尝试安装SCRAPY并使用它。 scrapy startproject tutorial\python26_32bit\python.exe scrapy startproject

浏览 0提问于2011-05-26得票数 3

回答已采纳

1回答

覆盖刮伤日志(尤指)。来自中间件

logging、scrapy、robots.txt、scrapy-middleware

在我有自己的json日志格式的项目中，我使用了Scrapy。2017-10-03 19:08:57 [scrapy.downloadermiddlewares.robotstxt] ERROR:Traceback (most recent call last): File "/Users/auser/.virtualenvs/myenv

浏览 0提问于2017-10-03得票数 0

3回答

对从Python脚本中运行Scrapy感到困惑

python、web-scraping、scrapy

遵循，我可以从Python脚本运行scrapy，但我无法获得scrapy结果。这是我的蜘蛛：from scrapy.selector import HtmlXPathSelector终端可以打印返回结果from twisted.internet impor

浏览 1提问于2013-07-10得票数 6

回答已采纳

点击加载更多