我在Scrapy中使用cluster.HierarchicalClustering，但是在控制台中有太多的日志记录。我如何才能关闭集群的日志，但我不想使用'--nolog‘来关闭所有日志。我试图在我的Scrapy settings.py中设置LOG_LEVEL= 'INFO‘，但它显示了其他日志记录。
这是我关于集群的
浏览 21提问于2017-06-29得票数 0
回答已采纳
3回答
我设法在Ubuntu终端运行了一个简单的程序。但是，我不能使用Ctrl+Z和bg命令让它在后台运行。每次我按Ctrl + Z键，它都会关闭蜘蛛连接。
有什么解决办法或解决办法吗？
浏览 7提问于2017-05-31得票数 5
回答已采纳
1回答
在我有自己的json日志格式的项目中，我使用了Scrapy。如何禁用或重写此日志记录行为？下面是我从robots.txt下载中间件中获得的一个示例堆栈跟踪
2017-10-03 19:08:57 [scrapy.downloade
浏览 0提问于2017-10-03得票数 0
2回答
我是Python中较新的一个，我只是用scrapy编写了一些蜘蛛。现在，我想使用http请求激活我的蜘蛛，如：从django.http导入HttpResponse从scrapy导入cmdline索引(请求，mid)：cmd = "scrapy爬行myitem-a mid=“+ mid cmdline.
浏览 0提问于2016-01-28得票数 2
回答已采纳
我已经使用Scrapy创建了一个蜘蛛，但是我不知道如何关闭默认的日志记录。从看来，我应该可以通过以下操作来关闭它但这没有效果。无论如何，有谁能解释一下我需要做什么才能让Scrapy不像往常那样输出？编辑:如下所示，行
logging.getLogger('scrapy').setLevel(loggi
浏览 3提问于2015-10-18得票数 21
回答已采纳
1回答
这基本上是默认的。我希望在主文件夹中创建一个example.py，并将这些项目打印到其中的python控制台。我试过了cmdline.execute("scrapy crawl craigs".split())from scrapy.contrib.spiders import CrawlS
浏览 2提问于2015-01-20得票数 0
回答已采纳
有没有人知道是否有办法为scrapy的模块设置不同的级别？我希望记录被刮掉的项和日志文件中发送的请求，但是来自scrapy.middleware、scrapy.crawler和scrapy.utils.log模块的日志总是相同的，并且不会给日志文件增加值。Scrapy的文档说，可以修改中特定记录器的级别，但是当
浏览 1提问于2022-10-12得票数 1
回答已采纳
但是，我对Scrapy的日志配置功能并不满意。目前，我已经在项目的settings.py中设置了LOG_FILE = 'my_spider.log'。当我在命令行上执行scrapy crawl my_spider时，它会为整个爬行过程创建一个很大的日志文件。这对我的目的来说是不可行的。
如何将Python的自定义日志处理程序与模块结合使用？特别是，我想使用<em
浏览 1提问于2012-08-14得票数 4
2回答
现在，我试图将日志转储到一个文件中，但由于某种原因，它开始将日志重定向到STDOUT。我对Crochet库表示怀疑，但到目前为止我还没有任何线索。
import scrapyfrom scrapy.utils import logcroc
浏览 3提问于2019-12-14得票数 1
回答已采纳
2回答
我有一个从网站下载图片的脚本。本地工作非常完美，而且在生产服务器上也是如此，但是尽管没有收到任何错误，但不要保存图像。这是生产服务器上的输出：2013-07-10 05，我的项目上的“图像”变量是空列表[]，而在本地通常是这样的：
2013-07-10 00:22:31-0300 [bh] DEBUG: Scraped
浏览 3提问于2013-07-10得票数 1
回答已采纳
5回答
我正在安装一个叫做Scrapy的模块。我用我在我的/usr/local/lib/python2.7/site包中看到了'scrapy‘文件夹，但是当我试图将它导入Python程序时，是说没有这个名称的模块当我运行/usr/local/bin/scrapy时，我会得到该命令和可用命令的</e
浏览 2提问于2013-11-12得票数 11
回答已采纳
1回答
我正在从一个更大的框架中调用一个基于Scrapy的爬虫。在爬行过程中，Scrapy记录所有事件。抓取之后，抓取应该停止日志记录，调用框架应该接管日志记录任务，并再次打印出来。如何阻止Scrapy 控制所有日志并将其传递回我的框架？更新：我将crawler.spider.settings.overrides['LOG
浏览 2提问于2013-12-10得票数 1
1回答
我正在尝试在EMR集群中运行示例mrjob。我已在AWS仪表板中手动创建了EMR集群，并启动了mrjob，如下所示如何查看失败消息？
浏览 6提问于2018-10-03得票数 1
我试图解析这个网站的帖子，收集文本进行情感分析。这是我正在使用的代码。python3.10/site-packages/scrapy/utils/python.py", line 338, in __next__
return next(self.data)File "/usr/lib/python3.10/site-packages/scrapy&#x
浏览 21提问于2022-11-22得票数 0
我使用python和网站有很多不正确的链接，导致404状态代码页。抓取添加消息来记录“忽略响应404”--它非常填充日志，如何删除这类消息？
浏览 0提问于2019-09-26得票数 0
回答已采纳
我决定使用Python日志记录模块，因为Twisted on std error生成的消息太长，并且我希望将有意义的消息(例如由StatsCollector生成的消息) INFO到单独的日志文件中，同时维护屏幕消息from twisted.python import log logging.basicConfig(level=logging.INFO, filemode，但缺点是我不知道这些消息是由哪个
浏览 1提问于2011-12-16得票数 19
回答已采纳
1回答
我试图在MacOS的Catalina版本10.15.7上创建一个带有刮刮的python刮刀。sudo pip3 install scrapy
我得到的输出
我怎样才能解决这个问题？
浏览 4提问于2021-01-06得票数 0
回答已采纳
大家好，我用python写了一个爬虫来抓取......2017-08-05 01:12:28 [scrapy.statscollectors] INFO: Dumping Scrapy stats下载器/响应状态计数/200’：1，‘下载器/响应状态计数&#
浏览 12提问于2017-07-06得票数 0
4回答
我在以下两个问题上寻求您的帮助-如何像在python中那样为不同的日志级别设置处理程序。目前，我有STATS_DUMP = True
但是Scrapy生成的调试消息也会添加到日志文件中。这些都是非常长的和理想的，我希望调试级别的消息留下的标准错误和信息消息被转储到我的L
浏览 2提问于2011-11-30得票数 4
回答已采纳
1回答
这是我第一次使用scrapy-splash来解析支持javascript的网站上不同产品的名称和价格。我在脚本中使用的选择器完美无缺，我已经使用selenium对其进行了测试。然而，当我运行我的脚本时，它抛出了一个错误，如下所示。我已经附加了一个日志文件，它是我的爬行器集合的总状态。为了成功执行我的爬行器，我还需要做什么吗？提前谢谢。下面是脚本：from scrapy_
浏览 3提问于2017-09-28得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
