我有以下用于下载JSON文件的自定义管道。在我需要添加__init__函数之前，它一直运行良好，在这个函数中，我继承了FilesPipeline类，以便添加一些新属性。管道获取指向API端点的URL并下载它们的响应。通过scrapy crawl myspider运行爬行器时，将正确创建文件夹，并且file_path函数中
浏览 24提问于2020-07-18得票数 4
回答已采纳
我是新来Scrapy的，请耐心听我说。2017-08-22 17:25:16 [scrapy.statscollectors] INFO: Dumping Scrapy stats:'downloader] INFO:
浏览 24提问于2017-08-23得票数 1
回答已采纳
1回答
基本上，我已经收集了数千张图片，并设法将它们放入按名称分类的文件夹中。在这些文件夹中，图像被标记为大量随机数字。我想知道是否有一种方法可以从Url中提取标签来命名图像。此链接的对应图片被标记为为此，我使用了<
浏览 0提问于2021-01-15得票数 1
scrapy crawler通过shell脚本调用，该脚本用作crontab条目中的命令行。shell脚本如下所示：当时间到期时，它确实执行了，但似乎只调用了构造函数(我用debug输出进行了验证)。这个问题可以通过重写shell脚本来解决：我只是不知道为什么。
浏览 0提问于2011-11-03得票数 0
1回答
问题：在我的代码(请参阅下面的“当前代码”一节)中，我遗漏了哪些内容使我能够使用Scrapy从绝对路径和相对路径下载文件？我很感激你的帮助。我正在寻找相当基本的目标网站，这些网站有许多文件，主要是PDF和JPG，它们作为绝对路径或相对路径在a href或img src选择器下链接。我想下载所有这些文件。我的理解是，response.follow将遵循相对路径和绝对路径，但我不确定该
浏览 2提问于2018-02-04得票数 0
2回答
我有一个包含大量下载链接的网页，每个下载链接之前都有一个名称，网页的格式如下：
直接下载链接直接下载链接
诸若此类。是否有可能编写一个程序，这样它就可以大量下载页面上的所有链接，每个链接都被命名为它们各自链接上的名称？我能用什么来写一些可以这样做的东西呢？
浏览 0提问于2018-03-30得票数 0
我有一个工作蜘蛛抓取图像URL，并将它们放置在image_urls字段的scrapy.Item中。我有一个从ImagesPipeline继承的自定义管道。例如，在日志文件中，我发现
WARNING:scrapy.pipelines.files:File (code: 404): Error downloading file from <GET http:photos/rogerfederer/
浏览 4提问于2017-01-19得票数 0
我一直在尝试在我的scrapy项目中启用Downloader中间件，但它似乎根本没有被认可。我安装了一些第三方中间件，我不知道它是否正在使用。我的settings.py中的所有东西都被正确使用，就像settings.py中定义的其他设置和参数一样，但感觉下载中间件根本不起作用。这是我的settings.py文件中的downloader_middleware代码
D
浏览 11提问于2017-07-06得票数 2
我已经创建了一些从网站中提取链接的代码(PDF链接)，现在我需要下载这些PDF文件，但是我很难做到这一点。这是代码：
name = "all5" next_link = response.urljoin(lin
浏览 0提问于2019-07-28得票数 0
回答已采纳
Scrapy 1.5允许按照中的说明设置用于存储所有下载的媒体的IMAGES_STORE设置我想过重写，但是我还不能访问Item。
有什么想法吗？
浏览 2提问于2018-04-09得票数 1
2回答
我在使用Scrapy下载一个大的~ 1.8gb文件时遇到了问题，我的代码： name = "ch_accountdata] INFO: Spider closed (finished)此后，我在自定义设置中添加了以下内容：'DOWNLOAD_
浏览 12提问于2017-08-01得票数 2
6回答
数据库日志与文件日志
、、、
我已经创建了一个PHP+MYSQL网络应用程序，我正在尝试实现一个日志系统来存储和跟踪每个用户的一些操作。这样做的目的是:通过记录IP+time+action来跟踪每个用户会话的活动，然后查看他稍后通过日志记录time+pagename访问的页面；对于每个用户，将有一个格式的文件:IP+time+action然后，每个日志将仅由网站所有者通过自定义管理面板查看，并且数据将仅用于安全
浏览 6提问于2015-02-08得票数 14
回答已采纳
1回答
我的问题是，我不能保证每次调用我的Google Cloud函数时都能访问相同的文件系统内容，因为“对相同函数的后续调用有时会在不同的容器中执行，所以它们会有不同的/tmp挂载。所以你不能使用/tmp在函数之间进行通信”(从)。这导致punkt需要在容器切换时重新下载，这在我的云函数的
浏览 5提问于2020-01-27得票数 0
我已经使用Scrapy创建了一个蜘蛛，但是我不知道如何关闭默认的日志记录。从看来，我应该可以通过以下操作来关闭它但这没有效果。从logging.basicConfig()的代码来看，我猜想这是因为“根记录器配置了处理程序”，但我可能错了。编辑:如下所示，行
logging.getLogger('scrapy').setLevel(logging.WARN
浏览 3提问于2015-10-18得票数 21
回答已采纳
在Azure管道中，当通过部署模板创建VM时，我们可以选择“使用WinRM代理配置”，如下所示。
这在幕后充当自定义扩展。但是，Azure中的内部vnet可以阻止这个自定义扩展的下载。information on troubleshooting is available at https://aka.ms/VMExtensionCSEWindowsTroubleshoot "
由于文件无法
浏览 2提问于2020-02-10得票数 0
2回答
我像这样自定义文件管道。我在蜘蛛中尝试了另一种解决方案，首先使用请求重定向url，然后使用默认的文件管道传递给另一个function.and。从这里来的
当项目到达FilesPipeline时，file_urls字段中的URL将使用标准的Scrapy调度程序和下载器(这意味着重新使用调度器和下载机中间件)进行下载，但是具有更
浏览 8提问于2016-08-06得票数 3
回答已采纳
我的scrapy项目包含多重爬行器(Spider1、Spider2、 等)，它爬行不同的网站，并将每个网站的内容保存在不同的JSON文件中(output1.json、output2.json等)。在不同网站上收集的项目具有相同的结构，因此蜘蛛使用相同的项、管道和设置类。输出由管道中的自定义JSON类生成。当我单独运行这些蜘蛛时，
浏览 2提问于2017-07-25得票数 3
回答已采纳
我想要做的是非常基本的，但我无法找到实现它的方法。
我正在尝试使用在刮刮，以便下载一个文件(例如。并将其保存在相对于首先放置该请求的项的路径上(例如。item.name)。它与这个问题非常相似，尽管我希望将item.name或item.something字段作为参数传递，以便根据item.name将每个文件保存在自定义路径中。路径是在persist_file函数中定义的</
浏览 1提问于2015-11-05得票数 2
1回答
我试图为一个Scrapy项目创建一个自定义管道，该管道将收集到的项输出到CSV文件。为了减少每个文件的大小，我希望设置每个文件可以拥有的最大行数。在当前文件中达到行限制后，将创建一个新文件以继续输出项目。
幸运的是，我找到了，在那里有人想做同样的事情。这个问题有，它展示了一个示例实现。我实现了示例实现，但调整了访问stats<e
浏览 0提问于2020-07-05得票数 0
回答已采纳
我想要将爬虫的所有下载图像保存在一个特定的文件夹中，这样我就可以在同一个项目中同时运行多个爬虫，而不会在一个文件夹中有多个爬虫的所有图像。img文件夹目标在设置中定义： project_dir = os.path.dirname(__file__)+'/../' #<-- absolute dir the script is in
IMAGES_STOR
浏览 27提问于2019-02-14得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
