如何顺畅地使用scrapy和tkinter？

文章/答案/技术大牛

发布

1回答

python-3.x、user-interface、tkinter、web-scraping、scrapy

我想将scrapy与我用tkinter制作的GUI一起使用，而spider在单独使用和GUI时都工作得很好，但当我用GUI按钮启动scrapy spider时，GUI没有响应，正如您在图像中看到的那样enter image description here 下面是我的代码： from tkinter import * defself.button.pack() self.root.main

浏览 64提问于2020-12-05得票数 0

回答已采纳

1回答

Tkinter中的线程

python、multithreading、tkinter

我在Tkinter中线程化有个问题。我读到这些事情应该在不同于主GUI线程的单独线程中完成。每当我单击该按钮时，它都会在线程停止后关闭。我认为我没有正确地实现线程。from Tkinter import *import thread if(RadioVar.get()== 1): thread.start_new_thread(cmdline.execute("scrapy craw

浏览 0提问于2015-05-23得票数 0

1回答

处理抓取异常CloseSpider

python、scrapy

import scrapyfrom tkinter import filedialogimportcsv name = 'googleCloseSpider(reason='no_file')

浏览 10提问于2019-08-10得票数 0

1回答

如何在不同的Python脚本中调用Scrapy Spider

python、python-3.x、pandas、web-scraping、scrapy

我正在做一个项目，我需要在一个不同的python文件中调用我的Scrapy Spider，以便在处理之前更新之前抓取的数据。我不知道该如何做到这一点。我还在学习scrapy，所以如果你能确切地解释我应该做什么，那就太好了。我的文件结构如下： ? 这里的calculator.py是我要调用爬行器的外部文件。Calculator.py的代码如下： from typing import Union import tkinter from tkinter

浏览 43提问于2020-12-17得票数 0

回答已采纳

1回答

刮伤误差"twisted.web._newclient.RequestGenerationFailed“

python、scrapy、pyinstaller

在Pycharm venv中，我用pyinstaller创建了一个gui，它用Popen对文件调用scrapy。Popen正在从终端调用scrapy，并且正在成功地执行刮取操作。包装之后，桂被打开了，但是普罗的斯泰尔告诉scrapy not found。我在上打开的一个问题帮助我发现pyinstaller使用的是user包而不是venv。我通过为user安装scrapy来解决这个问题，在使用pyinstaller打包之后，构建的gui正在调用scrapy</em

浏览 5提问于2022-09-06得票数 0

回答已采纳

1回答

在元中设置https代理的正确方法是什么？

python、python-3.x、web-scraping、proxy、scrapy

我创建了一个脚本，使用scrapy实现它内的代理，从一个网站获取内容。脚本似乎工作正常。我试图从https://www.zillow.com/miami-fl-33166/上获取数据的网站。由于这是一个https站点，而且我使用的是https代理，所以我设置了一个代理，如下所示：DOWNLOADER_MIDDLEWA

浏览 2提问于2021-10-17得票数 0

回答已采纳

1回答

如何在Python3中将特殊参数传入os.system？

python

我将参数传递给Python3中的os.system，如下所示： os.system("scrapy crawl %s -a arg='%s'" % ("googlebook",scrapy_url))scrapy url包含特殊字符： '?q=19434 如何将特殊的单词传递给爬虫？

浏览 40提问于2019-02-08得票数 1

回答已采纳

2回答

从Python脚本中运行scrapy* - CSV导出程序不起作用*

python、python-2.7、export、twisted、scrapy

当我从命令行运行它时，我的刮取器工作得很好，但是当我试图在python脚本中运行它(使用使用Twisted的方法概述 )时，它不会输出它通常所做的两个CSV文件。我有一个创建和填充这些文件的管道，其中一个使用CsvItemExporter()，另一个使用writeCsvFile()。--编辑:from twisted.internet import reactor fr

浏览 3提问于2013-07-20得票数 6

回答已采纳

1回答

如何使用scrapy抓取网站？

web-crawler、web-scraping、scrapy

我要写一个基于scrapy的Gui应用程序，用户输入一个网站的URL，然后点击“爬网”按钮，整个网站就会被抓取并存储在内置的scrapy-db (sqlite)中。如何使用scrapy帮助我抓取网站？

浏览 4提问于2012-03-09得票数 0

2回答

如何获取刮伤壳中的刮伤响应

python、python-2.7、scrapy、ipython、scrapy-spider

我对Scrapy项目很陌生，我读过很多教程。它们似乎都假设您知道如何立即解析响应对象，并且可以立即调用响应回调(例如scrapy.Request(url=url, callback=self.parse))。但在现实中，我需要使用试用和错误的CSS选择器。如何取回Scrapy响应对象，以便能够交互地操作它？scrapy.Request(url=url)的响应似乎是我无法处理的(见屏幕截图)--不需要解析HTML -例如，没有.css

浏览 4提问于2017-04-09得票数 2

回答已采纳

4回答

刮擦+ Eclipse PyDev :如何设置调试器？

eclipse、pydev、scrapy

我已经成功地用我的Scrapy项目安装了Eclipse。为此，我设置了一个新的Run/Debug配置：他的主模块为我链接到Scrapy /usr/local/bin/scrapy (我找到了使用cmdline.py的建议，但在我的计算机(OSX & scrapy通过安装)上失败了，在我的情况下，用参数发送“爬行ny”，就像我使用Scrapy命令行设置正确的工作目录(在我的情况下是${works

浏览 1提问于2012-03-21得票数 6

2回答

python导入了没有名为zope.interface的模块扭曲

python、twisted、zope

我安装了"scrapy“，但它给出了错误"importerror no module named zope.interface twisted".Please help me。预先感谢.

浏览 1提问于2010-12-21得票数 5

回答已采纳

1回答

wpf媒体元素快进快退

wpf

我必须使用媒体元素来顺畅地倒带和前进电影。看起来球员的位置必须随着计时器而改变，以便向前和向后移动。任何更好的选择。感谢并问候Raju

浏览 2提问于2010-07-08得票数 0

回答已采纳

1回答

Python名称错误

python、tkinter

我正在尝试学习python，但是tkinter中的许多名称(根据文档)给我带来了错误。我尝试使用pydev在eclipse中使用，即使编辑器告诉我"tkinter.font“很好，但当我运行以下代码时会出现一个错误：打印(tkinter.font)如果我在空闲时尝试使用这个方法，那么它可以工作，但是我尝试了一些其他的名称，比如scrolledtext、try、dnd，它们给了我属性错误。

浏览 17提问于2014-01-12得票数 0

回答已采纳

1回答

Python:在类中初始化方法

python、class、tkinter、init

我的代码是：import random from Tkinter import * def __init__(self, parent

浏览 3提问于2014-10-02得票数 0

1回答

抓取CrawlSpider:爬行策略/队列问题

scrapy、web-crawler

因为我想了解搜索引擎的发展，我的目标是建立一个爬虫(和存储，索引器等)的大量网站的“颜色”和内容。可以用条目来简单地存储页面吗?如果页面已经被爬行(在过去的六个月里)，爬行器检查数据库是如何工作的？是否有类似于无用域的黑名单？占位符域、链接场等？

浏览 1提问于2011-11-06得票数 0

回答已采纳

1回答

逐列输出数据，我想逐行刮擦。这怎么可能呢？

python-2.7、web-scraping、scrapy、scrapy-spider

下面是蜘蛛的代码和图片如下所示： rows=response.xpath('//*[@id="table-timetable

浏览 5提问于2016-11-03得票数 0

回答已采纳

1回答

GUI按钮和条目小部件

python、tkinter

我一直在获取一个错误：from Cloud import Cloudfrom random import randintimport math class Cloudspotting

浏览 3提问于2015-04-29得票数 0

1回答

在标题栏旁使用图片库

android

嗨，我有一个布局，其中包含它们不重叠。每当马奎斯特激活时，画廊就不会顺畅地移动，并开始结巴。原因是什么以及如何解决这个问题？谢谢

浏览 6提问于2010-11-04得票数 0

回答已采纳

9回答

安装了Scrapy，但不会从命令行运行

python、scrapy

我正试图在一台ubuntu机器上使用scrapy运行我在python中编写的刮取程序。刮伤装置已经安装。我可以导入，直到python没有问题，当尝试pip install scrapy时，我得到当我尝试从命令中运行scrapy (例如使用scrapy crawl ..

浏览 8提问于2016-06-10得票数 6

点击加载更多