使用Scrapy实现高效的数据循环

文章/答案/技术大牛

发布

2回答

python、xpath、scrapy、web-crawler

这个问题可能看起来微不足道，因为它与Scrapy有关，我试着用我的方式来做，但没有成功。所以基本上我需要来自Webiste 的数据因此，网站的结构如下:每个部分中的数据都在一个名为box的类中，然后所有数据都出现在这些box类中。中的box类被封装在一个带有class="large-12 columns“的div中。我已经编写了直接获取所有数据的代码，

浏览 8提问于2020-03-10得票数 1

回答已采纳

1回答

在PyQt4主循环中集成抓取/扭曲事件循环

pyqt、twisted、scrapy、event-loop

我正在开发一个PyQt4工具，这是使用抓取网站抓取。我启动了一个新的进程多进程，以便从ui运行Scrapy爬行器。一切正常~ ui是阻塞的，Scrapy是抓取的。我希望有一个非阻塞的ui，尽管我希望在PyQt主循环中集成Twisted事件循环。有没有人知道如何尽可能简单地实现这一点？我不熟悉Scrapy / PyQt / Multiprocessing / Twist

浏览 2提问于2013-02-24得票数 1

回答已采纳

1回答

用POST方法提出要求

python、request、scrapy

我正在尝试使用Scrapy从"“中抓取产品列表。import scrapy name = "intel_eg_eastasiaeg_com_py" start_

浏览 3提问于2016-08-18得票数 3

回答已采纳

1回答

如何将所有CPU核心用于Scrapy

scrapy

不管我怎么使用CONCURRENT_REQUESTS，我的scrapy程序只使用一个CPU核心。scrapy中的一些方法是否可以在一个scrapy爬虫中使用所有的cpu核心？ps:它似乎在早期版本中有争议的max_proc使用，但我现在找不到它。

浏览 0提问于2017-07-10得票数 5

1回答

我试图尝试使用Scrapy和PyCharm来抓取一个房地产网站，但不幸地失败了。尽可能高效和快速地刮掉大约5,000到7,000份独特的清单. 将数据输出到CSV文件中，同时保持Cyrillic字符。注意:我尝试过使用BeautifulSoup进行网络抓取，但是每次列表大约花了1-2分钟，使用for循环刮掉所有的列表需要2到3个小时。一位社区成员向我推荐了Scrapy更快的选择。我不确定它的原因

浏览 1提问于2021-11-04得票数 0

回答已采纳

2回答

Python网络爬行和抓取

python、web-scraping、scrapy、web-crawler、scrapy-spider

，并利用下面的脚本抓取lat/long信息，但我遇到的困难是存储信息。import scrapy name = "world" yield scrapy.Request(url=url, callback=self.parse_region)理想情况下，我希望数据

浏览 10提问于2017-06-14得票数 2

回答已采纳

1回答

高效的事件循环实现？

events、event-loop

可能重复： while (true) { sleep(100);我不认为这是最好的方法-如果睡眠时间太短，它会消耗大量的cpu有更好的办法吗？谢谢

浏览 0提问于2011-07-09得票数 3

回答已采纳

1回答

双for循环的高效实现

r、performance、for-loop

我是R的新手，我想知道是否有更有效的实现以下设置？时间序列长度(x，y)约为5000，h != nrow(q)。

浏览 0提问于2018-12-13得票数 2

1回答

如何用scrapy刷新网页？

python、scrapy

我认为selenium的方法是这样的：driver.get('mypage.html') time.sleep(10)但我想用scrapy来做。

浏览 1提问于2018-01-13得票数 0

1回答

有没有办法把这只刮伤的蜘蛛的长度减到最小

python、xpath、scrapy

我试图避免硬编码我的刮伤蜘蛛。from scrapy.utils.markup import remove_tags class Wiki_BD_Spider(scrapy.Spider):).replace('[2]', '').replace('[3]', ''

浏览 0提问于2019-06-10得票数 1

回答已采纳

2回答

为Scrapy构建一个RESTful瓶API

python、heroku、flask、scrapy、twisted

API应该允许包含用户希望刮取的URL的任意HTTP请求，然后Flask应该返回刮取的结果。有更好的方法来架构这个解决方案吗？或者我如何允许scrape_it在不停止扭曲的反应堆(不能再次启动)的情况下返回？api from twisted.internet im

浏览 9提问于2015-09-22得票数 10

回答已采纳

1回答

Python:我可以使用Chrome的“检查元素”XPath create工具作为Scrapy吗？

python、google-chrome、xpath、web-crawler、scrapy

我的蜘蛛类如下： name = "dropzone"我最初像往常一样创建了我自己的XPath，但是它也没有工作，Chrome选项也吸引了我。通常，我只在我的XPath中包含3到4个标签。这是否适用于下面提供的html？该网站是一个

浏览 1提问于2015-04-26得票数 0

回答已采纳

1回答

关于刮伤的查询

python、web-scraping、scrapy

我有以下的伪网站我想刮：<div class="foo"> .....) link = div.xpath('a/@href

浏览 4提问于2014-02-03得票数 0

回答已采纳

2回答

刮刮MongoDB与弹性搜索同步

mongodb、elasticsearch、scrapy

我使用Scrapy从网站和mongodb获取数据以实现持久性，并使用elasticsearch进行搜索。我的问题是，当Scrapy将数据插入到Mongodb时，即使将侦听器设置为插入、更新和删除，Elasticsearch也不知道。我应该为Scrapy添加一个新插件，以便直接与Elasticsearch通信，如果是的话，为什么侦听器不听数据库发生了什么？谢谢!

浏览 0提问于2014-02-07得票数 1

9回答

BeautifulSoup和Scrapy* crawler有什么区别？*

python、beautifulsoup、scrapy、web-crawler

我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。

浏览 323提问于2013-10-30得票数 146

回答已采纳

3回答

循环中从脚本中运行多个蜘蛛

python、web-scraping、scrapy

我有100多个蜘蛛，我想一次运行5个蜘蛛使用脚本。为此，我在数据库中创建了一个表，以了解蜘蛛的状态，即它是否已完成运行、运行或等待运行。from scrapy.utils.project import get_project_settings print('-------------this is the-----{}--iteratio

浏览 1提问于2018-01-31得票数 1

回答已采纳

1回答

加载更多按钮的剪贴式POST请求

ajax、post、pagination、scrapy

页面底部有一个load more按钮，我尝试使用postman修改表单数据，而'productBeginIndex':和'resultsPerPage':似乎修改了显示的产品数量。然而，我不确定我的代码出了什么问题-无论我如何调整值，它仍然返回24个产品。我试过使用FormRequest.from_response()，但它仍然只返回24个产品。import scrapy class PriceSpider(scrapy.Sp

浏览 1提问于2018-08-14得票数 0

1回答

如何在Scrapy中运行多个相同的爬虫？

python-3.x、scrapy

这些urls在一个域名中，我用Scrapy编写了一个爬虫程序，我需要使用相同的爬虫程序一起运行这些urls。如果我有10个urls，我想创建10个相同的进程来运行爬虫程序，以提高效率。有解决方案吗？我尝试使用CrawlerProcess来运行爬虫，但是如果urls太多，它会提醒我有太多TCP连接的错误。虽然crawler始终处于运行状态，但这种方法不利于维护。from scrapy.crawler import CrawlerProcess from

浏览 0提问于2019-01-06得票数 0

1回答

房间:插入(对象)与插入(List<Object>)的性能

java、android、database、android-room

在循环中向数据库插入对象比插入列表具有更低的性能吗？我花了很多时间在DAO中实现insert(List)方法，但似乎性能较差。 UPD。我在列表中实现了更高效的打包，insert(List)...get(List)方法显示了超过10倍的性能提升。我使用了2-5对象的小列表，所以我看不到性能的提高。

浏览 0提问于2018-10-30得票数 5

回答已采纳

3回答

在使用Scrapy进行抓取之前，检查URL是否在文件中

python、scrapy、file-read

我正在抓取一个包含URL列表的大文件。显然，我不能连续地抓取所有的URL。我当前的解决方案从文件中读取URL。，当我停止爬行器并尝试从我离开的地方继续时，程序从URL的原始文本文件开始，并开始重新搜索并使用相同的内容覆盖以前的下载。我尝试将代码放入爬行器中，以检查传递给解析函数的URL是否在"completed_urls.txt“文件中……但显然，随着完成的URL数量的增加，这是一个很长的

浏览 6提问于2019-10-11得票数 0

点击加载更多