有很多蜘蛛的

文章/答案/技术大牛

发布

1回答

scrapy

我有一个项目，我需要从不同的网站抓取数据。例如:我抓取了站点1，然后检查了一些条件(check DB等)，如果这些条件为真，我需要为下一个站点运行另一个爬行器，并传递第一个站点上抓取的数据。什么样的项目架构(蜘蛛和管道的组合)最适合这种情况？

浏览 9提问于2021-03-14得票数 1

回答已采纳

1回答

我不知道如何在表格中打印刮擦的数据

python、web-scraping、scrapy、scrape

我见过一些东西，但我不能在桌子或.csv中播放这个来打印屏幕上的表格，有人能帮我吗？

浏览 1提问于2022-08-04得票数 0

2回答

抓取蜘蛛的管理框架

web-scraping、scrapy

我有一个项目，在其中我已经实施了数以百计的刮除蜘蛛。现在，我遇到了以下问题：是否有任何框架提供监视刮伤蜘蛛的能力？运行蜘蛛的</

浏览 10提问于2021-02-10得票数 0

1回答

Elasticsearch 6.2 -查询中有空格和没有空格的查询字符串问题

elasticsearch

我有一个关于ELASTICSEARCH 6.2查询的问题。default_field": "movie_title", "default_operator": "AND", "analyze_wildcard":true, "query": "spiderman" } } 在我的文件中，我有两条记录，有两个不同的标题：“蜘蛛侠”和“

浏览 0提问于2018-03-31得票数 0

2回答

一个网络蜘蛛，一些捕捉动态网页的方法或想法？

javascript、web-crawler

有很多网络蜘蛛，但它们只捕捉互联网上的html格式。我想要一个网络蜘蛛，一些捕捉动态网页的方法或想法，可以执行javascript，我可以从dom树中获取信息。

浏览 0提问于2011-03-01得票数 0

1回答

刮擦:为什么要用管道？

python、scrapy、web-crawler、splash-screen

我在Scrapy+Splash有一个工作的爬虫。它在许多页上发射一只蜘蛛。每个页面都包含一个链接列表。对于每个页面，蜘蛛会下载该页面，其中一些页面是从该页面链接的(而不是递归的)。使用它们有什么好处？添加一些信息:我的爬虫的目的是下载整个页面(在html，png，或转换为txt使用库)。一旦爬行器有了要保存的response，它就会将它传递给一个封装了所有io操作(文件系统和DB)的</e

浏览 2提问于2017-08-08得票数 1

回答已采纳

3回答

如何自动抓取

web-scraping、scrapy

我的刮痕蜘蛛有点小问题。所以，我建立起刮刮，一切都很好，但每次我想刮一个网站，我必须自己开始蜘蛛。但我希望它是全自动的，不知道怎么做。实际上，我用cmdline.execute开始蜘蛛。我想我可以简单地写一段时间的真循环，但结果证明它不起作用。我发现蜘蛛并不是真的放弃了。很难解释。

浏览 17提问于2022-11-10得票数 -1

回答已采纳

2回答

我刚刚得到了刮擦的设置和运行，这是很好的工作，但我有两个(菜鸟)问题。首先，我应该说，我对刮擦和蜘蛛网站完全陌生。你能限制爬行的链接数量吗？我有一个网站，不使用分页，只是列出了很多链接(我爬行)在他们的主页。当我真的需要爬行前10个左右的时候，我感觉很糟糕爬行所有这些链接。如何同时运行多个蜘蛛？现在，我使用的是命令scrapy crawl example.com，但我还为example2.com和

浏览 2提问于2010-11-24得票数 6

1回答

如何用刮擦爬行多个域

scrapy、scrapyd、scrapy-spider

我有一个项目，在其中我必须爬很多不同的网站。所有这些网站爬行都可以使用相同的蜘蛛，因为我不需要从它的正文页面中提取项目。我认为的方法是将要在蜘蛛文件中爬行的域参数化，并调用scrapy爬行命令，传递域并启动urls作为参数，这样我就可以避免为每个站点生成一个蜘蛛(站点列表将随着时间的推移而增加)。这样做的目的是将其部署到运行scrapyd的服务器上，因此我

浏览 2提问于2014-07-01得票数 4

回答已采纳

1回答

从Scrapy数组中的多个请求中收集项。

scrapy

我写了一个小例子蜘蛛来说明我的问题： start_urls = ['https://example.com/lists(蜘蛛内部的数组中的所有ListEntryItem，因此分派依赖于的所有项的请求。我的第一个想法是链接请求，并传递请求的meta属性中的其余is和已经提取的项，

浏览 0提问于2019-06-06得票数 1

回答已采纳

1回答

当我遇到网站阻塞时，我如何暂停刮除？

python、scrapy、twisted

我使用scrapy抓取'douban.com‘中的用户页面。我的数据库里有2W的用户，我需要抓取所有这些独立用户的页面。但问题是，有时网站会阻止我的爬虫，如果我立即注意到，我可以手动关闭蜘蛛通过Ctrl+C和重新启动蜘蛛和继续前进。在模拟这种行为时，我遇到了很多问题，我有两个想法，如下所示：暂停蜘蛛在刮痕中检测403页，因为它是被阻塞的标志。拆分start_urls

浏览 4提问于2015-02-13得票数 2

7回答

有很多从很多到很多

laravel、laravel-5、laravel-5.2

我的表格布局如下：- id- id- id- product_id - id- id- product_idproducts和metrics与一个支点价值列有多到多的关系。deals和products也有多到多的关系。我可以使用$product->metrics获得产品的度量标准，但

浏览 0提问于2016-05-25得票数 28

回答已采纳

1回答

单击标记群集时，默认情况下希望打开具有完全相同位置标记的蜘蛛。

markerclusterer

但是，我希望修改OMS的工作方式，以便如果我单击一个有2分的集群我可以跟踪标记时，我添加到OMS(oms.add

浏览 1提问于2013-03-21得票数 4

1回答

刮擦蜘蛛:完成后重新启动蜘蛛

python、python-2.7、web-scraping、scrapy

如果关闭的原因是因为我的网络连接(在夜间网络中断5分钟)，我正试图让我的Scrapy蜘蛛再次发射。当网络关闭时，蜘蛛在5次尝试后关闭。我试图在我的蜘蛛定义中使用这个函数，试图在关闭时重新启动蜘蛛： relaunch = False spider.crawler.queue.a

浏览 3提问于2015-03-11得票数 6

回答已采纳

1回答

针对大量请求的刮擦模式

scrapy

我需要刮大的网站，大约有10个类别和数千(我真的不知道多少)的文章在每个类别。最简单的方法是为每个类别创建一个蜘蛛，并为每个下一篇文章链接创建一个yield响应以进行进一步提取。我想的是制作一个顶级蜘蛛，它可以从类别中提取文章urls到队列中。然后，第二级(文章)蜘蛛应该从队列中接收每一个固定数量的urls (比如100个)，并且当蜘蛛完成时，另一个urls将被启动。以这种方式，我们可以控制很多蜘蛛

浏览 3提问于2016-05-02得票数 0

回答已采纳

2回答

使用从列表中提取的Urls使用Scrapy进行刮擦

python、scrapy、scrapy-spider

/'] #do something我的列表m包含需要像迭代地添加product/{}/.format(m[i])那样添加的url。是对每个Url进行新的蜘蛛调用，还是为蜘蛛自动迭代列表编写一些代码。如果答案是后者，我该写什么？我知道有很多与此相关的答

浏览 7提问于2017-07-31得票数 1

回答已采纳

1回答

在哪里定义了像parseInt和parseFloat这样的属性/方法？

javascript、object、inheritance、global-object

console.log(Number.prototype.hasOwnProperty('parseInt')); // false 如果不是在默认原型对象( parseInt )(所有JS对象继承的原型对象)上定义的，那么在哪里定义parseInt呢？

浏览 6提问于2022-08-15得票数 -1

1回答

这种关系是@OneToMany实例吗？

java、database、hibernate

我已经有两张桌子了 private Set<ZipCodeArea>

浏览 1提问于2020-08-11得票数 1

回答已采纳

2回答

java网页阅读器

java、javascript

我想检索网页中的所有链接，但网页使用的是javascript，并且每个页面都包含许多链接。如何转到下一页并读取其在java程序中的内容？

浏览 0提问于2010-12-14得票数 0

回答已采纳

点击加载更多