抓取网站的所有列表，超过页面限制

文章/答案/技术大牛

发布

2回答

python、web-scraping、data-science

我正在尝试刮一个类似于Yelp的食物评论网站。我已经完成了抓取单个页面并获取单个餐厅的信息的部分。但我遇到了这个问题，网站有超过90万个列表，但页码只有60个，最多只能显示1200个列表。即使我缩小筛选器的范围并遍历每个筛选器选项，每个筛选器下的列表仍然会超过1200个。我正在使用请求和精美的汤进行抓取。有没有更好或更有效<em

浏览 16提问于2019-12-09得票数 4

2回答

Nutch渐进式爬行

nutch

我是新来的纳奇，我正在做的POC与纳奇1.9。我只是想爬我自己的网站来建立一个搜索。我发现我做的第一次爬行只爬了一页。第二个爬行40页，第三个300页。增量减少，它总共爬行约400页。有谁知道为什么它不只是在网站的第一次运行的全部抓取？我使用了nutch教程()，并按照3.5节使用脚本运行。我也发现多次运行，它不会抓取整个网站无论如何- GSA为同一网站带回900多页，nutch带

浏览 4提问于2014-11-17得票数 0

回答已采纳

1回答

我的脚本获取了几个内容中的几个

python、json、python-3.x、api、web-scraping

我写了一个脚本，使用他们的api从yelp获得所有的评论，评论者的名字和评分。我的以下脚本可以从该api生成三个评论、审阅者姓名和评分。然而，在我使用chrome dev工具收集他们api的登录页面中，我可以看到44条这样的评论。我怎样才能得到所有的它们呢？这是我的尝试： res = requests.get("https://eatstreet.com/api

浏览 4提问于2018-08-18得票数 0

1回答

couchbase的数据建模

database-design、web-crawler、couchbase、couchbase-view

我有一个测试网站/页面的爬虫。下面是我用RDBMS做的模型： Uri Uri {set;get;}} } // Page info我的问题是，有多少页面加载失败，每个站点和总体返回了多少404个页面等所以我

浏览 1提问于2015-08-14得票数 0

1回答

google爬虫的爬行策略

hadoop、solr、web-crawler、nutch、google-crawlers

我想知道一些大型搜索引擎的重新爬网策略是如何工作的。例如，让我们考虑一下谷歌。我们知道google正在使用动态间隔来重新抓取每个网站。假设根据google dynamic interval，每10分钟就有100k个站点需要重新抓取。因此，这100000个网站的抓取过程应该在10分钟内完成。可能有两种可能的情况： 1)谷歌机器人将获取每个这些网站的第一页，然后在此页面中生成URL<e

浏览 1提问于2014-06-02得票数 0

2回答

Google为我的网站显示了错误的标题- robots.txt问题

wordpress、web-crawlers、robots.txt

我已经建立了这个网站以及所有的东西，但是当我在google上输入"lissa mariage“时，它显示了这从罗马尼亚翻译过来的意思："pages_rss_title”。我注意到了robots.txt丢失的描述，但它就在那里，看起来是这样的：Disallow: Disallow: / 这是我以前的同事做的从一开始，我可以说，为了实现他想要的，我认为他应该

浏览 0提问于2015-12-17得票数 4

2回答

仅允许大范围抓取Web爬行中的内部链接

python、url、web-scraping、filtering、scrapy

我正在使用Scrapy爬行成千上万的网站。我有一大串域名要爬。所有的工作都很好，只是爬虫遵循外部链接，这就是为什么它爬行的方式太多的领域超过必要。我已经尝试在SGMLlinkextractor中使用“SGMLlinkextractor”，但是当我解析到它的一个庞大的域列表时，这是行不通的。那么，我的问题是:如何将广泛的抓取限制在内部链接上？更新

浏览 1提问于2014-04-08得票数 3

回答已采纳

4回答

在抓取网站时超过请求限制

web-crawler、distributed-computing

我正在做一个网络爬虫，索引那些不想被索引的网站。我回到了我最初的想法，并将其放在TOR网络的缩短版本之后。这是可行的，但速度非常慢。我说“块”

浏览 7提问于2011-12-12得票数 10

回答已采纳

1回答

如何在抓取网站时停止请求google地理编码api

google-geocoding-api

我正在使用谷歌地理编码API，网站目前没有太多的流量，但它正在超过每天2500个请求的每日限制。我检查了一下，发现它超过了每天的限制，因为网站正在被各种网站/搜索引擎爬行，包括谷歌的爬行。当网站被抓取时，有没有办法停止对Google API的请求？或者，如果网站被包括Google在内的一些网站

浏览 2提问于2016-01-21得票数 0

2回答

你的“抓取作为谷歌机器人”津贴刷新吗？

google、google-search-console、fetch-as-google

在谷歌网站管理员工具中，你可以获取谷歌机器人-你可以做500次，你还必须提交索引，你可以做10次，做这些允许刷新或它们是否为网站的生命。呃，一旦你把它们都用完了，就这样了？

浏览 0提问于2012-07-14得票数 2

回答已采纳

1回答

从node.js派生多个phantomjs worker是理想的吗？

javascript、node.js、phantomjs

我们使用phantomjs来截取各种网页的屏幕截图，url是由node.js服务器中的客户端发送的，这反过来又会产生phantomjs来截取屏幕截图并发送base64图像。理想的做法是创建多个phantomjs worker来完成这项工作吗？如果有5个客户端请求，则会有5个衍生进程。我已经将数量限制为5，而不考虑客户端请求的数量。

浏览 1提问于2015-11-30得票数 1

1回答

从Google中选择列表数据

php、html、seo

当谷歌的蜘蛛在我的一个网站上爬行时，他们从选择的列表中提取数据作为页面数据。我完全理解为什么会发生这种情况，但问题是，它能被以任何方式阻止吗？我不想阻止整个页面被抓取，而只是选择列表数据。问题如下:在搜索Google时，选择列表数据将显示为页面的摘要，而不是内容。描述标签是专门编写的，以帮助SEO和提供有用的信息给潜在的网站访问

浏览 0提问于2011-12-07得票数 2

1回答

Googlebot只获取我网站的资产

google-search-console、googlebot、fetch-as-google

当我尝试在我的网站页面上使用Fetch作为Google时，Googlebot会部分地获取它，当我检查爬行日志时，告诉我我的一些资产是暂时无法到达的：📷 我该怎么办？

浏览 0提问于2017-07-25得票数 2

回答已采纳

1回答

像下面这样，我在我的页面中实现了unavailable_after标记，并在3天后设置为不可用，但是在Google工具中，我得到了该页面的404。<META NAME="GOOGLEBOT" CONTENT="unavailable_after: 05-May-2014 15:00:00 EST"> 我怎么知道Googlebot访问(爬行)我的页面再读这个标签(或) Googlebot将需要多长时间来再次爬行这些页面？注意:我在XML中

浏览 0提问于2014-05-06得票数 0

回答已采纳

1回答

Fetch作为谷歌是否有一个字符/行限制？这有关系吗？

seo、html、fetch-as-google、page-size

我有一个只包含文本的测试页面。没有JS。没有CSS。只有html、head、body和p标签和很多lorem ipsum文本。如果我删除的内容比1562行短，它会呈现所有内容直到最后一个</html>结束标记，但是如果HTML大于1562行，它将在1562行被剪切。这是已知的限制吗？(在任何地方都找不到这方面的任何信息) 如果我的网站有超过1562行，我需要担心吗?谷歌向我展

浏览 0提问于2019-01-01得票数 2

1回答

如何为已经开发的struts 1.2 web应用程序生成站点地图？

java、user-interface、struts、sitemap

我已经开发了一个基于struts 1.2的web应用程序，其中包含带有指向其他页面的超链接的jsp页面。有没有一个网站地图生成器工具，可以浏览我的web应用程序，并根据超链接给我一个网站地图(如果可能的话，以xml格式)。或者有没有其他的方法呢？

浏览 2提问于2011-11-01得票数 0

回答已采纳

1回答

如何有效管理一个中等规模的网站的sitemap.xml？

spring-mvc、web、sitemap

它是每个请求生成的(作为API)吗？它保存在存储服务器上吗？如何更新lastmod？有必要被人训斥吗？我认为总的URL大约是10000个现有的URL，可能每天有50个URL。对于sitemap.xml还有什么要考虑的吗？

浏览 0提问于2018-12-17得票数 0

3回答

Python web抓取用户列表

python、python-requests

我试图从一个网站上抓取用户列表，但它有多个页面，我可以抓取第一个页面，但当我抓取每个页面时就卡住了。BeautifulSoup(source, 'lxml') 在url中的通知page=1page=2 以此类推，所以我的</

浏览 5提问于2018-01-09得票数 1

回答已采纳

1回答

更改内容类型会导致google抓取错误

wordpress、url、google-analytics、indexing、google-crawlers

在我们建立在WordPress上的网站中，我们将我们的自定义帖子类型之一的名称从'A‘更改为'B’，并且更改了少数类别的层次结构。现在，问题是谷歌正在索引/爬行旧的'A‘CPT名称，以及旧的猫爪结构，这会导致随机页面(因为WordPress用URL中的关键字进行猜测和显示页面)或404错误。我们能做什么(通过网站管理员工具)，使谷歌重新索引我们的整个网

浏览 1提问于2014-10-21得票数 0

3回答

如何让维基数据库进入搜索引擎？

seo、wiki

我正在创建一个网站，将有一个维基文章数据库。现在，除了使用网站上的搜索引擎之外，没有任何链接可以链接到维基文章。我怎样才能让这些文章被Google和其他互联网搜索引擎爬行？数据库中有太多的文章，无法直接包含所有文章的链接，除非它是某种类型的自动化站点地图。在很多wiki上，我看到过一个视图，一个随机的页面按钮；作为一个用户，我从来没有看到过它们的意义，它们是为了帮助搜索引擎机器人吗？

浏览 0提问于2010-06-23得票数 0

回答已采纳

点击加载更多