React JS - Google爬虫无法抓取页面 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

React JS - Google爬虫无法抓取页面

reactjs、aws-lambda、single-page-application、amazon-cloudfront、google-crawlers

什么是最好的方法，我可以使一个在react JS中构建的web应用程序为谷歌爬虫的SEO目的而工作。我希望整个页面都能爬行。基本上，问题是当它在客户端呈现时，爬虫除了根div之外什么都看不到。

浏览 73提问于2021-07-01得票数 1

回答已采纳

1回答

规范链接没有显示在页面源反应-头盔反应ssr没有ssr。

reactjs、canonical-link、react-helmet

我在查看页面源上的规范URL时遇到了问题，下面是web-app页面中的代码 const airportsQuery = useQuery(ALL_AIRPORTS_QUERYprops: { lng: 'tr', lngDict },} ssr: false,当我检查页面源时

浏览 1提问于2020-07-13得票数 1

回答已采纳

1回答

Vue.js /Crawler无法跟踪v生成的链接

laravel、web-crawler、vue.js、google-crawlers

我有一个小网站，它使用Laravel和Vue.js来呈现一个列表。您可以查看它。看起来谷歌爬虫无法跟踪v-for生成的链接。Google说：Not found: vergleichen/%7B%7B%20anbieter.slug%20%7D%7D和我认识的所有页面爬虫都无法抓取链接。更新var

浏览 3提问于2016-04-16得票数 1

1回答

使用jQuery load()时的SEO问题

javascript、jquery、angularjs

crawler无法读取和索引这些链接。我需要一种方法让爬虫索引这些链接。我看到使用angular js排名的网站，比如 (这个网站有一个类似的模式窗口)在谷歌搜索中排名靠前，我Google从不阅读或索引angular js制作的页面。他们设法抓取了它，所以肯定有一种方法可以抓取我制作的javascript模式窗口。我如何才能做到这一点？

浏览 0提问于2017-09-13得票数 1

3回答

如何在使用reactjs构建的网站中更改标题和描述

javascript、java、reactjs、react-native、seo

我的网站是react java。它建得很早。现在我正在尝试为我的网站做SEO，但我不能给每个页面单独的SEO标题和描述。即使我输入语法，google也无法识别它。因为，当我单击任何页面的“查看源代码”时，它只打开主页的查看源代码。视图源中未显示任何其他页面。当我问一些技术人员这个问题时，他说，整个网站就像一个单一的登录页面，所以它只会是这样的。

浏览 2提问于2021-05-31得票数 0

3回答

我的AngularJS应用程序的谷歌索引

angularjs、seo、google-index

有一篇来自google的博客文章说他们正在索引javascript应用程序。然而，我的AngularJS应用程序www.fort-cite.com似乎根本没有索引。

浏览 11提问于2015-01-09得票数 14

回答已采纳

1回答

C#爬虫程序无法加载动态内容

c#、request、web-crawler、abot

我正在使用Abot库来抓取网页。爬虫可以正确地请求页面，但问题是几乎所有内容都是通过knockout.js动态加载的。爬虫程序目前无法请求此内容，这导致只加载了页面的一小部分。我希望加载整个页面，但只加载页面的底部。谢谢!

浏览 12提问于2019-07-09得票数 0

3回答

为什么搜索引擎爬虫不运行javascript？

javascript、ajax、search-engine、google-crawlers

我一直在使用一些高级的javascript应用程序使用大量ajax请求来呈现我的页面。为了使应用程序能够(由谷歌)爬行，我必须遵循。我想知道为什么爬虫不运行javascript来获得呈现的页面和索引。这背后有什么原因？或者这是搜索引擎未来可能会出现的一个缺失的特性？

浏览 4提问于2013-10-10得票数 17

回答已采纳

1回答

Ajax可抓取Urls？

facebook-graph-api、hash、escaping、fragment

Facebook支持Google的ajax爬行规范吗?如果支持，您需要做些什么来实现它？我正在尝试让Facebook的"Like“按钮使用如下定义的AJAX可爬行urls : code.google.com/web/ajaxcrawling/docs/specification.html“在url中：为什么它不能抓取这个页面？Facebook linter没有正确抓

浏览 0提问于2011-10-29得票数 11

2回答

Google为我的网站显示了错误的标题- robots.txt问题

wordpress、web-crawlers、robots.txt

我已经建立了这个网站以及所有的东西，但是当我在google上输入"lissa mariage“时，它显示了这从罗马尼亚翻译过来的意思："pages_rss_title”。我注意到了robots.txt丢失的描述，但它就在那里，看起来是这样的：Disallow: Disallow: / 这是我以前的同事做的

浏览 0提问于2015-12-17得票数 4

2回答

为什么谷歌仍然没有索引我的!#网页？

search-engine-indexing

我们的网站没有得到索引的谷歌搜索引擎。有些网页是索引的，有些网页没有索引。我怎样才能解决这个问题。请帮帮我们。

浏览 0提问于2016-03-23得票数 -1

1回答

我的网站提供了动态创建的内容，爬虫可以看到，基于以下规范：。这样，谷歌爬虫用以下语法索引了大约5000个： urls 用谷歌的网站管理员工具查看我的抓取报告，我确信这些页面都被成功抓取了。但是，当通过Google进行搜索时，它们不会显示为结果。请注意，我确实找到了我的通用网站，在“更多结果”下，我找到了大约40个动态生成的页面，但显然这不是我想要的。我想根据它们的内容(AAPL，GOOG，...)找到页面。也许，爬虫认为我的页

浏览 3提问于2013-06-09得票数 0

1回答

向特定URL添加noindex标记

symfony、seo、googlebot

我有按钮和链接在我的注册页面，允许我登录到gmail和linkedIn。为了使这些链接不被索引，即使我在robot.txt文件中阻止了它们，它们也已经被索引了。下面是我需要阻止的链接：example.com/connect/linkedin 注意事项：我不想阻止我的注册页面被索引，所以我不在<meta>标签中使用noindex。

浏览 6提问于2022-08-31得票数 0

1回答

使用jQuery在head中添加元标记可以吗？

javascript、jquery、html、seo、meta

我想在HTML页面中有条件地添加元标记，我不确定这样做是否可以或者甚至不使用jQeruy ready。给出了这个例子。

浏览 1提问于2020-01-06得票数 1

3回答

更新sitemap.xml有什么好处？

web、sitemap、web-crawler

与爬虫做他们的工作相比，这样做有什么好处呢？网站地图是一个简单的方式，让网站管理员告知搜索引擎的网页，在他们的网站上，可供爬行。最简单的形式是，Sitemap是一个XML文件，它列出站点的URL以及关于每个URL的附加元数据(最后一次更新它的时间、它通常更改的频率以及它相对于站点中其他URL的重要性)，以便搜索引擎能够更智能地抓取站点目前，我们的系统还没有动态地提供站点地图，所以我们必须用爬虫创建一个站点地图，这不是一个很好的过程。

浏览 1提问于2009-08-28得票数 0

回答已采纳

1回答

索引动态加载页

indexing、web-crawler

Google索引动态加载页面吗？，例如<div id="dynamic_message"></div><div id="dynamic_message">Hello Google

浏览 1提问于2011-01-14得票数 1

6回答

爬虫vs刮板

web-crawler、terminology、scraper

有人能在范围和功能方面区分爬虫和刮板吗？

浏览 0提问于2010-07-09得票数 71

回答已采纳

1回答

403错误爬行页

sitemap、web-crawlers、403-forbidden

我收到了6000多个错误谷歌网站管理员的工具。它显示的是“访问被拒绝”，有人能帮我解决这个问题吗？

浏览 0提问于2012-12-04得票数 0

1回答

React / Express -服务器端呈现如何使用我的动态页面工作

javascript、node.js、reactjs、express、rss

我的应用程序由3个静态页面和1个动态文章页组成。SSR将如何与搜索引擎爬虫工作，以了解我的文章存在？所以，如果我要搜索“我的网站条款”或“我的网站条款栏”，它如何知道这些不同的文章存在？

浏览 2提问于2017-03-01得票数 2

回答已采纳

1回答

如何使用首先需要获取的gatsby添加元标记

reactjs、gatsby、react-helmet

这是一个车辆细节页面，我需要在这些标签中显示车辆的制造和模型，但是这辆车需要首先被安装。我的代码如下： const [detailsMeta, setDetailsMeta</Helmet> </> 在盖茨比配置中，gatsby-plugin-react-

浏览 13提问于2022-04-19得票数 1

点击加载更多