如何让Googlebot抓取从AJAX加载的内容，同时防止它索引URL命中？

要让Googlebot抓取从AJAX加载的内容，同时防止它索引URL命中，可以采取以下方法：

使用预渲染技术：预渲染是指在服务器端生成完整的HTML页面，并将其提供给搜索引擎爬虫。这样，当Googlebot访问网页时，它会直接获取到完整的内容，而不需要执行AJAX请求。可以使用Prerender.io等预渲染服务，或者自行实现预渲染的服务器端逻辑。
使用动态URL重写：将AJAX加载的内容通过URL重写的方式暴露给搜索引擎爬虫。可以通过将AJAX请求的URL转换为静态URL的方式，使得Googlebot可以直接访问到对应的内容。这样可以避免Googlebot无法获取到AJAX加载的内容的问题。
使用HTML5的History API：通过使用HTML5的History API，可以在URL中添加历史记录，同时更新页面内容，而不会导致页面的完全刷新。这样，当Googlebot访问网页时，它会获取到完整的HTML页面，并能够正确解析其中的AJAX加载内容。
使用XML Sitemap：在网站的XML Sitemap中添加AJAX加载内容的URL。这样，即使Googlebot无法直接抓取AJAX加载的内容，它仍然可以通过XML Sitemap中提供的URL找到并索引这些内容。

需要注意的是，以上方法仅适用于Googlebot，其他搜索引擎的爬虫可能不支持或不遵循相同的规则。此外，为了防止Googlebot索引到不应被索引的URL，可以通过robots.txt文件或meta标签中的noindex指令来指定不希望被索引的URL。

腾讯云相关产品和产品介绍链接地址：

预渲染服务：https://cloud.tencent.com/product/prerender
URL重写服务：https://cloud.tencent.com/product/urlrewrite
XML Sitemap生成工具：https://cloud.tencent.com/product/sitemap

页面内容是否对你有帮助？

有帮助

没帮助

动态加载的内容在网页上没有识别的关键字密度检查-谷歌做同样的，我能修复它吗？

seo、ajax、jquery

上下文我有个网站。在我的页面上，用户可以创建文章。他们填了一张表格，上面写着他们的文章，文章放在我的数据库里。还有一个页面，当用户访问页面时，使用jQuery和AJAX动态加载用户的文章(以及他们的文章标题)。我目前工作在我的搜索引擎优化-具体而言，关键字密度。我去了一个关键词密度计算器(https://www.webfx.com/tools/keyword-density-checker/ -我也使用了http://tools.seobook.com/general/keyword-density/)，并把一个用户在我的网站(https://www.writingboxco.com/re

浏览 0提问于2021-08-01得票数 2

回答已采纳

2回答

为什么谷歌不索引我的"robots.txt"？

robots.txt、googlebot、sitemap.xml

我正在尝试允许谷歌机器人网络爬虫来索引我的网站。我的robots.txt最初看起来是这样的： User-agent: * Disallow: / Host: www.sitename.com Sitemap: https://www.sitename.com/sitemap.xml 我把它改成了： User-agent: * Allow: / Host: www.sitename.com Sitemap: https://www.sitename.com/sitemap.xml 只有谷歌还没有索引我的链接。

浏览 14提问于2018-10-06得票数 1

1回答

正确地将机器人请求重定向到网站的静态版本

.htaccess、redirect、seo、bots

我有问题，让我的网站索引正确的谷歌。我的文件夹结构如下所示： root - cms - www example.com指向.htaccess将所有请求路由到/www的根： RewriteEngine on RewriteRule ^(.*)$ /www/$1 [L] 前端 /www内部的Angular前端通过REST api从/cms获取数据。到目前一切尚好。我想要实现的是机器人不会在我的ajaxified /www页面中爬行，而是在/cms中爬行，我在其中打印出与/www中的URL结构相对应的静态内容。静态内容的URL： /www/test1 ->通过REST输出很好的内容

浏览 2提问于2015-02-02得票数 1

2回答

处理AJAX站点的散列URL的更好方法

javascript、ajax、html、back-button、history.js

除非这是HTML5，当AJAX加载额外的页面时，我可以很容易地使用history.pushState()来操作URL，否则我发现在URL地址栏中处理用散列标记注册的页面是不方便的。例如，页面item1.html被加载。用户单击next item -使用AJAX加载item2.html页面。在浏览器中将地址更改为item1.html#item2.html。现在，当用户将此URL发送给朋友或将其加入书签时，我希望确保item2.html已加载。方法1) JavaScript会将URL item1.html#item2.html重定向到item2.html。缺点:在重定向之前，item1.ht

浏览 2提问于2011-11-05得票数 1

回答已采纳

1回答

谷歌搜索:去掉Hash-Bang索引页面

google-search、hashbang

我怎样才能摆脱Hash索引页面上的谷歌搜索？大约在2010年，我制作了一个网站，它使用了Ajax加载的内容，并在URL中使用了Hash-Bang。例：http://example.com/#!98_153 这是2010年谷歌推荐的让谷歌抓取所有内容的方法。 12年后，在2022年，这个网站被完全重新启动。URL看起来(用户阅读友好)类似于现在是http://example.com/publications/my-first-book。有一个robots.txt文件。还有一个sitemap.xml。此外，在新网站上还有一个谷歌标签管理器。谷歌仍然在用Hash展示那些旧的URL。我该怎

浏览 3提问于2022-09-08得票数 1

4回答

识别搜索引擎爬行器

ajax、web、web-crawler

我在一个网站上工作，通过AJAX加载其数据。我也希望整个网站可以被谷歌和雅虎这样的搜索引擎抓取。我想做2个版本的网站…1当用户访问时，超链接应该像GMAIL一样工作(#'ed超链接)2当爬虫访问时，超链接应该正常工作(关闭AJAX模式) 我如何识别爬虫？？

浏览 1提问于2010-09-17得票数 1

回答已采纳

1回答

Web爬虫是否模拟用户行为？

seo、google-search-console、web-crawlers、googlebot

正确地构造网页的内容或模式对于搜索引擎优化是非常重要的。我想知道是否流行的网络爬虫或机器人(谷歌机器人，宾博特等)能够模拟用户行为并对页面进行相应的索引。例如，如果我有一个带有隐藏子菜单的导航菜单，则只有当用户在主菜单项上执行某项操作(例如鼠标切换)时，该菜单才会可见。机器人也会这么做吗？这些子菜单项或隐藏链接会被编入索引吗?还是仅仅包含在sitemap.xml中就足够了？我还想知道爬虫是在等待document.ready还是window.load。请指点我。

浏览 0提问于2016-07-22得票数 0

4回答

爬虫能识别jQuery更改过的页面标题吗？

php、jquery、html、web-crawler、title

在一个项目中，我试图在<body>标签中获取数据。所以我不能在标题中回显任何东西，因为我还没有获取任何东西。我想在页面加载了jQuery之后更改<title>标签。爬虫会理解这一点吗?当它们索引页面时，它们会使用我在jQuery中提供的标题吗？

浏览 0提问于2012-04-24得票数 0

回答已采纳

1回答

我应该从我的sitemap.xml中排除我的'noindex，no追随者，noarchive‘页面吗？

html、seo、sitemap

我有一些法律网页在我的网站上，我排除与<meta name="robots" content="noindex, nofollow, noarchive">。主要目标是这些页面不会出现在搜索引擎中。我是否需要从我的sitemap.xml中排除它，还是元标记就足够了。如果没有，我为什么要把它包括进去？

浏览 1提问于2018-06-29得票数 1

回答已采纳

3回答

history.js +谷歌

javascript、ajax、history.js、hashbang

让我们来谈谈google的AJAX抓取：由于是丑陋的 urls的一个很好的替代方案，我想知道一个确定的问题:对于HTML5浏览器，如果ajax-content被加载并且应该被谷歌索引，那么就会创建好的urls。对于非HTML5浏览器(例如，IE9不支持history.pushState)，使用旧的hashbang。那么google看到的是哪个版本呢？谷歌会不会看到重复的内容(一次使用漂亮的url，一次使用hashbang)？感谢您对此的任何想法。

浏览 6提问于2012-12-06得票数 5

1回答

重构URL的不相关部分如何影响SEO？

seo、googlebot、web-crawlers、url-rewriting

我是搜索引擎优化的新手，不知道google爬虫到底是如何工作的如果我对URL使用以下格式： example.com/category/id/name 页面的内容仅由id部分加载，URL的其他部分用于SEO。无论我在类别或名称中输入了什么，只要id是正确的，页面仍然会加载。这将如何影响谷歌机器人的爬行？我只希望它用正确的类别和名称索引一个id。如果我为每个id在sitemap.xml中放置一个url，会有帮助吗？当我根据id获取数据时，我可以找到正确的类别和名称。如果我发现它们不正确，我可以设置一个重定向： if(url !== "example.com/incorrect-ca

浏览 0提问于2020-04-26得票数 1

1回答

Angular & SEO -最新的最佳实践是什么？

angularjs、search、seo、search-engine、search-engine-bots

我有一个角度的应用程序，现在正在考虑微调搜索引擎优化的目的。看了一大堆文档和教程后，我感到非常困惑！我知道在过去你必须使用预渲染服务。但后来谷歌更新了它的机器人，以便更好地抓取JavaScript。考虑到这一点，我看不出现在改进爬虫和索引的最佳实践是什么？我目前的设置是，我有一个站点地图，并且已经将我的URL从!.转换为#!，而且我还没有启用html5模式。

浏览 6提问于2015-08-27得票数 2

3回答

我能保护我的sitemap.xml以便只有搜索引擎才能下载它吗？

iis、windows-firewall、seo、sitemap

我正计划在我的站点地图中添加一堆聚集的页面列表，我不想让局外人太容易抓取。我能保护我的sitemap.xml以便只有搜索引擎才能下载它吗？安装防火墙？我在用IIS6。

浏览 0提问于2009-12-14得票数 1

回答已采纳

4回答

使用HTML5模式路由在AngularJS站点上爬行谷歌机器人

html、angularjs、nginx、seo、googlebot

我们有一个使用HTML5路由的AngularJS站点。我刚刚做了一些测试，"Fetch as Google“运行。结果有点令人困惑：在fetching选项卡上，我看到我们的网站在查看源代码时，所有的前端绑定{{ }}，而不是渲染选项卡上所有的HTML渲染的，我们的网站看起来非常好，没有{{ }}变量，看起来像谷歌机器人读取并渲染了网站很好，这可能符合这个，。然而，我们已经为谷歌无法抓取我们的网站做好了准备，所以我们已经添加了，所以谷歌机器人用“？_escaped_fragment_=”重新访问了我们的页面。我们遵循了这个， ( "3.处理没有散列片段的页面“一节)。在我们的

浏览 60提问于2014-06-27得票数 17

1回答

没有分页URL的分页-这对SEO有害吗？

seo、url、javascript、pagination、react-js

我读过几篇关于分页陷阱的文章，但没有一篇能真正描述我的处境。我有一个产品页面与ReactJS呈现约300个产品和分页(我也使用服务器端渲染的SEO原因)。只呈现20个产品，而分页只呈现下20个产品。但是，在分页时，URL不会更改。我在想，这对SEO一般都不好吗？我将将所有单独的产品页面添加到sitemap.xml中，因此它们将被编入索引，但我想，除非googlebot能够计算出我的分页按钮是用于分页的，否则它只会看到前20个产品。这对最大化果汁有坏处吗？我不确定，因为通常分页页无论如何都是没有索引的。在我的情况下，在分页按钮上使用link rel=prev和link rel=next是否

浏览 0提问于2019-06-18得票数 1

回答已采纳

1回答

如何将正则表达式添加到Sitemap.xml中？

regex、sitemap

我不想让机器人知道应该解析{any_num} uri。下面是我的站点地图代码的当前部分。 <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://my-site.com/example/</loc> <lastmod>2016-12-14</lastmod> <changefreq>weekly</changefreq&g

浏览 2提问于2016-12-14得票数 1

回答已采纳

2回答

阻止匿名用户(未注册用户)的某些命名空间网页

seo、mediawiki

对于每个普通受众网页(即任何主名称空间页面，如文章页或类别:页)，MediaWiki内容管理系统创建大约10或100或1,000个(如果不是更多的话)网页(链接页、修订页、修订-差异页等)。对我来说，这是一个严重的SEO问题。 MediaWiki没有任何核心，甚至是非核心的快速方式锁定所有这些外围网页(因为没有更好的术语)注册用户，所以自然任何人，包括谷歌爬虫，都会抓取他们。这可以轻松完成为该网站分配的爬行预算。使用一些残酷的robots.txt指令(如下面的代码)来阻止这些页面是很好的，但是robots.txt阻塞本质上只是“咨询”。指令可能会过时；指令不一定会影响所有搜索引擎；以下指令对

浏览 0提问于2022-04-11得票数 5

3回答

站点地图索引文件可以引用不同域下的站点地图文件吗？

seo、sitemap、search-engine-indexing、multiple-domains、xml-sitemap

我的公司拥有几个域名。我们也在他们的自定义域为我们的用户提供网站。我们的域名： company.com product1.com product2.com 用户域： user1.com user2.com 目前，我们将XML文件存放在所有用户网站(例如http://www.user1.com/sitemap.xml)的根目录下。这些站点地图文件包含该用户网站的所有URL。为了改进我们的用户网站的搜索引擎索引，我们希望在company.com根目录下托管一个高级别的站点地图索引文件，其中列出了我们所有的用户(最好是我们的产品)网站的sitemap.xml文件。所以就像这样： http://

浏览 0提问于2013-05-06得票数 7

2回答

服务器端呈现一个必须有一个良好的SEO一个反应网站？

seo、react-js、server-side-rendering

现在我在我的网站上使用ReactJS，并且想知道更改服务器端呈现(NextJS)是否会影响我的搜索引擎排名？我尝试了一些工具，会给你的网站一个"SEO评分“。似乎他们的爬虫给我的网站一个不好的评分，因为客户端渲染。那么，如果我将从客户端呈现更改为服务器端呈现，它真的会影响我的SEO吗？即使它是最小的。我知道这里已经有(仅用于搜索引擎的服务器端呈现(SEO))关于服务器端呈现的问题，但是它没有回答我的直接问题。我也一直在读关于它的不同的东西。

浏览 0提问于2020-07-07得票数 1

3回答