Drupal 8-如何阻止搜索引擎读取或索引特定的内容类型(资源)
在Drupal 8中，可以通过以下几种方式阻止搜索引擎读取或索引特定的内容类型：
- 使用Robots.txt文件：在网站的根目录下创建一个名为"robots.txt"的文件，并在其中添加以下内容：
User-agent: *
Disallow: /node/[content-type]其中[content-type]是要阻止搜索引擎索引的特定内容类型的机器名。例如，如果要阻止搜索引擎索引"article"内容类型，可以将上述内容修改为：
User-agent: *
Disallow: /node/article这将告诉搜索引擎不要访问和索引包含"/node/article"路径的页面。
- 使用Meta标签：在特定内容类型的页面模板文件中，可以添加以下Meta标签来告诉搜索引擎不要索引该页面：
<meta name="robots" content="noindex">将上述代码添加到特定内容类型的页面模板文件中，可以阻止搜索引擎索引该页面。
- 使用模块：Drupal 8还提供了一些模块，可以帮助阻止搜索引擎索引特定的内容类型。例如，"Metatag"模块允许您为每个内容类型设置Meta标签，包括noindex指令。您可以在Drupal官方模块库中找到并了解更多关于这些模块的信息。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器CVM：https://cloud.tencent.com/product/cvm
- 云数据库MySQL：https://cloud.tencent.com/product/cdb_mysql
- 云安全中心：https://cloud.tencent.com/product/ssc
- 人工智能平台AI Lab：https://cloud.tencent.com/product/ai
- 云存储COS：https://cloud.tencent.com/product/cos
- 区块链服务BCS：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙：https://cloud.tencent.com/solution/virtual-universe
相关·内容
2回答
Drupal 8-如何阻止搜索引擎读取或索引特定的内容类型(资源)
search-engine、drupal-8
我不想在google搜索结果中看到资源内容类型节点。 我知道，如果我必须限制任何特定的内容，我可以在robots.txt中添加URL。但是，如何才能限制Drupal8中某个特定内容类型的所有节点不被google等搜索引擎抓取？
浏览 32提问于2020-08-18得票数 0
1回答
Django能提供与我当前Drupal站点相同的功能吗？
django、drupal
我在Drupal建立网站，其中包括：-Aggregate提要和映射到类别、标记-Ping搜索引擎的新内容，马季奇等。查看-When内容，将其发布到首页。-When内容发布在头版，派平到搜索引擎，平-马季奇等.-Import到特定类别，特定内容类型
Django能这么做吗？
浏览 8提问于2010-11-20得票数 2
1回答
我可以为特定的子域创建特定的htaccess规则吗？
regex、apache、.htaccess、mod-rewrite、web-crawler
我有一个Drupal站点，它使用域访问模块从一个Drupal安装托管多个站点，因此站点只有一个htaccess文件和一个robots.txt文件。
我不想有几个被搜索引擎爬行的子网站。根据我对robots.txt的理解，它不能用于这类事情，所以如果搜索引擎机器人试图访问我服务器上的特定域，我希望阻止它们。我找到了这个用于阻塞机器人的htaccess片段，但是我如何添加逻辑，使其只在访问特定<
浏览 1提问于2013-12-02得票数 1
回答已采纳
1回答
如何防止搜索引擎对特定内容类型的所有节点进行索引？由于内容类型不允许特定的URL结构，因此我不能为此使用robots.txt。
浏览 0提问于2022-11-20得票数 0
回答已采纳
2回答
为垂直搜索引擎开发爬虫和爬行器
search、screen-scraping、search-engine、web-crawler
我需要开发一个垂直搜索引擎作为网站的一部分。搜索引擎的数据来自特定类别的网站。我想我需要一个爬虫来抓取几个(几百个)站点(在一个特定的业务类别中)，并提取产品和服务的内容和urls。其他类型的页面可能无关紧要。大多数网站都很小或很小(最多只有几百个页面)。产品有10到30个属性。
任何关于如何编写这样的爬虫和提取器的想法。我使用
浏览 3提问于2009-07-05得票数 6
1回答
Drupal 7系统通过规则模块重定向
redirect、drupal-7
我希望有人能够确切地说明Drupal 7的规则模块在执行系统重定向时所做的事情。我创建了一个规则(通过Drupal 7中的rules模块)，它在访问特定内容时执行重定向。规则似乎没有生成apache重定向，规则模块也没有指定它正在执行的重定向类型(301、302等)。最终，我担心的是在隐藏的搜索引擎上遇到麻烦。
谢谢您事先提供的任何澄清！
浏览 1提问于2012-07-03得票数 0
2回答
使用路径别名时，如何删除默认节点路径？
8、path-aliases
添加路径别名时，如何删除Drupal 8中的系统路径(/node/nid)，以避免谷歌对页面进行两次索引？
浏览 0提问于2018-08-12得票数 2
1回答
有些搜索引擎(在我的例子中是yandex)希望我能输出带有图像/x图标类型的图标。
但是drupal 7没有这种类型输出它。我如何通过template.php或任何其他建议来覆盖这一点？谢谢!
浏览 0提问于2012-05-16得票数 2
回答已采纳
2回答
如何使用asp.net mvc3和c#构建网络爬虫？
asp.net-mvc-3、lucene、web-crawler、lucene.net、robots.txt
我需要建立一个小的搜索引擎，如谷歌使用ASP.NET MVC3。对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：
如何使用Asp.net MVC3和C#构建网络爬虫。我开始建立一些基本的，但我需要一些指南，资源和书籍。使用这个网络爬虫，我轮询搜索引擎的数据，并使用Lucene.Net对数据应用索引。我需要建立小型搜索引擎，搜索由网络爬虫填充<em
浏览 8提问于2012-11-14得票数 2
2回答
更改外部CSS版本(和名称)对SEO的影响
seo、googlebot、css、404
我的一个网站使用了一个WordPress插件来缩小CSS。插件在样式表的每次更新中重新生成CSS文件。这样做时，插件还会更改CSS文件的版本和名称。如果Google爬虫试图根据以前缓存的HTML页面的信息查找较早版本的CSS，则返回404。这会影响SEO吗？
浏览 0提问于2018-08-05得票数 1
1回答
浏览器如何识别视频？
html、video
搜索引擎如何识别视频？img标记具有alt属性：链接标签的标题是：甚至连嵌入的YouTube都没有：
<iframe width="560" height="315&q
浏览 1提问于2017-07-21得票数 0
回答已采纳
1回答
构建一个搜索特定类型内容的搜索引擎？
elasticsearch、search、solr、search-engine
我希望建立一个搜索引擎，返回来自互联网的特定类型内容的结果:文章、博客、视频和播客。问题是，有什么可行的方法来解决这个问题？我考虑过用Solr或弹性搜索来构建搜索引擎，但这看起来是一项巨大的工作.我也看过，但是看起来它可能很快就会变得昂贵，我不确定您是否能够只为特定的内容类型过滤结果？
解决这个问题的方法是什么？如果我从头开始建
浏览 1提问于2020-10-14得票数 1
回答已采纳
2回答
SEO:分页/标记/索引页导致的重复内容
seo、search-engine-indexing、noindex
可能重复: 什么是重复的内容，我如何避免它在我的网站上受到惩罚？NoIndex是否足够，还是有其他方法？是否应该将站点的索引页标记为NoFollow？听起来不太好。
浏览 0提问于2010-09-17得票数 3
回答已采纳
1回答
Drupal 6搜索功能也能索引块内容吗？
blocks、search
我有一个网站，其中的大部分内容已输入块，而不是网页，文章或博客。然后，这些块就可以显示在特定的页面上，从而为站点创建了所需的效果。但是，作为添加到这些块中的内容，Drupal的搜索功能将找不到包含该内容的页面。
是否有任何选项来调整搜索引擎的功能为这样的东西？是否有可用于自定义搜索结果的钩子？
浏览 0提问于2012-10-25得票数 1
回答已采纳
2回答
以每页为基础将页排除在索引之外
search
我希望能够从搜索引擎(外部和drupal)中删除页面。我希望在内容类型上添加一个复选框，以便能够指定应该或不应该索引的页面。我的计划是，如果选中复选框，则通过hook_node_save进行检查，如果选中，则编辑robots.txt，通过提供的url添加不允许的内容。如果未选中该框，则将其从robots.txt中删除。有人有更好的解决方案吗？
谢谢,
浏览 0提问于2015-01-12得票数 3
1回答
我应该使用哪个模块/核心函数来显示webform结果？
user-interface、drupal-7、drupal-webform
在我的Drupal7站点中，用户将填写一个表单。经过一番搜索，我发现Webform非常容易创建表单。我创造了一个。
当用户提交表单时，一个php文件将查询MySQL数据库并查找相关记录。我的问题是，哪个模块或核心函数适合用漂亮的对象轻松地显示这些结果？
浏览 0提问于2011-11-15得票数 1
回答已采纳
2回答
通过WDSL查询web服务
7、nodes、search、services
我正在考虑使用Drupal 7为一个特殊用例创建一个搜索引擎前端。模块目录中有一些模块，以及类似于在Drupal 7中使用服务的问题，但我仍然感到困惑。如何完成从外部数据集到动态Drupal节点的映射？对于通过服务的WSDL接口检索的每一个数据集，我都需要在Drupal中创建一个节点、一个块或任何可显示的内容。
这在Drupal的</em
浏览 0提问于2013-05-09得票数 1
1回答
在htaccess中重写URL时是否添加.html？
.htaccess、url、url-rewriting、seo、rewrite
我正在重写我网站上所有以.php和/或动态URL结尾的URL，以便它们是静态的，对搜索引擎更友好。www.example.com/view-profileswww.example.com/view-profiles.html
?？?有没有人知道搜索引擎是喜欢这样还是那样呢
浏览 0提问于2010-12-30得票数 3
回答已采纳
1回答
如何阻止心跳模块记录特定内容类型的节点更新活动？
blocks
如何阻止心跳模块记录特定内容类型的节点更新活动？心跳模块似乎正在记录此事件并创建一个新的活动。在Drupal中，此活动显示在一个称为“最近活动”块中。我们希望避免将“表决”内容类型的</
浏览 0提问于2011-10-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
