修改robots.txt是否立即生效？

文章/答案/技术大牛

发布

1回答

robots.txt、googlebot

为了确认我的猜测，我修改了网站根文件夹中的robots.txt，添加了 Disallow: / 干杯。我有两个网站在不同的服务器上，他们都有这个问题。其中一个在我编辑robots.txt后，CPU使用率下降到正常水平，另一个我从apache访问日志中看到Googlebot仍在运行。所以我去谷歌搜索控制台测试robots.txt。对于第一个问题，我发现谷歌已经发现了最新的robots.txt，并停止在我的网站上爬行；对于第二个问题，谷歌仍在使用旧版本的robots.txt。因此

浏览 68提问于2020-04-05得票数 0

1回答

网络爬虫机器人负载测试我的网站，它失败了测试。

tomcat、robots.txt

改变robots.txt不会立即产生效果。他们会立即停止80条腿吗？它使用不同的ip。

浏览 0提问于2012-06-13得票数 0

回答已采纳

1回答

注释掉网站管理员的链接显示

robots.txt、crawl-errors、sitelinks

当我启动我的新网站时，我把链接放在了脚注中，但是通过添加以下代码而不允许链接到robots.txt： <?php /*?

浏览 0提问于2014-09-23得票数 1

2回答

Robots.txt无法工作，因为我的网站仍然可以搜索

php、html、robots.txt

我在服务器上放了一个robots.txt User-agent: *我只想我的整个网站不会在谷歌搜索。这应该立即生效吗？不然呢？任何想法都会得到极大的赞赏和奖励！谢谢！:)

浏览 0提问于2011-12-09得票数 1

3回答

注册的域名信息地区修改有的可以立即生效有的没反应？

域名注册

注册的域名信息地区修改有的可以立即生效有的没反应

浏览 745提问于2017-09-12

1回答

套餐升级后是否立即生效？

想问下，套餐升级后是否立即生效？

浏览 7599提问于2017-07-25

1回答

如何在修改Windows上的配置文件后重新加载TortoiseSVN的设置？

svn、tortoisesvn

我想让这些修改奏效。如何通过不重新启动整个系统来重新加载它们？

浏览 3提问于2013-11-29得票数 1

回答已采纳

3回答

Google Crawler时间限制

restriction、googlebot

有没有人知道，这是可能的设置任何属性，以便通知googlebot只是来爬行网站在特定的一天或时间段(例如。仅在周末)？

浏览 4提问于2009-07-07得票数 0

1回答

将/ Windows设置为在Socks5中使用C#代理

c、internet-explorer、proxy、socks

我正在创建一个SSH隧道应用程序，需要能够自动强制系统使用HTTP和Socks5代理，并使更改立即生效。现在，很好地处理了HTTP代理，但我不知道如何对SOCKS5做同样的事情。我已经尝试过强迫注册表中的更改，但它们不会立即生效，而且它只是不可靠。在大多数情况下，在设置生效之前，我必须打开internet选项> lan设置，因此用户可以在此之前手动设置代理。如果我能修改poshHTTP来做到这一点，那就太棒了，但我并没有太高的期望。请帮忙..。在发帖前，我已经疯狂搜索了好几天，但

浏览 3提问于2012-01-12得票数 0

2回答

使用C#将Internet Explorer/Windows自动设置为使用Socks5代理

c#、http、sockets

我正在制作一个SSH隧道应用程序，需要能够自动强制系统使用HTTP和Socks5代理，并使更改立即生效。SOCKS5代理现在已经被完美地处理了，但是我不知道如何用HTTP来做同样的事情。我已经尝试在注册表中强制更改，但它们不会立即生效，而且也不可靠。在大多数情况下，我必须打开internet选项> lan设置才能使设置生效，所以用户可能已经手动设置了代理。如果我能通过修改poshHTTP来实现这一点，那就太棒了，但我对此并不抱太高的期望。

浏览 0提问于2012-01-15得票数 1

回答已采纳

2回答

Android如何重新启动活动

java、android、android-activity、view

(没有destroy or create)我找不到任何与此相关的问题，所有其他类似的问题都涉及到重新绘制整个活动。

浏览 2提问于2014-09-11得票数 2

回答已采纳

2回答

为什么对/etc/主机的更改会立即生效？

networking、hosts

对/etc/hosts文件的更改似乎立即生效。我对实现很好奇。使用什么魔法来实现这一功能？问Ubuntu:修改/etc/主机之后，哪些服务需要重新启动？

浏览 0提问于2019-06-25得票数 21

回答已采纳

2回答

静态内容在项目重新启动之前不会更新- Spring Boot & Eclipse

java、eclipse、spring、tomcat、spring-boot

每当我在Eclipse中修改html页面时，所做的更改都会在刷新后立即生效。现在，直到我重新启动整个Spring Boot项目，这些更改才会生效。

浏览 11提问于2016-09-01得票数 0

1回答

是oracle中可修改的分布式锁超时值。

oracle、oracle11g、distributed-transactions

在这个链接中它说可以修改:不，但是值的范围是1到无限的。那么，如果它是不可修改的，它有一个范围意味着什么？

浏览 6提问于2013-09-24得票数 1

回答已采纳

1回答

如何使用ApacheNutch2.2.1绕过robots.txt

java、nutch、robots.txt、web-crawler

有谁能告诉我apache在爬行时是否有任何方法可以忽略或绕过robots.txt。我用的是nutch 2.2.1。我发现"RobotRulesParser.java"(full RobotRulesParser.java RobotRulesParser.java)负责读取和解析robots.txt。有没有办法修改这个文件以忽略robots.txt并继续爬行？或者还有其他方法来实现同样的目标？

浏览 4提问于2014-06-05得票数 0

回答已采纳

1回答

强制修改aria隐藏在移动Safari上立即生效

iphone、mobile-safari、accessibility、voiceover、wai-aria

我正在用CSS3用HTML创建一个基本菜单。单击div时，相邻列表将使用CSS转换展开或收缩。例如： ul { overflow: hidden;</style><ul style="height: 0" aria-hidden="true"></ul> 在点击div时，

浏览 2提问于2012-02-12得票数 3

回答已采纳

1回答

如何防止在生产环境中编辑React.js代码？

javascript、reactjs、authorization

=== "GLOBAL_ADMIN") { } else { }由于此代码不调用API来检查用户是否真的拥有此声明，攻击者是否可以只打开chrome开发人员工具并修改代码，使其如下所示： let claims = this.getUserInfo我可以在开发环境中使用可用的源图完成上述操作，但不能在生产环境中完成，因为构建不包括源图，我能够修

浏览 2提问于2018-10-08得票数 0

1回答

如果我第一次应用本地组策略，为什么在重新启动机器之前它不会生效？

windows、active-directory、group-policy

我应用了本地组策略(计算机配置-软件限制策略)，但策略没有生效。我在域成员(计算机是与域控制器相关的机器)和工作组机器上尝试过这一点。但是在我重新启动机器一次之前，策略是不会生效的。在策略被应用之后，如果我修改了任何规则或者添加了其他规则，它们就会立即生效，为什么会这样呢？可以在不重新启动的情况下应用本地组策略吗？

浏览 0提问于2015-03-01得票数 0

3回答

robots.txt是否适用于子域？

robots.txt

假设我有一个测试文件夹(test.domain.com)，并且我不希望搜索引擎在它中爬行，我需要在测试文件夹中有一个robots.txt，还是只需要在根中放置一个robots.txt，然后就不允许这个测试文件夹

浏览 5提问于2013-11-28得票数 21

回答已采纳

2回答

mitmproxy:是否必须将代理服务器设置为本地？

python、proxy

为了使用mitmproxy，我是否必须将我的代理设置为localhost，或者当我启动它时mitmproxy是否立即生效？

浏览 1提问于2012-03-02得票数 1

点击加载更多