blocks|key|1384745|text|为什么？|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1384746|任何做坏事的人(例如，收集电子邮件地址来发送垃圾邮件)都会忽略robots.txt。所以你只会屏蔽合法的搜索引擎，因为遵守robots.txt是自愿的。|1384747|但是--如果你坚持这样做的话--这就是robots.txt中User-Agent:行的作用。|offset|length|style|CODE|1384748|User-agent:+googlebot
Disallow:+

User-agent:+*
Disallow:+/|code-block|syntax|javascript|1384749|当然，还有你想要流量的所有其他搜索引擎的队列。Robotstxt.org有一个部分列表。|1384750|entityMap|0|LINK|mutability|MUTABLE|url|http://www.robotstxt.org/^0|0|0|U|B|0|0|N|D|0|0^^$0|@$1|2|3|4|5|6|7|Y|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|Z|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|10|8|@$F|11|G|12|H|I]]|9|@]|A|$]]|$1|J|3|K|5|L|7|13|8|@]|9|@]|A|$M|N]]|$1|O|3|P|5|6|7|14|8|@]|9|@$F|15|G|16|1|17]]|A|$]]|$1|Q|3|-4|5|6|7|18|8|@]|9|@]|A|$]]]|R|$S|$5|T|U|V|A|$W|X]]]]

Why?

Anyone doing evil (e.g., gathering email addresses to spam) will just ignore robots.txt. So you're only going to be blocking legitimate search engines, as robots.txt compliance is voluntary.

But — if you insist on doing it anyway — that's what the <code>User-Agent:</code> line in robots.txt is for. 

<pre><code>User-agent: googlebot
Disallow: 

User-agent: *
Disallow: /
</code></pre>

With lines for all the other search engines you'd like traffic from, of course. <a href="http://www.robotstxt.org/" rel="noreferrer">Robotstxt.org</a> has a partial list.

blocks|key|1599676|text|众所周知，robots.txt是爬虫必须遵守的标准，因此只有行为良好的代理才会这样做。所以，放不放都无关紧要。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1599677|如果您有一些数据，但您没有显示在网站上，您只需更改权限并提高安全性。|1599678|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

As everyone know, the robots.txt is a standard to be obeyed by the crawler and hence only well-behaved agents do so. So, putting it or not doesn't matter.

If you have some data, that you do not show on the site as well, you can just change the permission and improve the security.

blocks|key|1599751|text|根据你所说的国家不同，有超过3个主要的搜索引擎。Facebook似乎做得很好，只列出了合法的网站：https://facebook.com/robots.txt|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1599752|所以你的robots.txt可以是这样的：|1599753|User-agent:+Applebot
Allow:+/

User-agent:+baiduspider
Allow:+/

User-agent:+Bingbot
Allow:+/

User-agent:+Facebot
Allow:+/

User-agent:+Googlebot
Allow:+/

User-agent:+msnbot
Allow:+/

User-agent:+Naverbot
Allow:+/

User-agent:+seznambot
Allow:+/

User-agent:+Slurp
Allow:+/

User-agent:+teoma
Allow:+/

User-agent:+Twitterbot
Allow:+/

User-agent:+Yandex
Allow:+/

User-agent:+Yeti
Allow:+/

User-agent:+*
Disallow:+/|code-block|syntax|javascript|1599754|entityMap|0|LINK|mutability|MUTABLE|url|https://facebook.com/robots.txt^0|1D|V|0|0|0|0^^$0|@$1|2|3|4|5|6|7|S|8|@]|9|@$A|T|B|U|1|V]]|C|$]]|$1|D|3|E|5|6|7|W|8|@]|9|@]|C|$]]|$1|F|3|G|5|H|7|X|8|@]|9|@]|C|$I|J]]|$1|K|3|-4|5|6|7|Y|8|@]|9|@]|C|$]]]|L|$M|$5|N|O|P|C|$Q|R]]]]

There are more than 3 major search engines depending on which country you are talking. Facebook seem to be doing a good job listing only legitimate ones: <a href="https://facebook.com/robots.txt" rel="nofollow noreferrer">https://facebook.com/robots.txt</a> 

So your robots.txt can be something like:

<pre><code>User-agent: Applebot
Allow: /

User-agent: baiduspider
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Facebot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: msnbot
Allow: /

User-agent: Naverbot
Allow: /

User-agent: seznambot
Allow: /

User-agent: Slurp
Allow: /

User-agent: teoma
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: Yandex
Allow: /

User-agent: Yeti
Allow: /

User-agent: *
Disallow: /
</code></pre>

Is there a way to configure the robots.txt so that the site accepts visits ONLY from Google, Yahoo! and MSN spiders?

Robots.txt: allow only major SE

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

有没有办法配置robots.txt，使网站只接受来自谷歌，雅虎！还有MSN蜘蛛呢？

问Robots.txt:仅允许主SE
EN

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Robots.txt:仅允许主SEEN