Google Cloud的IP可以被普通用户使用吗？
Google Cloud的IP可以被普通用户使用吗？
提问于 2017-08-03 15:09:51
在经历了几天的大规模攻击后，大多数攻击来自中国，今天我开始从谷歌云IP(他们甚至不遵循robots.txt文件)获得很多命中，我能知道这是谷歌机器人爬虫程序还是人们使用谷歌云IP爬取网站？如果我屏蔽它们会影响我的谷歌排名吗？
Ips列表：
August 3, 2017, 12:00 am - 107.178.194.117 - 6
August 3, 2017, 12:00 am - 107.178.194.96 - 6
August 3, 2017, 12:00 am - 107.178.194.115 - 6
August 3, 2017, 12:00 am - 107.178.194.115 - 5
August 3, 2017, 12:00 am - 107.178.194.96 - 5
August 3, 2017, 12:00 am - 107.178.194.96 - 4
August 3, 2017, 12:00 am - 107.178.194.113 - 12
August 3, 2017, 12:00 am - 107.178.194.113 - 11
August 3, 2017, 12:00 am - 107.178.194.99 - 4
August 3, 2017, 12:00 am - 107.178.194.127 - 5
August 3, 2017, 12:00 am - 107.178.194.117 - 5
August 3, 2017, 12:00 am - 107.178.194.127 - 4
August 3, 2017, 12:00 am - 107.178.194.115 - 4
August 3, 2017, 12:00 am - 107.178.194.127 - 3回答 1
Stack Overflow用户
发布于 2017-08-04 10:31:04
我建议使用谷歌的站长工具：https://www.google.com/webmasters/tools
在“爬虫”部分，你可以确切地看到谷歌爬虫在你的网站上做了什么。
谷歌爬虫，只遵循你已经在你的robots.txt google link设置的路径。下面是一个例子：
#all crawlers
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /[dont-crawl-this-pad]/
#yahoo
User-agent: Slurp
Allow: /
User-Agent: msnbot
Disallow: /如果您怀疑某个ip正在扫描robots.txt中定义的路径之外的站点，您可以毫不犹豫地阻止它，以任何方式您可以使用网站管理员工具了解爬虫程序的状态，从而使您的站点保持定位
希望这些信息能对你有所帮助。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45477214
复制相关文章
相似问题
腾讯云开发者
