当google和bing在magento站点上爬行时，如何降低CPU利用率？
我已经面对一个奇怪的情况有一段时间了，需要一个指导。
问题:与我们启动服务器时相比，过去两天以来，经历了一个非常慢的网站。我们以为这是性情问题。但是现在，它变得非常慢&一个页面至少需要3分钟才能加载。我还检查了CPU的利用率是否达到了100%，并相信爬行可能会做到这一点。
我们正在使用一些第三方做我们的搜索引擎优化和谷歌动态再营销和我们的magento网站广告。我坚信，这些东西需要爬行我的网站上的索引搜索引擎。
我见过谷歌和必应定期爬行我们的网站。你可以把它叫做谷歌机器人和必应机器人，突然之间，它出现了最大的增长。
看了一下截图： https://www.dropbox.com/s/2c4u04rhtbi99j0/Screenshot%202015-11-14%2014.16.41.png?dl=0
同时，必应和谷歌造成了最大的增长，而规模较小的似乎只有谷歌机器人。
所以我刚问了个问题？
你们是否认为如果一个bot IP被白名单化，我们会不会对SEO和google的广告和动态再营销有问题，因为这样我们的网站就不会允许这个IP爬行了？
这是一个垃圾邮件或机器人爬行我们的商店，这导致商店响应时间减少，这会影响搜索引擎排名和转换在我们的商店？？
大实例类型的AWS能够帮助我们解决CPU使用问题吗？注意到：我们已经在使用m3.大型实例类型了。
回答 1
Stack Overflow用户
发布于 2017-01-03 17:41:51
这是一个垃圾邮件或机器人爬行我们的商店，这导致商店响应时间减少，这会影响搜索引擎排名和转换在我们的商店？？
机器人和爬虫可以为单个magento服务器带来可持续的流量和资源激增。不管有什么地方可以提高magento的性能，比如:magento的默认缓存、nginx或apache设置、安装的扩展等等.
一个大型的AWS实例类型能帮助我们解决CPU使用问题吗？注意:我们已经使用了m3.大型实例类型。
当然--一个可钻的t2.大型实例可能更符合成本效益，并且可以更好地处理像机器人造成的交通高峰。只要你有一个半可预测的交通模式。就像白天流量更高，夜间流量更低一样，实例将获得可以用于超出正常CPU容量的积分--请参阅下面的详细说明：
https://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instances/
我看到的最大帮助是为magento配置了一个适当的robots.txt，它确保爬虫被定向到正确的位置，确保您的服务器只需要提供它需要的页面。这篇文章是一个很好的起点：
https://magento.stackexchange.com/questions/14891/how-do-i-configure-robots-txt-in-magento
在谷歌和必应的网站管理员工具，一旦你验证你的域名，你可以改变爬行率，如果必要的。
您还可以使用Nginx实现推荐垃圾邮件阻塞(请参阅：
https://stackoverflow.com/questions/33716322
复制相似问题
腾讯云开发者
