关于蜘蛛爬取网站

最近一个网站总是流量超出预期，后来检查了一下日志发现一个奇怪的现象~

这个都是蜘蛛来爬的记录~

这个是列表页，而且url组装的时候有点问题。。

算是程序一个bug，由于个人浏览的时候参数是第一个有效。而蜘蛛没有那么智能，所以就进入了一个死循环~~我不是故意的~~！！！！！我禁止了蜘蛛，可是蜘蛛仍然来爬！