宝塔面板 robots.txt + Nginx 配置，屏蔽指定爬虫蜘蛛教程

做站点运维的时候，经常遇到一些恶意爬虫、采集蜘蛛疯狂抓取页面，消耗服务器带宽、打满数据库，百度、搜狗正常蜘蛛我们放行，但是其他垃圾爬虫、采集器爬虫需要限制。本文两种方案：robots 协议（软限制）+ Nginx 直接拦截 IP/UA（硬拦截），适合 FastAdmin、ThinkPHP 站点，宝塔 Linux 环境直接落地。