腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

张戈的专栏

专栏作者

328

文章

938597

阅读量

102

订阅数

服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站

apache nginx php 爬虫

我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守 robots 规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）（最新补充：宜搜蜘蛛已被 UC 神马搜索收购！所以本文已去掉宜搜蜘蛛的禁封！==>相关文章)。最近张戈发现 nginx 日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，在给自己网做设置的同时，也给各位站长提供参考。一、Apache ①、通过修改 .htacce

2018-03-23

2.2K0

Linux+Nginx/Apache/Tomcat新增SSL证书，开启https访问教程

linux nginx tomcat apache https

上上篇文章《nginx 平滑升级&新增模块》提到了公司的 https 访问需求。当我新增了 SSL 模块之后，却发现以前还真没部署过 https 访问。下面整理我的部署过程，并收集了一下 Apach

2018-03-23

3K0

Apache/Nginx伪静态规则匹配http://出现的问题与解决

这个问题不知道有没有人遇到过，反正度娘和谷姐都没能帮到我！困扰了我挺长时间了，今天偶尔将代码放到 Apache 服务器下测试时，意外解决了！问题是这样的，我搭建了一个网站 icon 图标抓取的 AP

2018-03-23

1.8K0

修改Apache的超时设置，解决长连接请求超时问题

某日，组内后台开发找到我，问我们的 WEB 服务器超时设置是多少。他反馈的问题是，有一个 VLAN 切换任务 cgi 接口经常返回 504 网关超时错误，要我分析解决下。我问了一下，得知这个请求遇到

2018-03-21

14.6K0

【ES私房菜】收集 Apache 访问日志

在上一篇系列文章《【ES私房菜】收集 Linuix 系统日志》我们已经完成了Linux系统日志上报ES这个简单的试运行项目，我们现在对数据收集、处理以及上报等流程也有了一个全局的认知和了解，下面，我们

2017-10-09

2.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态