腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
菲宇
专栏作者
举报
743
文章
1619372
阅读量
55
订阅数
订阅专栏
申请加入专栏
全部文章（743）
python（151）
http（124）
编程算法（106）
django（90）
linux（86）
数据库（77）
网络安全（76）
https（73）
sql（71）
php（62）
html（62）
容器（60）
容器镜像服务（57）
tcp/ip（57）
node.js（49）
kubernetes（44）
网站（43）
nginx（41）
api（37）
bash（35）
云数据库 SQL Server（35）
yum（30）
bash 指令（29）
git（22）
unix（21）
文件存储（21）
ssh（21）
javascript（19）
centos（19）
apache（19）
命令行工具（19）
grep（18）
java（17）
css（16）
存储（16）
shell（16）
负载均衡（15）
打包（15）
github（15）
tomcat（15）
缓存（15）
xml（14）
jquery（14）
json（14）
windows（14）
flask（13）
负载均衡缓存（13）
zabbix（13）
分布式（12）
云数据库 Redis（11）
ide（11）
openstack（11）
SSL 证书（10）
开源（10）
面向对象编程（10）
c++（9）
android（9）
爬虫（9）
正则表达式（9）
jenkins（9）
数据分析（8）
虚拟化（8）
访问管理（7）
socket编程（7）
etcd（7）
Elasticsearch Service（7）
项目管理（7）
ios（6）
ajax（6）
apt-get（6）
腾讯云测试服务（6）
DevOps 解决方案（6）
dns（6）
scrapy（6）
防火墙（6）
管理（6）
项目经理（6）
ftp（5）
udp（5）
nat（5）
官方文档（4）
bootstrap（4）
web.py（4）
sqlalchemy（4）
NAT 网关（4）
mongodb（4）
kvm（4）
小程序（4）
脚本（4）
云服务器（3）
NLP 服务（3）
access（3）
搜索引擎（3）
spring（3）
云数据库 MongoDB（3）
运维（3）
npm（3）
cdn（3）
rabbitmq（3）
kernel（3）
数据结构（3）
微服务（3）
云数据库 postgresql（3）
数据库管理（3）
class（3）
root（3）
var（3）
配置（3）
协议（3）
对象存储（2）
机器学习（2）
c 语言（2）
go（2）
actionscript（2）
servlet（2）
listview（2）
makefile（2）
memcached（2）
postgresql（2）
jar（2）
maven（2）
日志服务（2）
TAPD 敏捷项目管理（2）
视频处理（2）
容器服务（2）
数据备份（2）
渲染（2）
express（2）
xslt & xpath（2）
babel.js（2）
html5（2）
jdk（2）
wordpress（2）
gui（2）
numpy（2）
selenium（2）
敏捷开发（2）
ntp（2）
大数据（2）
微信（2）
安全（2）
processing（2）
kafka（2）
admin（2）
file（2）
init（2）
localhost（2）
object（2）
pmp（2）
restart（2）
rpm（2）
syntax（2）
table（2）
数据（2）
内容分发网络 CDN（1）
云点播（1）
其他（1）
自动驾驶（1）
mac os（1）
iphone（1）
ruby（1）
jsp（1）
regex（1）
typescript（1）
ecmascript（1）
qt（1）
单片机（1）
sqlite（1）
oracle（1）
mvc（1）
ruby on rails（1）
vba（1）
matlab（1）
中文分词（1）
lucene/solr（1）
ubuntu（1）
windows server（1）
solaris（1）
神经网络（1）
深度学习（1）
云直播（1）
移动直播（1）
腾讯云可观测平台（1）
海外加速（1）
消息队列 CMQ 版（1）
数据加密服务（1）
腾讯git代码托管（工蜂）（1）
机器翻译（1）
腾讯移动分析（1）
图像处理（1）
高性能计算（1）
智能安防监控（1）
混合云存储（1）
企业（1）
数据安全（1）
webpack（1）
游戏（1）
自动化（1）
压力测试（1）
hadoop（1）
jvm（1）
erp（1）
sql server（1）
hashmap（1）
决策树（1）
zookeeper（1）
单元测试（1）
markdown（1）
gradle（1）
uml（1）
kerberos（1）
anaconda（1）
数据可视化（1）
物联网（1）
系统架构（1）
网站建设（1）
腾讯云开发者社区（1）
特征工程（1）
jupyter notebook（1）
unicode（1）
ipv6（1）
迁移（1）
raft（1）
app（1）
apply（1）
auto（1）
boot（1）
border（1）
button（1）
centos7（1）
client（1）
console（1）
cors（1）
count（1）
cpu（1）
cut（1）
daemon（1）
data（1）
datatable（1）
default（1）
element（1）
excel（1）
exe（1）
free（1）
jwt（1）
kubectl（1）
local（1）
math（1）
meta（1）
mobile（1）
model（1）
models（1）
network（1）
nfs（1）
openpyxl（1）
padding（1）
partition（1）
pdf（1）
powerpoint（1）
raspbian（1）
requests（1）
return（1）
salt（1）
script（1）
select（1）
self（1）
service（1）
shadow（1）
share（1）
size（1）
state（1）
sys（1）
tags（1）
tcp（1）
text（1）
time（1）
title（1）
txt（1）
ui（1）
url（1）
view（1）
web（1）
yaml（1）
zxing（1）
遍历（1）
变量（1）
登录（1）
递归（1）
二维码（1）
函数（1）
继承（1）
监控（1）
镜像（1）
开发（1）
跨域（1）
框架（1）
权限（1）
生命周期（1）
树莓派（1）
数组（1）
微信小程序（1）
系统（1）
域名（1）
远程桌面（1）
原理（1）
中间件（1）
主机（1）
装饰器（1）
搜索文章
搜索
搜索
关闭
Apache、Nginx和Tomcat之虚拟主机配置
nginx
html
access
ErrorLog "/var/www/logs/test.com-error_log"
菲宇
2022-12-21
658
0
Linux运维常用shell脚本之网络管理实例
tcp/ip
php
access
http
命令行工具
HTTP_CODE=(curl -o /dev/null --connect-timeout 3 -s -w "%{http_code}"
菲宇
2022-12-21
3K
0
反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站
nginx
命令行工具
网站
access
爬虫
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）（最新补充：宜搜蜘蛛已被UC神马搜索收购！所以本文已去掉宜搜蜘蛛的禁封！==>相关文章)。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，在给自己网做设置的同时，也给各位站长提供参考。
菲宇
2019-07-31
1.8K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档