服务器使用Nginx搭建HTTP爬虫代理

Linux系统(CentOS为例)

应用场景:

编写爬虫时经常需要用到代理,然而免费的代理又很不稳定,最理想的就是在自己服务器搭建nginx正向代理服务。

1、 在官网下载最新稳定版本的 Nginx安装包:http://nginx.org/download/nginx-1.10.3.tar.gz

2、 默认配置编译安装 ( 需要先安装nginx所需的依赖库 )

① 依赖库安装

②nginx编译

Nginx编译参数详解(自行百度,不懂不影响后续操作)。

③ nginx安装

3、查看服务器可用DNS,下面配置nginx需要用到

远程连上自己服务器,执行一下命令

如存在多个,任选一个就行了。

4、 修改nginx运行配置文件 [ nginx 默认安装在/usr/local/nginx/下 ]

如果没有Vim,自行安装

编辑完成后保存退出,重启Nginx。

nginx启动:

nginx停止:

nginx重新加载配置:

5、Python代码测试

如下图,打印出的IP地址如果为你服务器公网IP,那么恭喜你,搭建成功了。

终于可以愉快的spider了。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181101G0L9EE00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券