pyspider爬虫结合fastdfs配置

#####业务场景：爬虫应用爬取图片过多，导致磁盘或者inode会被占满，也会占用磁盘IO，于是结合fastdfs进行使用，将文件上传至fastdfs服务器中。

#####配置出现的问题

pyspider是基于python的爬虫框架，而且运行在python虚拟环境virtualenv中，

与服务器python环境是隔离的，所以本来以为只要在虚拟python环境中安装fastdfs模块即可，然后网上

下载了fdfs_client-py-master.zip包，直接用虚拟环境的python安装模块，结果服务器调用模块正常，

但是在webui界面直接调用fastdfs模块的时候，显示找不到模块。

按照公司开发说web界面的爬虫脚本是放在数据库的，按理说应该调取的也是虚拟环境的python。

于是尝试了另一种方式，直接把配置好的文件夹放在虚拟环境的site-packages下面，结果成功了。

下面就介绍一下如何部署~

######部署过程

FastDFS和pyspider部署步骤省略，安装步骤太长，不在此啰嗦了~

重要！！！

安装部署FastDFS的时候，这里需要记住FastDFS的：

tracker_server地址

http.tracker_server_port的端口号

1.下载fdfs_client-py-master.zip安装包

wget https://github.com/hay86/fdfs_client-py/archive/master.zip

2.包解压出来后，只要fdfs_client文件夹即可，在fdfs_client文件夹中找到client.conf进行修改

3.将上面所说的tracker_server和http.tracker_server_port对应信息填写到配置文件中即可。

4.最后将整个fdfs_client文件夹放入pyspider虚拟环境中，

我的服务器是放在了/pyspider/lib/python2.7/site-packages/中。

#####测试调用

在pyspider的web界面中随便调试一个爬虫环境，

写入from fdfs_client.client import * 进行调试。到此ok~