首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux系统布置python爬虫时遇到的问题——PYTHONPATH

最近需要使用爬虫爬取一些资料,由于需要抓取的网页有点多,单纯使用电脑时间成本太高了,so决定同时在服务器上布置爬虫一起完成工作。

步骤:

在Linux系统中安装python3

使用pscp向服务器上传爬虫代码和支持文件

安装爬虫代码中涉及的模块

我在步骤3遇到了问题,使用pip/pip3安装bs4(美丽汤)之后,运行代码总是出现没有这个模组的问题。检查以后发现/usr/local/lib/python3.5/dist-packages路径下已经存在安装好的模组。查询了不少资料,尝试了不同的方式安装bs4均失败。后来意识到是dist-packages文件夹的路径不在环境变量内,所以没法import该module。

解决方法也很简单:export PYTHONPATH=$PYTHONPATH:YOURPATH

对于我而言,路径为:/usr/local/lib/python3.5/dist-packages

最后确认python中是否包含该module:

sudo python3

help("modules")

结果如图:

封面图片:Oona's Grace

作者:Rececca Guay

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180302G062OT00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券