专栏首页Urlteampython爬虫开发环境资源包汇总-免费下载

python爬虫开发环境资源包汇总-免费下载

win7+linux-ubuntu双教程

目录

  1. Win7系统64位环境下配置python环境(python2.7)步骤
  2. linux—ubuntu-16.04环境配置
  3. 压缩资源包下载

Win7系统64位环境下配置python环境(python2.7)步骤

  1. 安装python

执行 python-2.7.12.amd64.msi文件,不需要修改安装路径,默认为C:/Python27即可

  1. 配置phantomjs和chromedriver

将phantomjs.exe和chromedriver.exe放到C:/Python27目录下

  1. 配置环境变量

选择桌面的计算机(我的电脑)右键-属性-高级系统设置-高级-环境变量

将C:\Python27;C:\Python27\Scripts;加入系统变量中的path中

  1. 安装wheel

进入cmd,执行 pip install wheel

  1. 安装常用包

在packages目录下,按住shift,右键,选择 在此处打开命令窗口,执行

pip install requests-2.13.0-py2.py3-none-any.whl XlsxWriter-0.9.6-py2.py3-none-any.whl selenium-3.0.2-py2.py3-none-any.whl MySQL_python-1.2.5-cp27-none-win_amd64.whl Pillow-4.0.0-cp27-cp27m-win_amd64.whl lxml-3.7.2-cp27-cp27m-win_amd64.whl redis-2.10.5-py2.py3-none-any.whl requesocks-0.10.8.tar.gz

配置完毕

linux—ubuntu-16.04环境配置

  • 安装python—pip
  • 控制台中 sudo apt-get install pip
  • 安装wheel
  • 控制台中,执行 pip install wheel
  • 安装常用包

在packages目录下,按住shift,右键,选择 在此处打开命令窗口,执行

pip install requests-2.13.0-py2.py3-none-any.whl XlsxWriter-0.9.6-py2.py3-none-any.whl selenium-3.0.2-py2.py3-none-any.whl MySQL_python-1.2.5-cp27-none-win_amd64.whl Pillow-4.0.0-cp27-cp27m-win_amd64.whl lxml-3.7.2-cp27-cp27m-win_amd64.whl redis-2.10.5-py2.py3-none-any.whl requesocks-0.10.8.tar.gz

配置完毕

4. 安装浏览器内核

sudo apt-get install python-selenium

sudo apt-get install phantomjs

压缩资源包下载

python爬虫环境配置

phantomjs-2.1.1

原创文章,转载请注明: 转载自URl-team

本文链接地址: python爬虫开发环境资源包汇总-免费下载

  1. 爬虫首尝试—爬取百度贴吧图片
  2. Scrapy-笔记一 入门项目 爬虫抓取w3c网站
  3. Scrapy笔记四 自动爬取网页之使用CrawlSpider
  4. Scrapy笔记五 爬取妹子图网的图片 详细解析
  5. python 爬虫资源包汇总
  6. python 进程超时控制 防止phantomjs假死

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 目标检测笔记二:Object Detection API 小白实践指南

    本文使用公开数据去运行Tensorflow 新推出的 Object Detection API 带大家实验 Faster RCNN 的 training。 F...

    十四君
  • 基于树莓派以及语音与人脸识别的迎宾机器人交互系统开发计划(已完结github中)

    作品未来设想:并不是制作一个能自由行走的智能管家机器人之类的,那样的科技以及成本是不一个寒假可以ko!我们希望创造出智能机器人的头。

    十四君
  • css规范化命名

    好吧,我的代码虽然实现了和设计一样的界面,但是还是太臭了,类的命名都是特别的差劲。。找了命名规范,,拿来共享一下,警告自己,,代码不仅要实现功能,更要优美,华丽...

    十四君
  • 老程序员有技术为啥不单干?非要在公司呆这!

    IT故事会
  • 纯代码实现手机Q打开网址跳转系统浏览器

    经全百科测试,只有访问cn或者com或者net域名时才能正常的跳转。这个代码适用于很多方面,例如使被QQ管家拦截的域名在手机QQ内通过跳转能够得到正常的访问。

    于飞云计算
  • NSA评出第五届年度最佳网络安全科技论文

    E安全12月30日讯 美国国家安全局(NSA)第五届年度最佳网络安全科技论文出炉,题为《来源决定高度:信息来源对代码安全的影响》的研究论文脱颖而出。 论文中的观...

    企鹅号小编
  • electron-ssr

    客户端下载地址:https://github.com/qingshuisiyuan/electron-ssr-backup/releases/download/...

    小飞侠xp
  • 在QEMU上运行OPTEE

    TEE越来越成为一种基础的安全技术,optee作为一种优秀的开源TEE OS正吸引了越来越多的厂商,越来越多的学习者,安智客之前也多次介绍过

    安智客
  • Django实战-配置后台管理框架Xadmin

    Django网络应用开发的5项基础核心技术包括模型(Model)的设计,URL 的设计与配置,View(视图)的编写,Template(模板)的设计和Form(...

    小团子
  • 明年成都将基本建成政务云、社会云、企业云

    昨日,记者从市经信委获悉,按照《成都市云计算应用与产业发展“十二五”规划纲要》《成都市云计算鼓励项目投资指南》和《关于加快发展先进制造业实现工业率先倍增若干政策...

    静一

扫码关注云+社区

领取腾讯云代金券