爬虫入门到精通-环境的搭建

本文章属于爬虫入门到精通系统教程第三讲

IDE的安装

IDE我用的是VS code，也用过pycharm（但是电脑配置不行，比较卡）

VScode安装教程在这https://code.visualstudio.com/docs/setup/setup-overview,写的蛮清楚的

然后安装一个python的插件就行 见如下截图

• 点击数字1的地方
• 在数字2的地方输入python
• 点击python 0.5.8 右边的安装按钮

包的安装

配置pip源，不配置的话下载速度很慢

windows:在当前用户根目录下，创建pip这个文件夹，然后在里面新建一个文件(pip.in) 里面的内容为

[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

截图如下（我当前用户名为kimga）

linux：在~/.pip/pip.conf文件中添加或修改（内容同上）

包的安装

直接pip install 包的名字 如 pip install requests

依次安装如下4个包

1. requests
2. lxml
3. ipython
4. jupyter

如果发现报错的话，

• ubuntu用apt-get install python-包名
  • 如 apt-get install python-lxml
• windows 在Unofficial Windows Binaries for Python Extension Packages 这个网站上手动下载然后安装（这个网站有各种python windows扩展包，pip install 报错的话，就可以到这个网站上下载安装）

windows下pip install lxml 很少能安装成功。。。

那我们怎么做呢？

1. 打开http://www.lfd.uci.edu/~gohlke/pythonlibs/这个网址
2. ctrl+ F，然后在搜索框内输入lxml

1. 找到与你系统版本相同的包,下载
   • 我的python版本是2.7，系统是64位的，所以我选择 lxml‑3.7.3‑cp27‑cp27m‑win_amd64.whl

   

2. 下载完成后在你下载的目录下打开cmd命令行
   • 这边有个小技巧是，找到你下载的目录后，按住shift不放，然后空白处右键，会多出来一个在此处打开命令窗口，不用再慢慢的cd过来

   

3. 然后pip install 你刚下载的文件，发现就安装成功了

Google浏览器的安装

在http://rj.baidu.com/soft/detail/14744.html?ald下载

记得点普通下载（要不然有可能会收获百度全家桶一份）

下载完正常安装就行

安装可以更换浏览器头的插件

1. 打开 http://chrome-extension-downloader.com/这个网页
2. 在输入框内输入 extension ID ffhkkpnppgnfaobgihpdblnhmmbodake
3. 点击下载

1. 下载完成后，打开Google浏览器，在地址栏输入chrome://extensions/
2. 把刚刚下载的文件拖进去进行

最终效果见下图

总结

看完本篇文章后，你应该要

• 有一个自己熟悉的python IDE
• Python配置国内源
• 能安装python包
• 有安装Google浏览器
• 有可以更换浏览器头的插件

最后，因为后续实战我基本上都是用Jupyter notebook来写调试的，所以请阅读以下两篇文章，能大概了解Jupyter notebook

Jupyter Notebook快速入门（上）

http://codingpy.com/article/getting-started-with-jupyter-notebook-part-1/

Jupyter Notebook快速入门（下）

http://codingpy.com/article/getting-started-with-jupyter-notebook-part-2/