Python网络爬虫scrapy框架课程开课了

本课程全程免费，只为大家对网络爬虫有一定的认识，个人也是抛砖引玉，笔者曾经学习过C语言，一直用MATLAB写数据分析，后来转为Python，对Python非常热爱。

如有对文中不解之处，请自行百度或者查看相关文档。由于笔者水平有限，难免有纰漏，无法做到全面，也请大家原谅，欢迎指教。

下面先说下，个人的工作环境：

1：解释器用anaconda （Python3）

2：IDE用pycharm

3：数据库用MySQL（这里还需要Navicat进行调用）

一共四个软件，下面解释下这些工作环境的巨大优点：

a: anaconda跟Python都是吉多参与编写的，你可以理解为比原生的Python拥有更多的的安装包，但是也有区别，前者是ipython,在多核多线程的电脑时代优势明显，后者是cpython,据说多核多线程是坑，需要安装的包比较多。

b:pycharm的IDE相当的美观，支持自动提示，本人也是安装了sublime3主题，相当的美观

当然大家可以用自己喜欢的，至于pycharm的设置大家自行百度相关文档

c:数据库很多，不过很多的不适合，也有一定的坑，这里选用开源免费，大多数公司采用的MySQL，没办法照顾全部的学员。

至于为什么只选Python3，个人感觉是与时俱进，初学者最好是直接选用新的版本。这里没有任何的虚拟环境和Linux系统，主要是感觉没有必要，我们先学会爬虫，再考虑深层次的东西。下一期将介绍各个模块的选择，因为市场的教学太多了，我会告诉你选择什么的路是最快的，最有效的，避免大家踩雷，爬坑是很辛苦的，后期我会布置作业。