利用Python进行数据分析（一）

说在前面

即将自学《利用Python进行数据分析》这本书，为了督促自己思考并总结，遂将学习内容连载在此。以便大家参考，和自己回顾。此书前五章主要是介绍了IPython，NumPy，pandas入门，6至10章介绍数据的存储加载，清洗处理等及可视化，数据聚合？时间序列？。。。11章为金融方面的应用，12章为NumPy的高级应用。Python的不足：

Python作为解释型编程语言，大部分代码速度上不可避免的要比编译型语言（JAVA，C++）要慢。

另外一方面，因为GIL的存在，所以Python对高并发，多线程的应用程序不是很友好。（单个Python进程不能执行多线程代码 ）

常用库：

NumPy：存储和处理大型矩阵，强大的MatLab系统，算法之间传递数据（由低级语言比如c和Fortran编写的库可直接操作Numpy数组中的数据，无需数据复制）。

pandas：数据处理 （DataFrame）

matplotlib：绘制数据图表

Ipython：编写工具

SciPy：科学计算（积分微分 线性代数balabalabalabala）

IPython

1.逐行输入 逐行输出

2.Tab键自动完成（b._）

3.内省（变量或者函数对象前面或后面加？号显示通用信息 ？？还可以显示源代码搜索命名空间 如np.*load*? 列出含load的函数）

4.%run命令 %run+文件名 运行脚本

5.ctrl+c中止（Anaconda Jupter Notebook 有黑色小方块停止按钮）

6.魔术命令 %magic 如%timeit an_example = 42多次执行显示平均花费时间 %time显示所用时间

%logstart记录工作日志

......

7.调试：

%pdb 命令 打开出现异常后自动调用调试器 run -d **.py

b 12 在12行设置断点

c continue运行到断点

s step into

n next 下一步 step over

!a 查看a的值

h help

h b 查看b命令的帮助文档

......

非常好用的两个方法 便于调试：

set_trace()会进入调试器到这停止执行 然后按c继续执行

debug（函数，参数） 在此函数上使用调试器

其他

1、重新加载模块依赖项。

Python有“一次加载”模块系统，当你运行一个脚本后 再修改加载的模块 这个脚本不会使用更新后的模块。需要在import somelib后加上reload（somelib）。递归的重加载需要使用dreload(somelib),它会尝试加载somelib及其所有依赖项，当然实在不行，直接重启IPython。

2、扁平结构要比嵌套结构好

总结

看了两天，前面是对本书目录的一个了解，此书主要是对涉及的几个模块（非常常用）的介绍和初步使用，其次是数据分析从获取到清理到分析到可视化的处理。然后IPython作为交互式的编写工具非常好用，个人推荐新手直接使用Anaconda，包含了很多的插件。之前一直好奇这种的如何去调试，通过这章了解了虽然不是直接通过GUI去直接调试，但是依然是可以通过命令等达到效果的。