《python数据分析与挖掘实战》笔记第2章

dict([['today',20],['tomorrow',30]]) #也相当于{'today':20, 'tomorrow':30 }

dict.fromkeys(['today', 'tomorrow'],20) #相当于{'today':20, 'tomorrow':20}

s = (1, 2, 2, 3} #注意2会自动去重，得到{1, 2, 3}
s = set([1, 2, 2, 3]) #同样，它将列表转换为集合，得到{1, 2, 3}

a = t | s # t和s的并集
b = t & s #t和s的交集
c = t - s #求差集(项在t中，但不在s中)
d = t^s #对称差集(项在t或s中，但不会同时出现在二者中)

f=lambda x : x+2 #定义函数f(x)=x+2
g=lambda x,y : x+y # 定义函数g(x,y)=x+y

a=[1,2,3]
b=map(lambda x: x+2,a)
b=list(b) # 结果是[3,4,5]

reduce(lambda x,y: x*y,range(1,n+1))

等价于

s=1
for i in range(1,n+1):
    s=s*i

b=filter(lambda x :x>5 and x<8,range(10))
b=list(b) # 结果是[6,7]

import math

math.sin (1) #计算正弦
math.exp (1) #计算指数
math.pi #内置的圆周率常数

import math as m
m.sin (1) #计算正弦

from math import exp as e #只导入math库中的exp函数，并起别名e
e(1) #计算指数
sin (1) #此时sin (1)和math.sin(l)都会出错，因为没被导入

#将print变成函数形式，即用print (a)格式输出
from __future__ import print_function
#3.x的3/2=1.5, 3//2才等于 1; 2.x中3/2=1
from __future__ import division

pip install numpy

# -*- coding: utf-8 -*-
import numpy as np #一般以np作为numpy的别名

a = np.array([2, 0, 1, 5]) #创建数组
print(a) #输出数组
print(a[:3]) #引用前三个数字（切片）
print(a.min()) #输出a的最小值
a.sort() #将a的元素从小到大排序，此操作直接修改a，因此这时候a为[0, 1, 2, 5]
print(a)
b= np.array([[1, 2, 3], [4, 5, 6]]) #创建二维数组
print(b*b) #输出数组的平方阵，即[[1, 4, 9], [16, 25, 36]]

pip install scipy

# -*- coding: utf-8 -*-
#求解非线性方程组2x1-x2^2=1,x1^2-x2=2
from scipy.optimize import fsolve #导入求解方程组的函数

def f(x): #定义要求解的方程组
  x1 = x[0]
  x2 = x[1]
  return [2*x1 - x2**2 - 1, x1**2 - x2 -2]

result = fsolve(f, [1,1]) #输入初值[1, 1]并求解
print(result) #输出结果，为array([ 1.91963957,  1.68501606])

#数值积分
from scipy import integrate #导入积分函数

def g(x): #定义被积函数
  return (1-x**2)**0.5

pi_2, err = integrate.quad(g, -1, 1) #积分结果和误差
print(pi_2 * 2) #由微积分知识知道积分结果为圆周率pi的一半

pip install matplotlib

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt #导入Matplotlib

x = np.linspace(0, 10, 1000) #作图的变量自变量
y = np.sin(x) + 1 #因变量y
z = np.cos(x**2) + 1 #因变量z

plt.figure(figsize = (8, 4)) #设置图像大小
plt.plot(x,y,label = '$\sin x+1$', color = 'red', linewidth = 2) #作图，设置标签、线条颜色、线条大小
plt.plot(x, z, 'b--', label = '$\cos x^2+1$')  #作图，设置标签、线条类型
plt.xlabel('Time(s) ') # x轴名称
plt.ylabel('Volt') # y轴名称
plt.title('A Simple Example') #标题
plt.ylim(0, 2.2) #显示的y轴范围
plt.legend() #显示图例
plt.show() #显示作图结果

plt.rcParams['font.sans-serif'] = ['SimHei'] # 这两句用来正式显示中文标签

plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题

pip install pandas

pip install xlrd # 为python添加读取excel的功能
pip install xlwt # 为python添加写入excel的功能

# -*- coding: utf-8 -*-
import pandas as pd #通常用pd作为pandas的别名。

s = pd.Series([1,2,3], index=['a', 'b', 'c']) #创建一个序列s
d = pd.DataFrame([[1, 2, 3], [4, 5, 6]], columns = ['a', 'b', 'c']) #创建一个表
d2 = pd.DataFrame(s) #也可以用已有的序列来创建表格

d.head() #预览前5行数据
d.describe() #数据基本统计量

#读取文件，注意文件的存储路径不能带有中文，否则读取可能出错。
pd.read_excel('data.xls') #读取Excel文件，创建DataFrame。
pd.read_csv('data.csv', encoding = 'utf-8') #读取文本格式的数据，一般用encoding指定编码。

pip install statsmodels

# -*- coding: utf-8 -*-
from statsmodels.tsa.stattools import adfuller as ADF # 导入ADF检验
import numpy as np

result=ADF(np.random.rand(100)) #返回的结果有ADF值、p值等
print(result)

pip install scikit-learn

# -*- coding: utf-8 -*-
from sklearn.linear_model import LinearRegression # 导入线性回归模型

model=LinearRegression()# 建立线性回归模型
print(model)

# -*- coding: utf-8 -*-
from sklearn import datasets # 导入数据集

iris=datasets.load_iris() # 加载数据集
print(iris.data.shape) # 查看数据集大小


from sklearn import svm # 导入SVM模型

clf=svm.LinearSVC() # 建立线性SVM分类器
clf.fit(iris.data,iris.target) # 用数据训练模型
result=clf.predict([[5.0,3.6,1.3,0.25]]) # 训练好模型之后，输入新的数据进行预测
print(result)
params=clf.coef_ # 查看训练好模型的参数
print(params)

pip install keras
pip install theano

# -*- coding: utf-8 -*-
from keras.models import Sequential
from keras.layers.core import Dense,Dropout,Activation
from keras.optimizers import SGD

model=Sequential() # 模型初始化
model.add(Dense(20,64)) # 添加输入层（20节点）、第一隐藏层（64节点）的连接
model.add(Activation('tanh')) # 第一隐藏层用tanh作为激活函数
model.add(Dropout(0.5)) # 使用Dropout防止过拟合
model.add(Dense(64,64)) # 添加第一隐藏层（64节点）、第二隐藏层（64节点）的连接
model.add(Activation('tanh')) # 第二隐藏层用tanh作为激活函数
model.add(Dropout(0.5)) # 使用Dropout防止过拟合
model.add(Dense(64,1)) # 添加第二隐藏层（64节点）、输出层（1节点）的连接
model.add(Activation('sigmoid')) # 输出层用sigmoid作为激活函数

sgd=SGD(lr=0.1,decay=1e-6,momentum=0.9,nesterov=True) #定义求解算法
model.compile(loss='mean_squared_error',optimizer=sgd) # 编译生成模型，损失函数为平均误差平方和

X_train=None
y_train=None
X_test=None
y_test=None
model.fit(X_train,y_train,nb_epoch=20,batch_size=16) # 训练模型
score=model.evaluate(X_test,y_test,batch_size=16) # 测试模型

# -*- coding: utf-8 -*-
import gensim,logging

# logging是用来输出训练日志的
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)

# 分好词的句子，每个句子以词列表的形式输入
sentences=[['first','sentence'],['second','sentence']]

# 用以上句子训练词向量模型
model=gensim.models.Word2Vec(sentences,min_count=1)
print(model['sentence']) # 输出单词sentence的词向量