特征对训练模型时非常重要的;用于训练的数据集包含一些不重要的特征,可能导致模型性能不好、泛化性能不佳;例如:
特征降维是指在某些限定条件下,降低特征个数常用的方法: 低方差过滤法、PCA(主成分分析)降维法、相关系数(皮尔逊相关系数、斯皮尔曼相关系数)
低方差过滤法:指的是删除方差低于某些阈值的一些特征
机器学习低方差过滤API:
import numpy as np
import pandas as pd
from sklearn.feature_selection import VarianceThreshold
np.set_printoptions(suppress=True)
pd.set_option('display.float_format', lambda x: '%.4f' % x)
def dm01_VarianceThreshold():
mydata = pd.read_csv('./data/factor_returns.csv')
print('mydata-->\n', mydata.columns)
print('mydata-->\n', mydata.shape)
transfer = VarianceThreshold(threshold=0.2)
mydata = transfer.fit_transform(mydata.iloc[:, 1:10]) # /0123456
print(mydata.shape)
print(mydata)
主成分分析(Principal Component Analysis,PCA)
PCA 通过对数据维数进行压缩,尽可能降低原数据的维数(复杂度)损失少量信息,在此过程中可能会舍弃原有数据、创造新的变量。
通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变 量叫主成分。
非主要成分的数据不是被删除,而是被压缩,在空间几何中被称为投影
from sklearn.decomposition import PCA
def dm02_PCA():
data = [[2, 8, 4, 5],
[6, 3, 0, 8],
[5, 4, 9, 1]]
transfer = PCA(n_components=0.9)
data1 = transfer.fit_transform(data)
print(data1, data1.shape)
transfer2 = PCA(n_components=3)
data2 = transfer2.fit_transform(data)
print(data2, data2.shape)
相关系数:反映特征列之间(变量之间)密切相关程度的统计指标。
特征x和目标值y的密切程度,是否同增同减;特征x和特征x之间是否同增同减; 可以把密切相关的2个列,删除掉1列,达到特征降维的效果
皮尔逊相关系数
相关系数的值介于–1与+1之间,当 r>0 时,表示两变量正相关,r<0 时,两变量为负相关,当 |r|=1 时,表示两变量为完全相关,当r=0时,表示两变量间无相关关系。
|r|<0.4为低度相关;0.4≤|r|<0.7为显著性相关;0.7≤|r|<1为高度线性相关
from scipy.stats import pearsonr
def dm03_pearsonr():
x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]
print('pearsonr(x1, x2)-->', pearsonr(x1, x2))
相关系数斯皮尔曼
from scipy.stats import spearmanr
def dm04_spearmanr():
x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]
print('spearmanr(x1, x2)-->', spearmanr(x1, x2))
斯皮尔曼相关系数与之前的皮尔逊相关系数大小性质一样,取值 [-1, 1]之间,斯皮尔曼相关系数比皮尔逊相关系数应用更加广泛。