Random Forest
Random Forest——随机森林
上一篇是讲到了决策树，这篇就来讲一下树的集合，随机森林。
①Aggregation Model
随机森林还是没有脱离聚合模型这块，之前学过两个aggregation model，bagging和decision tree，一个是边learning边uniform。首先是boostrap方式得到数据D1，之后训练做平均；另一个也是边learning但是做的是condition，直接用数据D做conditional切分。
bagging and decision tree
而bagging和decision tree各自都有一个很重要的特点。bagging可以减少不同gt方差的variance的作用，因为bagging是通过各自投票，大家包含的相同样本都比较多，所以大致不会差别太远，后面uniform求平均也起到了求consensus的作用。但是decision tree有点不同，每一次的切割都是切分剩下的数据，意味着每一次如果数据是不一样的切分方式就不一样，所以对不同的数据会很敏感，所以不同的D得到的variance会大一些。 但是之前说过，越不同的g是越能反应事物的本身，比如看一个人，单单从成绩方面太狭隘了，成绩和行动力结合起来才会综合，这就是像是两个g结合在一起。所以如果g越不一样表达的方面就越不一样。既然decision tree是variance大，bagging的variance小，结合起来说不定可以取得更好的成绩，于是random forest诞生了。
②Random Forest
所以random forest由两方面组成，bagging和random forest。
random forest有三个优点，1.决策树可以由不同的主机生成，效率高。2.随机森林继承了CART的有点。3.以bagging的形式结合在一起，避免了过拟合。
上面所讲的指数基本的random forest，通过boostrap抽样得到数据D1然后训练decision tree，最后做uniform。除了这种方法之外，还有另外一种方法，随机选取数据的feature，现在有100个特征，我选取30个来构成decision tree，又选择另外的30个来构成新的一棵随机数，每一棵树都不一样。比如现在是d维，那么我们只是选择_d(_d < d)维来构建决策树。也就是说_d维z空间其实就是d维x空间的一个随机子空间（subspace）,Random Forest算法的作者建议在构建CART每个分支b(x)的时候，都可以重新选择子特征来训练，从而得到更具有多样性的决策树。
所以改进一下：
subspace
上面我们讲的是随机抽取特征，除此之外，还可以将现有的特征x，通过数组p进行线性组合，来保持多样性：
这种方法得到的就不再是d的子空间集合了，而是得到线性的组合，比如在二维平面上只能是x，y维度。但是转换之后就是斜线。而不同的pi是不一样的，而且向量pi中大部分元素为零，因为我们选择的只是一部分特征，这是一种低维映射：
于是，能力又强了一点，random-subspace变成了random-combination，这里就很像是perceptron模型了。事实上我想了一会才感觉到很像......
下面的代码实现还不会用到这些，因为还是麻烦了点，之后有时间再看看改进吧。
③Out-Of-Bag Estimate
再来探讨一下对于boostrap的一些内容和理解。 我们通过了boostrap得到了数据D1，数据D1里面既有原数据D里面有的，也可能没有里面有的。红色的*就代表没有，也叫做红色表示的样本被称为out-of-bag(OOB) example。
那么他到底有多少？可以根据有关公式算一下：
1/N就是抽中的概率。那么抽不中就(1 - 1/N)，多次就是N次方了。化简一下约等于1/e。其实这里的≈不太准确，因为N -> lim是有(1 + 1/N)^N = e。 所以，是有大约百分之30的数据是抽不到的。 貌似是和之前学过validation有点像，来对比一下：
在validation里面，Dtrain是用来得到gt的，Dtrain和Dval是倍数关系，并且没有交集，而OOB里面在bag外的数据是*号的，也没有参与到decision tree的create当中。那么我们是否可以用OOB的数据来代替validation呢？其实完全可以的，因为OOB类比过去就是Dval数据。那么整一个G的performance要怎么计算？我们可以计算g的然后平均，比如当前有5个gt，我们分别计算他手下的OOB的Eval作为这个g的performance，平均即可。
这种self-validation相比于validation来说还有一个优点就是它不需要重复训练。如下图左边所示，在通过Dval选择到表现最好的g之后，还需要在Dtrain和Dval组成的所有样本集D上重新对该模型g训练一次，以得到最终的模型系数。但是self-validation在调整随机森林算法相关系数并得到最小的EooB之后，就完成了整个模型的建立，无需重新训练模型。更重要的是，random forest的self-validation在衡量G的表现上通常相当准确。
④Feature Selection
在feature选择的过程中，还有一类问题要注意。选择的过程中有可能遇到多余的问题，比如抽取到生日和年龄，这就尴尬了。另一种是不相关的。
特征选择优点： 提高效率，特征越少，模型越简单 正则化，防止特征过多出现过拟合 去除无关特征，保留相关性大的特征，解释性强 缺点： 筛选特征的计算量较大 不同特征组合过拟合是有可能出现的 容易选到无关特征，解释性差
在上一篇实现决策树的里面使用的decision stump就是一种feature selection。 问题来了，我们要怎么选择有用的特征？
其中的一种方法就是做特征重要性的排序，选择前几个。这种方法如果在线性模型里面是很好计算的，线性可分模型。如果是非线性可分的话，权值不是一一对应的，因为通常是做了feature transform的，所以权值是交叉再一起。所以非线性就会很难。
上图是linear model可以使用的，并且效果不差。只需要选择最大的权值|W|就好了。 RF中，特征选择的核心思想是random test。random test的做法是对于某个特征，如果用另外一个随机值替代它之后的表现比之前更差，则表明该特征比较重要，所占的权重应该较大，不能用一个随机值替代。相反，如果随机值替代后的表现没有太大差别，则表明该特征不那么重要，可有可无。就好像班里面学习好的突然有一天死了，老师立马就可以发现，但是对于成绩差的挂了一个学期都不一定知道。所以，通过比较某特征被随机值替代前后的表现，就能推断出该特征的权重和重要性。 问题来了，我们应该如何选择随机值来替代？ ①是使用uniform或者是Gaussian插入随机值。 ②是把数据的第i个特征打乱了看看打乱之后效果差别大不大。 相比起来，其实第二种更加好，因为如果本来的不是高斯分布可能就会打乱了数据的分布方式，而第二种在大体上数据的分布是不改变的。之后我们可以比较variance，大的那么就是比较重要了。
这样就又有了一个问题，我们要如何衡量改变dimension后的D和原数据D的performance呢？ ①我们可以延用之前OOB的做法，打乱i个特征，对每一个维度都要训练，如何用OOB做validation评估performance与原数据D训练出来的做比较。 ②RF的作者提出了一种方法，就是把permutation的操作从原来的training上移到了OOB validation上去，记为Eoob(G(p))→E(p)oob(G)。也就是说，在训练的时候仍然使用D，但是在OOB验证的时候，将所有的OOB样本的第i个特征重新洗牌，验证G的表现。 第二种方法用的很多，计算方便，主要是效果也很好啊。
⑤代码实现
Random Forest in Action
最后，我们通过实际的例子来看一下RF的特点。首先，仍然是一个二元分类的例子。如下图所示，左边是一个C&RT树没有使用bootstrap得到的模型分类效果，其中不同特征之间进行了随机组合，所以有斜线作为分类线；中间是由bootstrap（N’=N/2）后生成的一棵决策树组成的随机森林，图中加粗的点表示被bootstrap选中的点；右边是将一棵决策树进行bagging后的分类模型，效果与中间图是一样的，都是一棵树。
当t=100，即选择了100棵树时，中间的模型是第100棵决策树构成的，还是只有一棵树；右边的模型是由100棵决策树bagging起来的，如下图所示：
当t=200时：
当t=300时：
当t=400时：
当t=500时：
当t=600时：
当t=700时：
当t=800时：
当t=900时：
当t=1000时：
随着树木个数的增加，我们发现，分界线越来越光滑而且得到了large-margin-like boundary，和之前磕磕绊绊的相比光滑了不少，类似于SVM一样的效果。也就是说，树木越多，分类器的置信区间越大。
然后，我们再来看一个比较复杂的例子，二维平面上分布着许多离散点，分界线形如sin函数。当只有一棵树的时候（t=1），下图左边表示单一树组成的RF，右边表示所有树bagging组合起来构成的RF。因为只有一棵树，所以左右两边效果一致。
当t=6时：
当t=11时：
当t=16时：
当t=21时：
可以看到，当RF由21棵树构成的时候，分界线就比较平滑了，而且它的边界比单一树构成的RF要robust得多，更加平滑和稳定。 最后，基于上面的例子，再让问题复杂一点：在平面上添加一些随机噪声。当t=1时，如下图所示：
当t=6时：
当t=11时：
当t=16时：
当t=21时：
从上图中，我们发现21棵树的时候，随机noise的影响基本上能够修正和消除。这种bagging投票的机制能够保证较好的降噪性，从而得到比较稳定的结果。 经过以上三个例子，我们发现RF中，树的个数越多，模型越稳定越能表现得好。在实际应用中，应该尽可能选择更多的树。值得一提的是，RF的表现同时也与random seed有关，即随机的初始值也会影响RF的表现。
之后就是真正的代码实现了 这里使用的还是随机选择特征的方法。 首先是一个特征选择函数：
def choose_samples(self, data, k):
'''choose the feature from data
input:data, type = list
output:k
'''
n, d = np.shape(data)
feature = []
for j in range(k):
feature.append(rd.randint(0, d - 2))
index = []
for i in range(n):
index.append(rd.randint(0, n-1))
data_samples = []
for i in range(n):
data_tmp = []
for fea in feature:
data_tmp.append(data[i][fea])
data_tmp.append(data[i][-1])
data_samples.append(data_tmp)
pass
return data_samples, feature
pass在data数据里面选择出k维的数据。 之后就是随机森林的建立了，使用的决策树是上篇文章实现的决策树，尽量做到全是自己实现的：
def random_forest(self, data, trees_num):
'''create a forest
input:data, type = list
output:trees_result, trees_feature
'''
decisionTree = tree.decision_tree()
trees_result = []
trees_feature = []
d = np.shape(data)[1]
if d > 2:
k = int(math.log(d - 1, 2)) + 1
else:
k = 1
for i in range(trees_num):
print('The ', i, ' tree. ')
data_samples, feature = self.choose_samples(data, k)
t = decisionTree.build_tree(data_samples)
trees_result.append(t)
trees_feature.append(feature)
pass
return trees_result, trees_feature其实都很常规，最后返回的是树的数量和选取的特征。 之后就是一个切割数据和加载数据的工具函数：
def split_data(data_train, feature):
'''select the feature from data
input:data, feature
output:data, type = list
'''
m = np.shape(data_train)[0]
data = []
for i in range(m):
data_tmp = []
for x in feature:
data_tmp.append(data_train[i][x])
data_tmp.append(data_train[i][-1])
data.append(data_tmp)
return data
def load_data():
'''use the boston dataset from sklearn'''
print('loading data......')
dataSet = load_breast_cancer()
data = dataSet.data
target = dataSet.target
for i in range(len(target)):
if target[i] == 0:
target[i] = -1
dataframe = pd.DataFrame(data)
dataframe.insert(np.shape(data)[1], 'target', target)
dataMat = np.mat(dataframe)
X_train, X_test, y_train, y_test = train_test_split(dataMat[:, 0:-1], dataMat[:, -1], test_size=0.3, random_state=0)
data_train = np.hstack((X_train, y_train))
data_train = data_train.tolist()
X_test = X_test.tolist()
return data_train, X_test, y_testload_data是把数据3,7切分，测试和训练。 然后就是预测函数和计算准确度的函数了：
def get_predict(self, trees_result, trees_feature, data_train):
'''predict the result
input:trees_result, trees_feature, data
output:final_prediction
'''
decisionTree = tree.decision_tree()
m_tree = len(trees_result)
m = np.shape(data_train)[0]
result = []
for i in range(m_tree):
clf = trees_result[i]
feature = trees_feature[i]
data = tool.split_data(data_train, feature)
result_i = []
for i in range(m):
result_i.append( list((decisionTree.predict(data[i][0 : -1], clf).keys()))[0] )
result.append(result_i)
final_predict = np.sum(result, axis = 0)
return final_predict
def cal_correct_rate(self, target, final_predict):
m = len(final_predict)
corr = 0.0
for i in range(m):
if target[i] * final_predict[i] > 0:
corr += 1
pass
return corr/m
pass这个和之前决策树的差不多，也是调用了之前的代码。 最后就是入口函数：
def running():
'''entrance'''
data_train, text, target = load_data()
forest = randomForest()
predic = []
for i in range(1, 20):
trees, features = forest.random_forest(data_train, i)
predictions = forest.get_predict(trees, features, text)
accuracy = forest.cal_correct_rate(target, predictions)
print('The forest has ', i, 'tree', 'Accuracy : ' , accuracy)
predic.append(accuracy)
plt.xlabel('Number of tree')
plt.ylabel('Accuracy')
plt.title('The relationship between tree number and accuracy')
plt.plot(range(1, 20), predic, color = 'orange')
plt.show()
pass
if __name__ == '__main__':
running()计算了1到20课树他们之前准确率的变化，画了对比图。
大致趋势还是可以看得出是一直不断上升，最高应该是13到15这个区间吧，但是注意到2到5棵树的时候存在了一定的颠婆，这颠婆有点厉害，个人猜测应该是采集到了某些没有用的特征导致的，后面效果好了是因为树多了效果削弱了，并且有些的特征也采集不到。这个数据维度是30维的。有时间再做一个特征重要性的选择了。
所有代码GitHub上： https://github.com/GreenArrow2017/MachineLearning/tree/master/MachineLearning/RandomForest