我试验了不同的建模方法,包括KNN、决策树、神经网络和SVN,并试图对我的数据进行拟合,看看哪种方法最有效。令我惊讶的是,决策树的最佳工作方式是训练精度为1.0,测试精度为0.5。无论训练精度为0.92,测试精度为0.42,神经网络的性能都是最好的,比决策树分类器低8%。
请有人解释一下,与决策树这样的建模技术相比,神经网络可能具有低精度的情况/情况。我尝试过不同配置的神经网络,比如:
1 hidden layer and 1 neuron : Train Accuracy 34% Test Accuracy 42%
7 hidden layers and 5 neurons in each
我正在尝试实现AdaBoost算法,并将决策树桩作为弱学习器,尽管我不能完全理解此算法的结构。我正在学习维基百科页面上的算法- 由于算法是迭代的,我们从't in 1...T‘开始迭代,但是这个T到底是什么呢?它是数据集中样本的总数,还是可以拆分决策树桩的可能特征的数量?如果这是样本的数量,那么这是否意味着我们可能会在多个弱学习者中对相同的特征进行分裂?或者,加权数据样本的方法会阻止这种情况的发生吗?