决策树的原理_决策树特征选择

全栈程序员站长

发布于 2022-10-03 09:28:18

6180

大家好，又见面了，我是你们的朋友全栈君。

决策树的原理：根据树结构进行决策，可以用于分类和回归。一颗决策树包括一个根结点、若干个内部节点和若干个叶节点。从根节点出发，对每个特征划分数据集并计算信息增益（或者增益率，基尼系数），选择信息增益最大的特征作为划分特征，依次递归，直至特征划分时信息增益很小或无特征可划分，形成决策树。

	决策树
优点	1. 计算复杂度不高; 2. 输出结果易于理解; 3. 不需要数据预处理; 4. 对中间值的缺失不敏感; 5. 可以处理不相关特征数据; 6. 对于异常点的容错率高
缺点	1. 可能产生过拟合的现象; 2. 对于比较复杂的关系很难学习; 3. 样本发生一点点变化会导致树的结构剧烈变动

算法	优缺点
ID3算法	不足：无法处理连续特征；信息增益使得算法偏向于取值较多的特征；没有考虑缺失值和过拟合的问题。
C4.5算法	优点：可以处理连续特征，引入增益率校正信息增益，考虑了数据缺失和过拟合的问题；不足：剪枝方法有优化空间，生成的多叉树运算效率不高，大量对数运算和排序运算很耗时，只能用于分类不能回归。
CART算法	优点：解决了C4.5算法的不足，可分类可回归；不足：树的结构会由于样本的小变化发生剧烈变动，特征选择时都是选择最优的一个特征来做分类决策。