决策树统计学习方法概述(PPT 66页)

1.1决策树模型与学习
1.2特征选择
1.3决策树的生成
1.4决策树的剪枝
1.5CART算法
1.1.1决策树模型
1.1.2决策树与if-then规则
1.1.3决策树与条件概率分布
1.1.4决策树学习
决策树
决策树学习算法的特点
决策树学习的主要算法
例1.找对象
1.2特征选择1.2.1特征选择问题
1.2.2信息增益
熵-就分类而言，所有成员都属于一类，熵为零；
不同类别数目相等，则熵等于1，类别数目不等，则熵介于0,1之间。
条件熵
信息增益
信息增益的具体公式
信息增益算法
例1.3对表1.1所给的训练数据集D,根据信息增益准则选择最优特征。
1.2.3信息增益比
1.3决策树的生成1.3.1ID3算法
例1.4对表1.1的训练数据集，利用ID3算法建立决策树
这里生成的决策树只用到两个特征（两个内节点），
ID3算法容易存在过拟合问题。
补充：如何解决决策树的过拟合问题
补充：如何解决决策树的过拟合问题——概念
二.产生过度拟合数据问题的原因有哪些？
三.如何解决过度拟合数据问题？
1.3.2C4.5的生成算法
算法1.4树的剪枝算法
关于剪枝的补充——先剪枝
补充：关于剪枝——先剪枝
关于剪枝的补充——后剪枝
补充：关于剪枝的准则
REP——错误率降低剪枝
PEP——悲观错误剪枝
PEP——小例题
例子
CCP续
1.5CART（分类与回归树）算法
1.5.1CART生成
GINI指数
1.5.2CART剪枝
实验结果
解决决策树过拟合的另一种方法——随机森林
回归问题
投票机制
贝叶斯投票机制
投票机制举例
一种可能的方案
..............................