决策树和模型评估课件(PPT 58页)

4.1 预备知识4.2 解决分类问题的一般方法
分类例子
分类：定义
分类过程
分类技术
决策树定义
决策树 例1
决策树 例2
决策树应用过程：使用模型测试数据－1
使用模型测试数据－2
使用模型测试数据－3
使用模型测试数据－4
使用模型测试数据－5
使用模型测试数据－6
决策树构造算法
Hunt 算法结构
例  P93～P95 预测拖欠银行贷款的贷款者
如何生成决策树？
决策树归纳的设计问题1：1.1 定义属性测试条件
标称属性的划分方法：(数据集见P122习题2)
序数属性的划分方法：
连续属性的划分方法
决策树归纳的设计问题1：1.2 找到最好划分方法
选择最佳划分的度量
结点不纯度的度量方法：
计算不纯性方法1: 熵
例：分别计算3个结点的熵
练习1
计算不纯性方法2: 基尼指数（gini）
例：分别计算3个结点的Gini指数
练习2
计算不纯性方法3:分类差错率
例：分别计算3个子女结点的分类差错率
练习3
二元分类问题结点不纯性度量之间的比较：
利用不纯性度量，选择最佳划分
利用增益Δ来选择最佳划分示意：
练习4
改进方法
比较不同类型的属性的划分（以Gini指数为例）
基于GINI指数的二元属性划分方法
基于GINI指数的标称属性划分方法
基于GINI指数的连续属性划分方法
改进方法：
决策树归纳的设计问题2：如何停止分裂过程？
4.3.5 决策树归纳算法
TreeGrowth算法框架（P101）
案例学习：4.3.6 Web机器人检测
4.3.7 决策树归纳的特点
4.4
拟合不足 和 过分拟合
噪声导致过分拟合
缺乏代表性样本导致过分拟合
4.4.5 处理决策树归纳中的过分拟合
..............................