试论基于信息论的数据挖掘方法(ppt 80页)

试论基于信息论的数据挖掘方法目录：
一、信息论原理
二、信道模型
三、不确定性
四、互信息
五、互信息的计算
六、自信息定义
七、信息熵定义
八、举例
九、讨论
十、条件熵定义
十一、平均互信息量定义
十二、其他定义
十三、信息论在决策树中的应用
十四、基于信息论的数据挖掘方法
十五、决策树的方法
十六、决策树的基本概念
……

 

试论基于信息论的数据挖掘方法内容提要：
决策树的方法：
基本概念
ID3的基本思想和算法
ID3算法举例
ID3算法的改进和讨论
决策树算法：
基本算法（贪心算法）
自上而下分而治之的方法
开始时，所有的数据都在根节点
属性都是种类字段 (如果是连续的，将其离散化)
所有记录用所选属性递归的进行分割
属性的选择是基于一个启发式规则或者一个统计的度量 (如, information gain)
停止分割的条件
一个节点上的数据都是属于同一个类别
没有属性可以再用于对数据进行分割

..............................