机器学习培训讲义(DOC 101页)

1.1学习问题的一般表达
1.2学习系统的设计
1.3机器学习所研究的主要问题
10.1导言
10.2顺序覆盖算法
10.2.1顺序覆盖算法框架
10.2.2（求一条规则的）从一般到特殊的Beam搜索
10.2.2.1爬山法
10.2.2.2Beam搜索法
10.2.2.3Beam搜索法的变体
10.3命题级规则学习综述
10.3.1规则集的构造方法
10.3.2搜索方向
10.3.3搜索诱导
10.3.4规则的后剪除
10.3.5规则的性能评价
10.4谓词级规则学习（归纳逻辑程序设计ILP）综述
10.5ILP典型系统--FOIL
10.5.1系统概述
10.5.2候选特殊化句节的生成
10.5.3最佳特殊化句节的选择（搜索的导向）
10.5.4递归规则
10.6归纳作为演绎的逆运算
1。在假设空间H的最优编码方案CH下，h的编码长度LH(h)为-log2P(h)
1．Agents：每一个棋子（皇后）是一个Agent。其特征刻画包括：
1．FOIL是本章前面讲的命题级的规则学习（顺序覆盖法和从一般到特殊的搜
1．Hoeffding界限：对任何单个假设h，的概率
1．Pos正例集；
1．两种不同的偏向：有的归纳学习算法的假设空间不完全而搜索却是完全的（如候选剪除算法），
此时的归纳偏向完全是关于假设的表达方面的问题，称为限制性偏向（或语言偏向）。
有的归纳学习算法的假设空间是完全的而搜索却是不完全的（如ID3算法），
此时的归纳偏向完全是关于搜索策略方面的问题，称为优先性偏向（或搜索偏向）。
第一章讲的计算机下跳棋问题则综合运用两种偏向：将棋盘评价函数定为线性函数是一种语言偏向，
而在调节系数时使用的最小均方系数调整规则（LMS系数调整规则）是一种搜索偏向。
1．乘法规则：两个事件A,B同时发生的概率P(AB)=P(A|B)P(B)=P(B|A)P(A)
1．从最一般的规则（条件为空）开始，把它作为当前最佳规则；
1．从最一般的规则（条件为空）开始，把它作为当前规则
..............................