Transcript ������

第五章 机器学习
第一节 引言
一、学习
如果一个系统能够执行某个过程而改进它的性能，这就
是学习。
学习是获取知识、积累经验、改进性能、发现规律、适
应环境的过程。其基本机制是设法将在一种情形下成功的
表现行为转移到另一类似的新情形中去。
二、学习分类
1、基于归纳的学习（归纳学习）
2、基于分析的学习（分析学习）
3、基于遗传原理的学习（遗传学习）
4、基于海量并行(神经网络)的学习（神经网络学习）
第五章 机器学习
第二节 归纳学习
一、基本含义
给定关于某个概念的一系列已知的正例和反例，
从中归纳出一个一般的概念描述的过程。
基本操作是泛化(Generalization)和特化
(Specialization)
二、分类
1、实例学习
也称概念获取，确定概念的一般描述，这个描述
应能解释所有给定的正例并排除所有给定的反例。
这些正例和反例由信息源提供，是有教师学习。
第五章 机器学习
第二节 归纳学习
二、分类
2、观察与发现学习
也称描述的泛化，产生能解释所有或大多数观察
到的事实的规律和规则。
这类学习包括概念聚类、构造分类、发现定理、
形成理论等。
第五章 机器学习
第二节 归纳学习
三、归纳学习方法
有变型(版本)空间、决策树方法、AQ11算法等。
第五章 机器学习
第二节 归纳学习
四、变型(版本)空间方法 (Version Space)
以整个规则空间为初始的假设规则集合H，依据
训练例子中的信息，对集合H进行泛化和特化处理，
逐步缩小集合H。
Mitchell假定这个空间是一偏序结构，并将单个
概念学习定义为在这个空间的搜索。
没有描述
特
化
泛
化
更一般
G
S
更特殊
第五章 机器学习
第二节 归纳学习
五、AQ归纳学习算法
生成的选择假设的析取，覆盖全部正例，而不覆
盖任何反例。
AQ11算法搜索规则空间，反复应用消除候选元
素，得到尽可能一般的规则，可包含多概念学习。
注：AQ11的原理是将样本集构成一个逻辑公式。
构成的方法是根据决策属性对样本集的划分，所有
正样本与所有反样本构成逻辑公式Ep~En，这个
逻辑公式就是对正样本集的表示，其中每个样本是
“属性—值”对的合取连接式。
六、产生与测试方法
仅通过正例学习概念，引入“概念窗口”概念。
第五章 机器学习
第二节 归纳学习
七、决策树学习
决策树可以用来表示析取概念。
1、CLS学习算法
从一个空决策树开始，通过增加决策结点，逐渐
精化，直到树正确分类全部训练实例。
其缺陷是学习问题不能太大。
2、ID3学习算法 ——Quinlan 1979
采用训练实例的子集(即，可选择窗口)，通过属
性，使用熵概念，来形成决策树。实质是构造一株
熵值下降平均最快的判定树。
注：ID3的数学基础是商集。
第五章 机器学习
第二节 归纳学习
七、决策树学习
3、ID4学习算法
在每个可能的决策树结点创造一系列表。每个表
由全部未检测属性值和每个值的正例和反例数组构
成。当处理一个新例时，每个属性值的正例和反例
递增计量。即，递增概念归纳。
4、ID5学习算法
抛弃旧的检测属性下面的子树，从下面选出检测
属性形成树。
5、C4.5和C5
处理连续属性。
第五章 机器学习
第二节 归纳学习
八、归纳学习的计算理论
学习算法的样本复杂性和计算复杂性。
Gold学习理论和Valiant学习理论。
Valiant ——关于可学习性的理论：概率地、近似
地、正确地可学习的(PAC Probably、
Approximately、Correct)
PAC学习模型。
第五章 机器学习
第三节 分析学习
一、类比学习
1、类比 —— 比喻
类比是人类重要的认知方法，是经验决策过程中
常用的推理方式，是一种允许知识在具有相似性质
的领域中进行转换的学习策略。
2、类比学习
把两个或两类事物或情形进行比较，找出它们在
某一抽象层次上的相似关系，并以这种关系为依据，
把某一事物或情形的有关知识加以适当整理(或变
换)对应到另一事物或情形，从而获得另一事物或
情形的知识，称为类比学习。
第五章 机器学习
第三节 分析学习
一、类比学习
2、类比学习
注：1)类比学习的核心技术是相似性的定义和度
量。
2)类比有多种形式，如，方法类比、概念类比、
图形类比、联想型类比等等。
3、类比学习主要步骤
a)联想搜索匹配
b)检验相似程度
c)修正变换求解
d)更新知识库
第五章 机器学习
第三节 分析学习
一、类比学习
4、类比学习方法
a)转换类比
b)派生类比
c)基于案例的学习
第五章 机器学习
第三节 分析学习
一、类比学习
5、转换类比学习系统
主要由比较器、知识库、操作模块、解法栈、检
验模块组成。
6、派生类比
将转换类比进行扩充，对过去求解的问题进行完
整地派生跟踪。
第五章 机器学习
第三节 分析学习
一、类比学习
7、基于案例的学习
是基于类比的学习的进一步发展，特别适用于较
难发现规律性知识、也不容易找到因果模型的领域。
注：1)基于案例的学习所使用的案例库不象规则库
那样有知识的不一致问题。
2)基于案例的学习从其本性来说就是增量式学习。
3)基于案例的学习需要保持和管理一组数量较大的
案例。
第五章 机器学习
第三节 分析学习
一、类比学习
7、基于案例的学习
注：4)基于案例学习的一般过程如下：
输入
分析模型
检索信息
范例检索
源范例
检索方法
类比映射
映射方法
范例保存 类比转换
转换规则
源范例库
新范例 类比验证
失败描述或部分解
解释过程
新解
范例修补
修改规则
第五章 机器学习
第三节 分析学习
二、基于解释的学习(解释学习)
给定一个具有丰富领域知识的知识库，给定一个
目标概念G，输入一个实例e，使用知识库中的知
识或在专家的帮助下，证明e是G的一个实例(即解
释e是G的一个实例)，对获得的解释进行推广，得
到一个更一般的解题过程(泛化)，把通过泛化得到
的知识加进知识库中。
注：解释可使用目标回归方法和基于解释的特化
(EBS)。
第五章 机器学习
第四节 遗传式学习
一、基本原理
1、竞争机制
将竞争机制引进系统，以便不断改进和完善系统
的工作性能，使系统具有自适应性。
注：1)若一系统在工作过程中能够根据外界的反馈
信息对自己的工作方式进行调节，甚至对自己的工
作机制重新组织(自组织)，使整个系统工作得更好，
则称该系统具有自适应性。这种调整和适应的过程，
可以看作是系统的学习过程。
第五章 机器学习
第四节 遗传式学习
一、基本原理
1、竞争机制
注：2)在自适应系统中引进竞争机制，就是将达尔
文发现的物种竞争、适者生存的生物进化规律运用
到系统的演变中来，并把它们作为一种学习的手段
加以运用，以便淘汰不适用的知识，增加有用的知
识。
第五章 机器学习
第四节 遗传式学习
一、基本原理
2、知识更新的随机性
系统知识的演变是不确定的，方法是作各种随机
的改动，然后将改动的结果应用于解题，保留成功
的，抛弃失败的。
注：1)这相当于在一个庞大的解空间中作随机搜索，
在使用适当的启发式原则的前提下，搜索结果将收
敛于一个较好的解。
第五章 机器学习
第四节 遗传式学习
一、基本原理
2、知识更新的随机性
注：2)遗传算法采用的启发式原则主要是爬山法。
从一个初始知识库出发，随机地选择能够改进知识
库性能的某种变动，这相当于向上的高处爬了一步，
结果得到一个新的知识库，然后，再以此知识库为
出发点，再作改动，再向上爬一步，这样不断地改
进。其中所使用的改进手段称为遗传算子。
3)统计抽样是遗传算法的支柱之一。
第五章 机器学习
第四节 遗传式学习
二、基本遗传算法
1、给定一个初始知识库
2、计算每个知识单元u对外界环境的适应程度f(u)。
注：若知识单元是规则，则称为规则强度。
3、根据各知识单元对环境的适应度f(u)，计算它们
被选中作物种演变的概率值
4、根据概率值选出一批知识单元
5、运用各种遗传算子于被选中的知识单元，产生
一批新的知识单元，即它们的后代
6、用这批后代去代替知识库中原有的适应度最低
的那些知识单元，实现知识更新
第五章 机器学习
第四节 遗传式学习
二、基本遗传算法
7、将新知识库作用于外界环境，解决新的问题，
获得新的反馈信息，重新计算各知识单元对环境的
适应度，转3
注：1)为了便于大规模并行处理，使形式简单、规
范化，在遗传算法中通常采用一种称为分类器的语
言。该语言是一个三元组(A,#,k)，其中A是字母表，
#是一个变量符，k是一个正整数，k>=1。L中的每
个句子是一个长度为k的符号串，其中每个符号属
于集合A{#}
第五章 机器学习
第四节 遗传式学习
二、基本遗传算法
注：2)一个规则型分类器L是一个四元组
(A,#,k1,k2)，L中的每个句子是一个长度为k1+k2的
符号串，前面k1个符号组成的符号串称为该句子的
条件部分，后面k1个符号组成的符号串称为该句子
的动作部分。此时，句子也称为规则。
3)分类器语言的每个句子相当于一个知识单元。
第五章 机器学习
第四节 遗传式学习
三、遗传算子
1、杂交
C(a1,a2)={a1’,a2’}
2、变异
M(a1)=a1’
第五章 机器学习
第四节 遗传式学习
三、遗传算子
3、逆转
i(a1)=a1’
第五章 机器学习
第四节 遗传式学习
四、水桶排队算法
1、输入界面从外部环境接受消息，如果其中包含
对上一步中某个输出消息的肯定，且此输出消息的
生产者是规则a，则令
q(a,t):=q(a,t)+B(a,t)，
其中，q(a,t)是规则a在时刻t的强度；
B(a,t)=C*z(a)*q(a,t) (C是一个常数,C<<1)
z(a)=
a的条件部分中非# 符号个数
a的条件部分符号总数
第五章 机器学习
第四节 遗传式学习
四、水桶排队算法
2、把收到的外部消息记录在消息表上
3、把消息表上的全部消息和知识库中所有规则的
条件部分匹配
4、令匹配成功的规则集为S，若S为空集，则转9
5、设当前时刻为t，计算每个规则在时刻t的竞争
力，根据竞争力算出这些规则被选中的概率，根据
这些概率选出一批规则作为获胜者，它们将自己的
动作部分作为新消息存于缓冲区中
6、若缓冲区中含有矛盾消息，则继续使用竞争的
办法消除矛盾中较弱的一方
第五章 机器学习
第四节 遗传式学习
四、水桶排队算法
7、用缓冲区中剩余的消息代替消息表上原有的消
息
8、若经过4、5、6各步后缓冲区中留存的各个消息
的生产者是规则组{ai}，则对每个ai作如下操作：
(1)q(ai,t+1):=q(ai,t)-B(ai,t)
(2)对任何规则bj，若bj在上一步中产生的消息使ai
在这一步匹配成功，则令
q(bj,t+1):=q(bj,t)+B(ai,t)/n (n是满足上述条件的bj的
个数)
第五章 机器学习
第四节 遗传式学习
四、水桶排队算法
9、调用遗传学习算法改进知识库，得到一个新的
知识库
10、输出界面向外部环境输出消息表中的消息，
t:=t+1，转1
注：水桶排队算法可作为信任分配机制。
第五章 机器学习
第四节 遗传式学习
五、具体遗传算法
1、给定一个初始知识库
2、利用水桶排队算法计算知识库中每个规则ai的
强度q(ai,t)及标准强度a(ai,t)/q(t)，其中t表示当前时
刻(第t个循环)，q(t)是库中全体规则强度的平均值
3、根据各规则的标准强度，计算它们被选中作物
种演变的概率值
4、根据概率值从知识库中选出2n条规则，并构造
它们的复制品，其中n应<<规则的总数
第五章 机器学习
第四节 遗传式学习
五、具体遗传算法
5、把2n条规则随机地组成n对，对每一对规则使用
杂交算子或其它遗传算子，得到n对新的规则，每
一条新规则的强度是它们的父母规则强度的平均值
6、用这批新规则取代知识库中原来强度最低的2n
条规则，t:=t+1 #
第五章 机器学习
第五节 神经网络学习
一、感知机学习
学习权 进行权值调整
二、Hebb学习法则
根据输出和教员的指示调整权值的增长幅度
三、广义Hebb学习规则——学习规则
注：在学习规则中，权值调整方向是使各权值的
误差平方和变得最小的方向(最小均方差)。
四、多层网络的学习
使用反传算法
五、Hopfield模型网络
使用模拟退火方法。
第五章 机器学习
第六节 数据挖掘与知识发现
一、问题的提出
1、网络技术促进信息技术的发展
a)信息过量，难以消化
b)信息真假，难以辨识
c)信息安全，难以保证
d)信息形式不一致，难以统一处理
2、数据海洋——数据分析
被数据淹没，人们却饥饿于知识
3、数据库、人工智能、数理统计、可视化技术、信息基
础设施提供必有条件
DMKD成为可能
4、首次提出
IJCAI’89 (第十一届)
第五章 机器学习
第六节 数据挖掘与知识发现
二、基本概念
从大量的、不完全的、有噪声的、模糊的数据中，提取
隐含在其中的、人们事先不知道的、但又有潜在有用价值
的信息和知识过程。
注：1)数据源是真实的、大量的、含噪声
2)数据源支持相应的发现，但发现的知识是隐含的、事
先不知道的；是发现，不是证明
3)发现的是人们感兴趣的知识，且一般是从大量的数据
中提炼出抽象的知识
4)发现的知识可接受、可理解、可运用
5)不要求发现通用知识，仅支持特定的问题
6)需综合运用统计学、粗糙集、模糊数学、机器学习和
专家系统、神经网络、可视化等多学科的手段与方法
第五章 机器学习
第六节 数据挖掘与知识发现
三、最常发现的知识
1、广义型知识(Generalization)
根据数据的微观特性发现其表征的、带有普遍性
的、较高层次概念的、中观和宏观的知识
2、分类型知识(Classification &Clustering)
反映同类事物共同性质的特征型知识和不同事物
之间差异型特征知识
3、关联型知识(Association)
反映一个事件和其它事件之间依赖或关联的知识
4、预测型知识(Prediction)
通过时间序列型数据，由历史和当前的情况去预
测未来的情况
第五章 机器学习
第六节 数据挖掘与知识发现
四、最有影响的发现算法
1、概念树提升算法
Simon Fraster大学J.Han
2、关联算法
IBM R Agrawal
3、分类算法C5/C4.5
Quinlan
4、遗传算法
E. Godman
第五章 机器学习
第六节 数据挖掘与知识发现
五、知识发现过程
1、数据准备
数据选取、数据预处理、数据变换
2、数据挖掘阶段
3、结果解释和评价
六、活跃的应用领域
1、市场营销
2、金融与银行业
3、电信、交通和保险业
4、政府和防卫部分
5、商务智能(业务智能，BI)
将数据变为知识，并将知识变为商业效益
第五章 机器学习
第六节 数据挖掘与知识发现
七、21世纪初DMKD研究课题
1、定性值和定量值之间的转换
a)自然语言在人类思维中具有不可替代性
b)人工智能的最基本问题——知识表示
c)Fuzzy Sets, Rough Sets
d)从定性到定量的综合集成
2、数据仓库技术
数据仓库是面向主题的、集成的、与时间关联的、
相对稳定的、支持决策制定过程的数据集合。它从
大量的事务数据库中抽取数据，通过转换形成统一
的格式。
第五章 机器学习
第六节 数据挖掘与知识发现
七、21世纪初DMKD研究课题
3、数据立方体代数
把多维数据模式中的某一属性作为观察对象，称
为维(Dimension)。维可以有层次结构。将反映对
象特征的属性称为指标(measure)，这样的结构称为
数据立方体(Data Cube)。
数据立方体的实体化是指预先执行某些计算，存
储计算结果，在数据分析时直接使用。
4、Text Mining
5、Web Mining
6、Data Mining for Audio &Video
第五章 机器学习
第六节 数据挖掘与知识发现
七、21世纪初DMKD研究课题
7、发现语言的形式化描述
8、可视化、交互式发现
9、发现知识的维护更新
思考题
• 学习的基本机制和主要作用是什么？试举例说明。
• 归纳学习的基本思想是什么？如何在特定的应用
领域应用归纳学习方法？如何评价归纳学习效果？
• 类比学习的基本思想是什么？如何在特定的应用
领域应用类比学习方法？
• 遗传学习的基本机制是什么？应用遗传学习方法
的关键点有哪些？为什么？
• 你认为“数据挖掘与知识发现”方法是一种学习
方法吗？为什么？