Transcript 判别分析

判别分析
第一节
第二节
第三节
第四节
第五节
判别分析方法
以直线划分的判别法
以曲线划分的判别法
费歇尔判别法
逐步判别法
第一节 判别分析方法
 分类：
 1、按判别的组数来分，有两组判别分析
和多组判别分析
 2、按区分不同总体所用的数学模型来分，
有线性判别和非线性判别
 3、按判别对所处理的变量方法不同有逐
步判别、序贯判别。
 4、按判别准则来分，有费歇尔判别准则、
贝叶斯判别准则
 判别分析是根据观察或测量到若干变量
值，判断研究对象如何分类的方法。实
际上是根据表明事物特点的变量值和它
们所属的类求出判别函数，根据判别函
数对未知所属类别的事物进行分类的一
种分析方法。
第二节 以直线划分的判别法
 一、判别的基本思想
 把观测到的n个样本看作p维空间的n个点，以
某种方法将p维空间划分为互不相交的q个区
域，每个区域对应着一个类，对于给定的新样
本点，必然要落入其中某个类中。
 对于满足类内样本点接近、类间样本点疏远的
性质，可以通过统计量来表现。
类间离差平方和
类内离差平方和
 比值越大说明类与类间差异越大，分类效果越
好







二、两个类别的判别
步骤：
1、计算两类(A,B)各自的均值
2、计算类内离差平方和与类间离差平方和
3、求出判别函数
4、计算待判样本的三个值y, y (a ) , y (b )
5、判断
先建立判别临界值y0,在两总体先验概率相等的假设下，一般
常取
n1 y ( A )  n 2 y ( B )
y0 
n1  n2
如果 y ( A ) 
于B组
如果 y ( A ) 
A组
y ( B ) ，则判定准则为：
y>y0,x属于A组； y<y0,x 属
y ( B ) ，则判定准则为：y>y
0,x属于B组；y<y0,
x属于
 例1：为研究某地区育龄妇女的生育状况，
根据生育峰值年龄，一胎生育率，二胎
生育率、多胎生育率及总和生育率5项指
标，将12个已知样本点分为两组，根据
已知样本建立判别函数，并判定另外3个
待判个体属于何组。数据见spssex/ex601
y   1 . 035 x1  4 . 117 x 2  1 . 544 x 3  2 . 008 x 5
 三、三个类别情形的判别
 1、三条线都有通过所有点的重心
 2、三条线相交组成一个三角形
第三节 以曲线划分的判别法
 一、判别原理
 马氏距离：
1
1
d ij ( M )  [( x i  x j )  s ( x i  x j )] 2
 判别函数：
1
d ( x , k )  z z  ( x  x ( k ) )  s k ( x  x ( k ))
2
 判别原则：
 二、马氏距离导出的二次曲线判别
 例3.研究某年全国各地区农民家庭收支的
分布规律，根据抽样调查资料进行分
类，共抽取28个省、市、自治区的六个
指标数据。先采用聚类分析，将28个
省、市、自治区分为三组，其中北京、
上海、广州3个城市属于孤立样本单位，
未归属于已分的三组中，现采用曲线判
别法来判定北京、上海、广州归属于哪
个组。原始数据见spssex/ex603
第四节 费歇尔判别法
 费歇尔判别方法是历史上最早提出的判
别方法之一，也叫线性判别法
 费歇尔判别的思想是通过将多维数据投
影到某个方向上，投影的原则是将类与
类之间尽可能的分开，然后再选择合适
的判别准则，将待判的样本进行分类判
别。
 一、判别原理
 设有q个总体G1,G2,…,Gq,每类中含有样本
数分别为n1,n2,…,nq
 假定所建立的判别函数为
y  a1 x1  a 2 x 2    a p x p  a x
 其中 a   ( a1 , a 2 , , a p ) 
x  ( x1 , x 2 ,  , x p ) 
 a表示p维空间的一个方向,如果按这个方
向做一条直线，a x 表示向量x在这条直
线上投影坐标
 将各组样本均值投影到某条直线上，得
到各组样本均值在该直线的投影坐标，
投影坐标值距离越远越容易判断待判样
本属于哪个组。
b
a
 费歇尔方法就是要找一由p变量组成的线性函
数，使得各组内点的函数值尽可能接近，而不
同组间的函数值尽可能远
 (a ) 
 (a )
a j
Q B (a )
Q B ( a )   ( a )QW ( a )
Q w (a )
Q B (a )
0 a
a j
  (a )
Ba   ( a )   Q ( k )  a
 Q ( k ) 
1
1
Ba   ( a ) a
(Q B   ( a ) I ) a  0

  ( a )QW ( a )
a j

 (a )
a j
QW ( a )   ( a )
 QW ( a )
a j
 QW ( a )
a j
Q B (a ) 


1
 a x ( k ) 
q

q
QW ( a ) 

2


a x ( k )   a Ba

q
QW ( k ) 
k 1
 (Y ( k )  Y ( k ) ) (Y ( k )  Y ( k ))
k 1
q

 a Q ( k ) a
k 1
 λ(a) 是Q-1 B的特征根，a是Q-1 B的特征向量
 二、判别的准则
 1、一维判别
 对于待判样本，计算 y  a x 和
若
a x  a x ( k )  a x  a x ( l )
y ( k )  a x ( k )
，则x属于第k
组
 2、多维判别
 多维判别函数建立后，把p维空间的点转
换成m维空间的点
d ( x , k )  ( y  y ( k ) ) ( y  y ( k ))  ( x  x ( k ) )  a a ( x  x ( k ))
2
 d 2 ( x, k )  d 2 ( x, l )
则x属于第k组
 三、判别的步骤
 1、由各组样本资料，计算各组样本均值
x (k )
 2、计算离差矩阵B
 n ( x ( k )  x )( x ( k )  x ) 
 3、计算各组样本离差平方和Q
B 
k
q
Q 
 Q ( k )   ( X ( k )  X ( k ) ) ( X ( k )  X ( k ))
k 1
 4、计算矩阵Q-1 B的前m个特征向量
 5、组成线性变换a，并计算各样本平均向量在
m维空间中的点
 6、判断
 例2：为研究某地区人口死亡状况，已按
某种方法将15个已知样本单位分为三
组，选择判别变量为2个：55岁组死亡概
率q55和80岁组死亡概率q80。建立判别
函数，判定另外4个待判样本属于何组。
数据见 spssex/ex602
SPSS
 Discriminant过程根据已知的观测量分类
和表明观测量特征推导出的判别函数，
并把各观测量的变量值回代到判别函
数，根据判别函数对观测量所属类别进
行判别。对比原始数据的分类和按判别
函数所羊的分类，给出错分概率。
功能
 给出各类观测量的单变量的描述统计量。
 给出费歇尔判别函数的系数或标准化及未标准
化的典则判别函数的系数。
 给出类内相关矩阵，类内、类间协方差矩阵和
总协方差矩阵。
 给出按判别函数判别的各观测量所属类别。
 带有错分率的判别分析小结。
 生成表明各类分布的区域图和散点图。
建立判别函数的方法
 全模型法：
 把用户指定的变量全部放入判别函数
中，不管变量对判别函数是否起作用，
作用的大小如何。
 逐步选择法：
判别分析的基本步骤：
 1、选择自变量及组变量
 2、计算各组单变量的描述统计量
 3、推导判别系数，给出标准化或未标准化的
典则判别系数，并对函数显著性进行检验
 4、建立Fisher线性判别函数
 5、进行判别分组
 6、进行样本回判分析，计算错分率
 7、输出结果
第五节 逐步判别分析
 一、逐步判别原理
 逐步判别分析从模型没有变量开始，每
一步都对模型进行检验，把模型外对模
型的判别力贡献最大的变量加到模型
中，同时考虑已经在模型中但又不符合
留在模型中条件的变量从模型中剔除。
 一个变量能否进入模型主要取决于协方
差分析的F检验的显著性水平
 F统计量的构造：
QW
 w11

w 21




 w p 1
 
QW L
w12

w 22



w p2

w1 p 

w2 p

 

w pp 
 t11

t 21

QT 


 t p 1
t12

t 22



t p2

L  1, 2 ,..., p
Q TL
 L
nLq
F引  
 1 
 F ( q  1, n  L  q )
  L 1
 q 1
F剔
 L
 n  ( L  1)  q
 
 1 
q 1
  L 1

t1 p 

t2 p



t pp 
 根据筛选后得到的变量，建立贝叶斯判
别函数进行判别分析：
y k  ln q k  C k 0 

C kj x
j
j 已入选变量
其中 C kj  ( n  q )  w ij x i ( k )
(l )
Ck0  
qk 
nk
n
1
2


C kj x j ( k )
j 已入选变量
nk
q

nk
k 1
 判别原则：对每个待判样本x，分别计算
各类判别函数值，比较值的大小，x属于
值最大组。
 二、选择变量方法
 1、Wilk’s λ最小法
 2、Rao’V最大法
 3、马氏距离最大法
 4、F统计量最大法
 5、剩余离差平方和最小法
Wilk’s λ最小法
 U统计量
 λ=组内平方和/总平方和，每一步都是统
计量最小的进入判别函数
 容许度=1-Ri2 (Ri2为偏相关系数）
F引
 p 1

1
p


  p 1

p



 n g  p

g 1


 p 1

1
p
F剔  
  p 1

p



ng p
 g 1


Rao’V最大法
 每步都是使RaoV统计量产生最大增量的变量进
入判别函数
p
V  (n  g )
i 1
p
 W ij
*
j 1
j
 x
ik
 x i  x jk  x j 
n k 1
 P—模型中的变量数，g—分类数，nk—第k组
样本大小，Wij*—组间协方差矩阵的逆矩阵
 V—两组均值之差
组间的F检验
F 
n  1  p n1 n 2 2
D
p  n  2  n1  n 2 
每步都使任何两类间的最小的F值最大
的变量进入判别函数
 例4：为研究某地区人口死亡状况，已按
某种方法将15个已知样本点分为三组，
选择判别变量为6个：0岁组死亡概率q0,1
岁组死亡概率q1,10岁组死亡概率q10,55
岁组死亡概率 q55, 80岁死亡概率q80,平
均预期寿命e0。试用逐步判别法建立判
别函数，判定另外4个待判样本点属于何
组。数据见 spssex/ex604