Transcript 因子分析
第四章 因子分析 第一节 因子分析方法 第二节 因子分析模型 第三节 因子分析模型的解 第四节 方差最大正交旋转 第五节 因子得分 推荐阅读 第一节 因子分析方法 因子分析概念起源于20世纪初Karl Pearson 和Charles Spearmen等人关于 智力测验的统计分析。 因子分析的基本思想是把每个研究变量 分解为几个影响因素变量，将每个原始 变量分解成两部分因素，一部分是由所 有变量共同具有的少数几个公共因子组 成的，另一部分是每个变量独自具有的 因素，即特殊因子。 xi=∑aijfj+ei 第二节 因子分析模型 一、因子分析模型 X*:标准化后的数据，F：公共因子，E：特殊 因子 假设x*、F、E满足这样一些性质： (1)E(x*)=0 E(x)=0 (2)E(F)=0,cov(F)=I (3)E(E)=0,cov(E)=∑，cov(ei,F)=0 x1*=a11F1+a12F2+…+a1mFm+e1 x2*=a21F1+a22F2+…+a2mFm+e2 … xp*=ap1F1+ap2F2+…+apmFm+ep X*=AF+E 或X*=F'A'+E 其中X*=(x1*,x2*…,xp*)′, F=(F1,F2,…,Fm) ′E=(e1,e2,…ep) ′ a11 a12 … a1p A= a21 a22 … a2p … ap1 ap2 … app A称为因子载荷矩阵或因子负荷矩阵 二、因子载荷量的统计意义与性质 1、因子载荷aij的统计意义 xi*=ai1F1+ai2F2+…+aimFm+ei Cov(xi*,Fj)=cov(∑aikFk+ei,Fj) =cov(∑aikFk,Fj)+cov(ei,Fj) =aij cov( xi *, F j ) r=aij r var( xi *) var( F j ) 在各公共因子不相关的前提下，aij是xi* 与Fj的相关系数，表示xi*依赖于Fj的程度。 反映了第i个原有变量在第j个公共因子上 的相对重要性。因此， aij的绝对值越大， 则公共因子Fj与原有变量Xi的关系越强。 2、变量共同度及其统计意义 因子载荷阵中第 i行元素的平方和称为xi* 的共同度。 h12=a112+a122+…+a1m2 h22=a212+a222+…+a2m2 。。。 hp2=ap12+ap22+…+apm2 m var(X i* ) var( aij F j ei ) j 1 aij2 var(F j ) var(ei ) aij2 i2 hi2 i 1 hi2反映了全部公共因子对变量Xi*的影响，是全 部公共因子对变量方差所做出的贡献，或者说Xi* 对公共因子的共同依赖程度，称为公共因子对变 量Xi*的方差贡献。 Hi2接近于1，表明该变量的原始信息几乎都被 选取的公共因子说明了。 特殊因子的方差，反映了原有变量方差中无法 被公共因子描述的比例。 3、公共因子的方差贡献及其统计意义 g1=a112+a212+…+ap12 g2=a122+a222+…+ap22 … gm=a1m2+a2m2+…+apm2 表示第j个公共因子Fj对于X*的每一分量Xi*所提 供的方差的总和。称第j个公共因子的方差贡献。 是衡量公共因子相对重要性的指标，gi越大， 表明公共因子Fj对X*的贡献越大，该因子的重 要程度越高 Fj的方差贡献率 gj p 也是衡量公共因子相对重要性的另一指标。 4、正交因子载荷不具有唯一性 R cov(X * ) E ( X * E ( X * ))2 E ( X * ) 2 E ( AF E ) 2 E (( AF ) 2 2 AFE E 2 ) E ( AF ) 2 2 E ( AFE) E ( E 2 ) 1 ( AF )( AF ) E ( E 2 ) n 1 1 A( F F ) A E E n n AD( F ) A D ( E ) AA 但此公式并非唯一公式： R AA AUU A AU ( AU ) A* ( A* ) 其中： UU I 两个变量xk*与xl*的相关系数和协方差等 于因子载荷阵中第k行与第l行对应元素乘 积之和。 q r ( X k* , X l* ) ak1al1 ak 2 al 2 ... akqalq aki ali i 1 例1 某校对学生进行了测量语言能力和数学能力的六项考 试。考试成绩都化为标准分。假定x1*,x2*,x3* 是语言 能力的三项不同考试的标准分， x4*,x5*,x6*是数学能 力的三项不同的标准分。通过部分学生这六项考试成 绩，得到相关系数矩阵： 依此得出因子载荷矩阵： 1 0.24 0.28 R 0.20 0.24 0.28 1 0.42 1 0.30 0.35 1 0.36 0.42 0.78 1 0.42 0.49 0.75 0.72 1 0.272 0.293 0.409 0.439 0.477 0.513 A 0.926 0.179 0.848 0.031 0.843 0.172 x1* 0.272 f1 0.293 f 2 e1 据此可写出因子模型： x2* 0.409 f1 0.439 f 2 e2 x3* 0.477 f1 0.513 f 2 e3 x4* 0.926 f1 0.179 f 2 e4 x5* 0.848 f1 0.031f 2 e5 x6* 0.843 f1 0.172 f 2 e6 还可求出各变量的共同度，各变量对应的特殊 因子方差，各公共因子方差贡献率以及两个公 共因子的累计方差贡献。 变量 X1* X2* X3* X4* X5* X6* 方差贡献率 累计方差贡 献率 ai1 0.272 0.409 0.477 0.926 0.848 0.843 45.9% 45.9% ai2 0.293 0.439 0.513 -0.179 0.031 0.172 10.1% 56% 共同度 0.16 0.36 0.49 0.89 0.72 0.74 56% 特殊因子方差 0.84 0.64 0.51 0.11 0.28 0.26 44% 因子变量的特点 1、因子变量的数量远少于原有指标变量 的数量。 2、因子变量是对原始变量的重新组构， 能够反映原有众多指标的绝大部分信息。 3、因子变量之间没有线性相关关系，对 因子变量的分析能够为研究工作提供较 大的便利。 4、因子变量具有命名解释性。 第三节 因子分析模型的解 一、主因子法 主因子法的基本思想是使用多元相关的平方作 为对公因子方差的初始估计。初始估计公因子 方差时多元相关系数的平方置于对角线上。这 些因子载荷用于估计新公因子方差，替换对角 线上前一次的公因子方差估计。这样的迭代持 续到，本次到下一次迭代结果公因子方差的变 化满足提取因子的收敛判据。 1、给出共同度hi2的初步估计值hi*2 以第i个变量xi*与其它所有变量x1*,x2*,…,xi1*,xi+1*,…,xp*回归的复相关系数的平方作为初 始估计值 2、求出约化相关阵 计算φi*=1-hi*2,再计算出R*=R- φ* 3、求出特征根和特征向量 由方程︱R*-λI︱=0求出，并利用特征根、特征 向量求出因子载荷阵A1 4、求出φ的估计，用估计值代替第二步的φ* φ的估计： φ*（1）=R-A1A1′ 5、继续第三步，直到A， φ的估计达到稳定为 止 例4.1 根据十四个国家的十个指标值， 求主因子解，建立因子分析模型。（数 据见spssex/ex401) 例4.2 根据88个学生的力学、统计学等5 门功课开、闭卷考试的成绩，以因子分 析法了解5门功课成绩与开、闭卷因素的 关系。（数据见“开闭卷成绩”） Principal components:主成分法 Unweighted least square:不加权最小平方法 Generalized least squares:普通最小平方法 Maximum likelihood:最大似然法 Principal axis factoring:主因子法 Alpha factoring:α因子提取法 Image factoring:映象因子提取法 常用确定q的方法是按特征根由大至小的次序 抽取，直到 q 与 p h2 接近为止。 * i 1 i i 1 i 二、主成分分析法 ( R I )U 0 RU U R UU R 1U1U1 2U 2U 2 pU pU p 1U1 2 U 2 1U1 2 U 2 pU p p U p BB 0 主成分解 R 1U1 2 U 2 AA hˆi2 ai21 ai22 aiq2 q U q 1U1 2 U 2 q U q 确定公共因子的个数有两种方法：一是 根据具体问题的专业理论来确定，二是 利用主成分分析中选取主成分个数的方 法 例4.3 影响火柴销售量的主要指标有： 煤气、液化气户数、卷烟销售量、蚊香 销售量、打火石销售量。调查了某地区 从1963-1982年共20个年头的数据，进 行因子分析（数据见spssex/ex402）。 第四节 方差最大正交旋转 因子旋转的目的： 使每个变量在尽可能少的因子上有比较高的 载荷，让某个变量在某个因子上的载荷趋于1， 而在其他因子上的载荷趋于0。 要求每一列上的载荷大部分为很小的值，每一行 中只有少量的最好只有一个较大的载荷值；每 两列中大载荷与小载荷的排列模式应该不同。 因子旋转的方法： 1.varimax:方差最大旋转。简化对因子的解释 2.direct oblimin:直接斜交旋转。允许因子之间具 有相关性。 3.quartmax:四次最大正交旋转。简化对变量的解 释 4.equamax:平均正交旋转。 5.promax:斜交旋转方法。 两因子的方差最大正交旋转 a11 a12 a a cos sin 21 22 A C sin cos a p1 a p 2 a11 cos a12 sin a11 sin a12 cos B AC a p1 cos a p 2 sin a p1 sin a p 2 cos b11 b12 b p1 b p 2 这样做的目的是希望所得结果能使载荷矩阵的每 一列元素尽可能向1和0两极分化，即原始变量中 一部分主要与第一因子有关，另一部分主要与第 二因子有关，也就是要求（b112,…,bp12）， （b122,…,bp22）这两组的方差尽量大。 2 2 b 1 b 1 1,2 p i 1 h p i 1 h G V1 V2 max G 0 D 2 AB / p tg 4 2 2 2 2 a j1 a j2 C (A B ) / p j hj hj p p V p 2 i 2 i p 2 i 2 i A j j 1 p B vj D 2 j v j j 1 j 1 vj 2 a j 1a j 2 p h 2j C 2j v 2j j 1 多因子的方差最大正交旋转 如果公共因子多于2个，可以每次取2个因子， m( m 1) c 全部配对旋转需要 次，全部旋转完毕 2 算一次循环，如果循环完毕得出的因子载荷阵 还没达到目的，则可以继续进行第二轮配对旋 转，。。。，如此不断重复旋转循可得V值的 一个升序列：V（1）≤V（2） ≤ V（3） ≤… 实际应用中，经过若干次旋转之后，若相对方 差改变不大，则停止旋转。 2 m 第五节 因子得分 因子分析的数学模型是将变量表示为公 共因子的线性组合，由于公共因子能反 映原始变量的相关关系，用公共因子代 表原始变量时有时更有利于描述研究对 象的特征，因而往往需要反过来将公共 因子表示为变量的线性组合，即因子得 分函数，用它来计算每个样本的公共因 子得分。 一、巴特莱特因子得分 把一个个体的p个变量的取值X*当作因变 量，把求因子解中得到的A作为自变量数 据阵，对于这个个体在公因子上的取值 f， 当作未知参数，而特殊因子的取值看作 误差 e，于是得到如下的线性回归模型： x*=Af+e，则称未知参数f为取值为X*的 因子得分 X * Af e 1 2 1 2 1 2 X * Af e 1 其中： ee n ˆf A 1 A 1 A 1 X * 最小二乘法 二、汤姆生因子得分 将公共因子F用变量的线性组合来表示： Fj bj1x1 * bj 2 x2 * bjp x p * BX * B的最小二乘估计为： 1 BR A 因子得分的估计为： ˆf X * R 1 A 因子分析的基本思路 1、确认待分析的原有若干变量是否适合 作因子分析 2、构造因子变量 3、利用旋转方法使因子变量更具有可解 释性 4、计算因子变量得分 如果相关系数矩阵中大部分相关系数都 小于0.3且未通过统计检验，那么这些变 量就不适合做因子分析。 Bartlett test of sphericity H0:相关系数矩阵是一个单位阵 如果统计量值比较大，且其相对应的相 伴概率值小于用户指定的显著性水平， 拒绝原假设，认为适合作因子分析。 反之，接受原假设，不适合作因子分析。 反映象相关矩阵检验（Antiimage） 由于偏相关系数是在控制了其他变量对 两变量影响的条件下，计算出来的净相 关系数，如果变量之间确实存在较强的 相互重叠传递影响，即如果变量中确实 能够提取出公共因子，那么控制了这此 影响后的偏相关系数必然很小，因此， 如果反映象相关矩阵中的有关元素的绝 对值比较大，则说明这些变量可能不适 合作因子分析 KMO检验 KMO的取值在0和1之间，KMO越接近于 1，则越适合作因子分析 KMO 2 r ij i j 2 2 r p ij ij i j i j 推荐阅读 期刊名及期数 论文题目 数量经济技术经济研究 2003.10 影响中国上市公司融资 结构的主要因素分析 统计研究 2004.2 我国网络公司兼并活动 与盈利情况相关性的实 证研究