Transcript Document
九、线性回归分析 9.1 回归分析概述 9.2 线性回归分析和线性回归模型 9.3 回归方程的统计检验 9.4 多元回归分析中的其他问题 9.5 线性回归分析的基本操作 9.6 线性回归分析的应用举例 9.7曲线估计 9.1回归分析概述 1、线性回归分析概述 • 线性回归分析的内容 能否找到一个线性组合来说明一组自变量和因变量的关 系 如果能的话，这种关系的强度有多大，也就是利用自变 量的线性组合来预测因变量的能力有多强 整体解释能力是否具有统计上的显著性意义 在整体解释能力显著的情况下，哪些自变量有显著意义 • 回归分析的一般步骤 确定回归方程中的解释变量（自变量）和被解释变量（ 因变量） 确定回归方程 对回归方程进行各种检验 利用回归方程进行预测 2、 线性回归模型 一元线性回归模型的数学模型： y 0 1 x 其中x为自变量；y为因变量； 0 为截距，即 常量；1 为回归系数，表明自变量对因变量的影 响程度。 用最小二乘法求解方程中的两个参数，得到： 1 ( x x )( y y ) (x x) i i 2 i 0 y bx 多元线性回归模型 多元线性回归方程： y=β0+β1x1+β2x2+...+βkxk β1、β2、βk为偏回归系数。 β1表示在其他自变量保持不变的情况下，自变量x1变动 一个单位所引起的因变量y的平均变动。 3 、回归方程的统计检验 1、回归方程的拟合优度 回归直线与各观测点的接近程度称为回归方程的拟合优度， 也就是样本观测值聚集在回归线周围的紧密程度 。 1、离差平方和的分解： 建立直线回归方程可知：y的观测值的总变动 可由 2 来反映，称为总变差。引起总变差的 ( y y) 原因有两个： 由于x的取值不同，使得与x有线性关系的y值不同； 随机因素的影响。 y ( y0 y ) y ˆ ( y0 y ) ˆ ( y y) ˆ y a bx x 总离差平方和可分解为 y y 2 2 y y y y 2 即：总离差平方和（SST)=剩余离差平方和(SST) +回归 离差平方和（SSR) 其中；SSR是由x和y的直线回归关系引起的，可以由回归 直线做出解释；SSE是除了x对y的线性影响之外的随机因素所 引起的Y的变动，是回归直线所不能解释的。 2、可决系数（判定系数、决定系数） 回归平方和在总离差平方和中所占的比例可以作为一个统 计指标，用来衡量X与Y 的关系密切程度以及回归直线的代表 性好坏，称为可决系数。 对于一元线性回归方程： SSR SST SSE R 1 SST SST 2 y y y 2 R 1 2 y y y 2 SSE SST 2 y y 2 对于多元线性回归方程： R 2 R2 SSE 1 SST SSE/ n p 1 1 SST / n 1 在多元线性回归分析中，引起判定系数增加的原因有两个： 一个是方程中的解释变量个数增多，另一个是方程中引入了对 被解释变量有重要影响的解释变量。如果某个自变量引入方程 后对因变量的线性解释有重要贡献，那么必然会使误差平方和 显著减小，并使平均的误差平方和也显著减小，从而使调整的 判定系数提高。所以在多元线性回归分析中，调整的判定系数 比判定系数更能准确的反映回归方程的拟合优度。 • 3、回归方程的显著性检验（方差分析F检验） 回归方程的显著性检验是要检验被解释变量与所有的解 释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为： 2 ˆ ( y y ) /1 SSR/ 1 F ~ F（1，n 2） 2 SSE /(n 2) ( y yˆ ) /(n 2) 对于多元线性回归方程，检验统计量为： ( yˆ y ) 2 / p SSR/ p F ~ F（p，n p 1） 2 SSE /(n p 1) ( y yˆ ) /(n p 1) • 4、回归系数的显著性检验（t检验） 回归系数的显著性检验是要检验回归方程中被解释变量 与每一个解释变量之间的线性关系是否显著。 对于一元线性回归方程，检验统计量为： t 1 ~ t ( n 2) 2 ( x x ) i 其中， S y 2 ˆ ( y y ) i i n2 对于多元线性回归方程，检验统计量为： ti i ~ t (n p 1) 2 ( x x ) ij i 其中， S y 2 ˆ ( y y ) i i n p 1 • 5、残差分析 残差是指由回归方程计算得到的预测值与实际样本值之间 的差距，定义为： ei yi yˆi yi (0 1x1 2 x2 ... p x p ) 对于线性回归分析来讲，如果方程能够较好的反映被解 释变量的特征和规律性，那么残差序列中应不包含明显的规 律性。残差分析包括以下内容：残差服从正态分布，其平均 值等于0；残差取值与X的取值无关；残差不存在自相关；残 差方差相等。 1、对于残差均值和方差齐性检验可以利用残差图进行分析。如 果残差均值为零，残差图的点应该在纵坐标为0的中心的带状 区域中随机散落。如果残差的方差随着解释变量值（或被解 释变量值）的增加呈有规律的变化趋势，则出现了异方差现 象。 2、DW检验。 DW检验用来检验残差的自相关。检验统计量为 n ： (et et 1 ) 2 DW 2(1 ) t 2 n et 2 t 2 DW=2表示无自相关，在0-2之间说明存在正自相关， 在2-4之间说明存在负的自相关。一般情况下，DW值在 1.5-2.5之间即可说明无自相关现象。 • 3、探测样本中的异常值：那些影响均值的样本值 对被解释变量中异常值的探测方法有：标准 化残差、学生化残差、剔除残差 对解释变量中异常值的探测方法有：杠杆值 、库克距离、标准化回归系数的变化和标准化预测 值的变化 4、多元回归分析中的其他问题 • 由于多元回归分析被解释变量受众多因素的共同 影响，所以就会有如下问题出现：多个变量是否都 能够进入线性回归模型，解释变量应以怎样的策略 和顺序进入方程，方程中多个解释变量之间是否存 在多重共线性等等。 变量的筛选问题，方法一般有向前筛选、向后筛选、逐步筛 选三种基本策略。 • 向前筛选（ Forward ）策略：解释变量不断进入回归方程 的过程。首先，选择与被解释变量具有最高线性相关系数 的变量进入方程，并进行回归方程的各种检验；然后，在 剩余的变量中寻找与被解释变量偏相关系数最高且通过检 验的变量进入回归方程，并对新建立的回归方程进行各种 检验；这个过程一直重复，直到再也没有可进入方程的变 量为止。 • 向后筛选（ Backward ）策略：变量不断剔除出回归方程 的过程。首先，所有变量全部引入回归方程，并对回归方 程进行各种检验；然后，在回归系数显著性检验不显著的 一个或多个变量中，剔除t检验值最小的变量，并重新建立 回归方程和进行各种检验；如果新建回归方程中所有变量 的回归系数检验都显著，则回归方程建立结束。否则按上 述方法再一次剔除最不显著的变量，直到再也没有可剔除 的变量为止。 • 逐步筛选（ Stepwise ）策略：在向前筛选策略的基础上 结合向后筛选策略，在每个变量进入方程后再次判断是否 存在应该剔除出方程的变量。因此，逐步筛选策略在引入 变量的每一个阶段都提供了再剔除不显著变量的机会。 • 多重共线性分析 多重共线性是指解释变量之间存在线性相关关系的现象 。测度多重共线性一般有以下方式： 2 1、容忍度： Toli 1 Ri 2 其中，Ri 是第i个解释变量与方程中其他解释变量间的复 相关系数的平方，表示解释变量之间的线性相关程度。容忍 度的取值范围在0-1之间，越接近0表示多重共线性越强，越 接近1表示多重共线性越弱。 2、方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越 大多重共线性越强，当VIF大于等于10时，说明存在严重的 多重共线性。 3、特征根和方差比。根据解释变量的相关系数矩阵求 得的特征根中，如果最大的特征根远远大于其他特征 根，则说明这些解释变量间具有相当多的重复信息。 如果某个特征根既能够刻画某解释变量方差的较大部 分比例（0.7以上），又能刻画另一解释变量方差的 较大部分比例，则表明这两个解释变量间存在较强的 线性相关关系。 4、条件指数。指最大特征根与第i个特征根比的平方根 。通常，当条件指数在0-10之间时说明多重共线性 较弱；当条件指数在10-100之间说明多重共线性较 强；当条件指数大于100时说明存在严重的多重共线 性。 m ki i 5 线性回归分析的基本操作 （1）选择菜单Analyze－Regression－Linear， 出现窗口： 选择一个或多个解释变量进入 选择回归分析中解释变量的筛选策略 标志变量 （2）选择被解释变量进入Dependent框。 （3）选择一个或多个解释变量进入 Independent(s)框。 （4）在Method框中选择回归分析中解释变量的 筛选策略。其中Enter表示所选变量强行进入回 归方程，是SPSS默认的策略，通常用在一元线 性回归分析中；Remove表示从回归方程中剔除 所选变量；Stepwise表示逐步筛选策略； Backward表示向后筛选策略；Forward表示 向前筛选策略。 （5）第三和第四步中确定的解释变量及变量筛选策略可放 置在不同的块（Block）中。通常在回归分析中不止一组 待进入方程的解释变量和相应的筛选策略，可以单击 Next和Previous按钮设置多组解释变量和变量筛选策 略并放置在不同的块中。 （6）选择一个变量作为条件变量放到Selection Variable框中，并单击Rule按钮给定一个判断条件。只 有变量值满足判定条件的样本才参与线性回归分析。 （7）在Case Labels框中指定哪个变量作为样本数据点 的标志变量，该变量的值将标在回归分析的输出图形中。 线性回归分析的其他操作 1、Statistics按钮，出现的窗口可供用户选择更多 的输出统计量。 多重共线性分析 输出与回归系数相关的统计量 输出每个非标准化回归系数 95％的置信区间。 输出判定系数、调整的判定 系数、回归方程的标准误差 、回归方程显著F检验的方程 分析表。 输出方程中各解释变量间的 相关系数、协方差以及各回 归系数的方差 输出每个解释变量进入方 程后引起的判定系数的变 化量和F值的变化量。 输出方程中各解释变量与被解释变 量之间的简单相关、偏相关系数。 DW检验值 输出标准化残差绝对值大于等于3的样本数据的相关信息， （1）Estimates：SPSS默认输出项，输出与回归 系数相关的统计量。包括回归系数（偏回归系数 ）、回归系数标准误差、标准化回归系数、回归 系数显著性检验的t统计量和概率p值，各解释变 量的容忍度。 （2）Confidence Intervals：输出每个非标准化 回归系数95％的置信区间。 （3）Descriptive：输出各解释变量和被解释变量 的均值、标准差、相关系数矩阵及单侧检验概率 p值。 （4）Model fit：SPSS默认输出项，输出判定系 数、调整的判定系数、回归方程的标准误差、回 归方程显著F检验的方程分析表。 （5）R squared change：输出每个解释变量进 入方程后引起的判定系数的变化量和F值的变化 量。 （6）Part and partial correlation：输出方程中 各解释变量与被解释变量之间的简单相关、偏相 关系数。 （7）Covariance matrix：输出方程中各解释变量间 的相关系数、协方差以及各回归系数的方差。 （8）Collinearity Diagnostics：多重共线性分析， 输出各个解释变量的容忍度、方差膨胀因子、特征值 、条件指标、方差比例等。 （9）在Residual框中：Durbin-waston表示输出 DW检验值；Casewise Diagnostic表示输出标 准化残差绝对值大于等于3（SPSS默认值）的样本 数据的相关信息，包括预测值、残差、杠杆值等。 2、Options选项，出现的窗口可供用户设置多元 线性回归分析中解释变量筛选的标准以及缺失值 的处理方式。 3、Plot选项，出现的窗口用于对残差序列的分析 。 DEPENDNT表示被解释变量， *ZPRED表示标准化预测值， *ZRESID表示标准化残差， *DRESID表示剔除残差， *ADJPRED表示调整的预测值， *SRESID表示学生化残差， *SDRESID表示剔除学生化残差。 绘制多对变量的 散点图，可根据 需要在scatter框 中定义散点图的 纵坐标和横坐标 变量。 绘制标准化残差序列的直方图 绘制标准化残差序列的正态分布累计概率图 绘制被解释变量和各个解释变量的散点图。 4、Save选项，该窗口将回归分析的某些结果以SPSS变量 的形式保存到数据编辑窗口中，并可同时生成XML格式的 文件，便于分析结果的网络发布。 （1）Predicted Values框中：保存非标准化预测值、标 准化预测值、调整的预测值和预测值的均值标准误差。 （2）Distance框中：保存均值或个体预测值95％（默认） 置信区间的下限值和上限值。 （3）Residual框中：保存非标准化残差、标准化残差等。 （4）Influence Statistics框中：保存剔除第i个样本后统 计量的变化量。 5、WSL选项，采用加权最小二乘法替代普通最小二乘法估计 回归参数，并指定一个变量作为权重变量。 6、应用举例 以高校科研研究数据为例，建立回归方程研究 1、课题总数受论文数的影响 2、以课题总数为被解释变量，解释变量为投入人年数（X2 ）、受投入高级职称的人年数（X3）、投入科研事业费（X4 ）、专著数（X6）、论文数（X7）、获奖数（X8）。 （1）解释变量采用强制进入策略（Enter），并做多重共线 性检测。 （2）解释变量采用向后筛选策略让SPSS自动完成解释变量 的选择。 （3）解释变量采用逐步筛选策略让SPSS自动完成解释变量 的选择。 7、 曲线估计 • 1、 曲线估计概述 变量间的相关关系中，并不总是表现出线性 关系，非线性关系也是极为常见的。变量之间的 非线性关系可以划分为本质线性关系和本质非线 性关系。本质线性关系是指变量关系形式上虽然 呈非线性关系，但可通过变量变换为线性关系， 并最终可通过线性回归分析建立线性模型。本质 非线性关系是指变量关系不仅形式上呈非线性关 系，而且也无法变换为线性关系。本节的曲线估 计是解决本质线性关系问题的。 常见的本质线性模型有： 1、二次曲线（Quadratic），方程为 2 y 0 1x 2 x ，变量变换后的方程为 y 0 1x 2 x1 ( x1 x2 ) x y 2、复合曲线（Compound），方程为 0 1 ，变量变换后的方程为 ln( y) ln(0 ) ln(1 ) x 3、增长曲线（Growth），方程为 y e0 1x ，变量变换后的方程为 ln( y) 0 1 x 4、对数曲线（Logarithmic），方程为 y 0 1 ln( x) ，变量变换后的线性方程 为 y 0 1x1 2 3 y x x x 0 1 2 3 5、三次曲线（Cubic），方程为 ，变量变换后的方程为 y 0 1x 2 x1 3 x2 0 1 / x 6、S曲线（S），方程为 y e ，变量变 换后的方程为 ln( y) 0 1x1 1x y e 0 7、指数曲线（Exponential），方程为 ，变量变换后的线性方程为 ln( y) ln(0 ) 1x 8、逆函数（Inverse），方程为 y 0 1 / x 变量变换后的方程为 y 0 1 x1 1 y ( x ) 9、幂函数（Power），方程为 0 变量变换后的方程为 ln( y) ln(0 ) 1 ln( x) 10、逻辑函数（Logistic），方程为 1 y x 1/ 0 1 变量变换后的线性方程为 1 1 ln( ) ln( 0 ln( 1 ) x) y SPSS曲线估计中，首先，在不能明确究竟 哪种模型更接近样本数据时，可在多种可选择的 模型中选择几种模型；然后SPSS自动完成模型 的参数估计，并输出回归方程显著性检验的F值 和概率p值、判定系数R2等统计量；最后，以判 定系数为主要依据选择其中的最优模型，并进行 预测分析等。另外，SPSS曲线估计还可以以时 间为解释变量实现时间序列的简单回归分析和趋 势外推分析。 • 2、曲线估计的基本操作 可通过绘制并观察样本数据的散点图粗略确 定被解释变量和解释变量之间的相关关系，为曲 线拟合中的模型选择提供依据。SPSS曲线估计 的基本操作步骤是： （1）选择菜单Analyze－Regression－Curve Estimation，出现窗口如下页所示。 （2）把被解释变量选到Dependent框中。 绘制回归线 各个模型的方差分析表和各回归系数显著性检验结果。 （3）曲线估计中的解释变量可以是相关因素变量也可是时 间变量。如果解释变量为相关因素变量，则选择Variable 选项，并把一个解释变量指定到Independent框；如果 选择Time参数则表示解释变量为时间变量。 （4）在Models中选择几种模型。 （5）选择Plot Models选项绘制回归线；选择Display ANOVA table输出各个模型的方差分析表和各回归系数 显著性检验结果。 至此，完成了曲线估计的操作，SPSS将根据选择 的模型自动进行曲线估计，并将结果显示到输出窗口中。 • 应用举例 1、教育支出的相关因素分析 为研究居民家庭教育支出和消费性支出之间的 关系，收集到1978年至2002年全国年人均消费 性支出和教育支出的数据。 首先绘制教育支出和消费性支出的散点图。观 察散点图发现两变量之间呈非线性关系，可尝试选 择二次、三次曲线、复合函数和幂函数模型，利用 曲线估计进行本质线性模型分析。其中，教育支出 为被解释变量，消费性支出为解释变量。 2、分析和预测居民在外就餐的费用 利用收集到1978年至2002年居民在外就餐 消费的数据，对居民未来在外就餐的趋势进行分 析和预测。 首先绘制就餐费用的序列图，选择菜单 Graphs－legacy dialogs-line。得到的序列 图表明自80年代以来居民在外就餐费用呈非线性 增加，90年代中期以来增长速度明显加快，大致 呈指数形式，可利用曲线估计进行分析。由于要 进行预测，因此在曲线估计主窗口中要单击 Save按钮，出现如下窗口： 保存预测值 保存残差 •保存预测值默认95 ％置信区间的上限和 下限值。 计算当前所有样本期 内的预测值 计算指定样本期内的 预测值 只有当解释变量为时间时才可选该框中的选项 • Save Variables框中：Predicted values表示保存 • 预测值；Residual表示保存残差；Prediction interval表示保存预测值默认95％置信区间的上限和下 限值。 Predict cases框中：只有当解释变量为时间时才可选 该框中的选项。Predict from estimation period through last case表示计算当前所有样本期内的预测 值；Predict through表示计算指定样本期内的预测值 ，指定样本期在Observation框后输入。 本例希望预测2003年和2004年的值，应在 Observation框后输入27。