Transcript 第8章非线性回归
第8章 非线性回归 8.1 可化为线性回归的曲线回归 8.2 多项式回归 8.3 非线性模型 8.4 本章小结与评注 §8.1 可化为线性回归的曲线回归 可线性化的曲线回归模型, 也称为本质线性回归模型 y=β0+β1ex +ε 只须令x′=ex （8.1） 即可化为y对x′ y=β0+β1x′+ε 需要指出的是，新引进的自变量只能依赖于原始变量， 而不能与未知参数有关。 §8.1 可化为线性回归的曲线回归 y=β0+β1x+β2x2+…+βpxp +ε （8.2） 令x1=x,x2=x2,…，xp=xp， 于是得到y关于x1,x2,…，xp y=β0+β1x1+β2x2+…+βpxp+ε (8.2)式本来只有一个自变量x，是一元p次多项式回归， 在线性化后，变为p元线性回归。 §8.1 可化为线性回归的曲线回归 可线性化的曲线回归模型, 也称为本质线性回归模型 y=aeb xeε 对等式两边同时取自然对数，得： lny=lna+bx+ε 令y′=lny, β0=lna,β1=b, 于是得到y′关于x的一元线性回归模型 y′=β0+β1x+ε （8.3） §8.1 可化为线性回归的曲线回归 不可以线性化的曲线回归模型, 也称为本质非线性回归模型 y= aeb x +ε （8.4） 当b未知时，不能通过对等式两边同时取自然对数的 方法将回归模型线性化，只能用非线性最小二乘方法求解。 (8.3)式的误差项称为乘性误差项 (8.4)式的误差项称为加性误差项。 一个非线性回归模型是否可以线性化，不仅与回归函数的 形式有关，而且与误差项的形式有关。 §8.1 可化为线性回归的曲线回归 在对非线性回归模型线性化时，总是假定误差项的形 式就是能够使回归模型线性化的形式，为了方便，常常省 去误差项，仅写出回归函数的形式。 例如把回归模型（8.3）式 y=aeb xeε 简写为 y=aeb x §8.1 可化为线性回归的曲线回归 SPSS软件 给出的10种 常见的可线 性化的曲线 回归方程 英文名称 Linear Logarithm Inverse Quadratic Cubic Power Compound 中文名称 线性函数 对数函数 逆函数 二次曲线 三次曲线 幂函数 复合函数 方程形式 y=b0+b1t y=b0+b1lnt y=b0+b1/t 2 y=b0+b1t+b2t 2 3 y=b0+b1t+b2t +b3t y=b0 t b1 y=b0 b 1t S Logistic S 型函数 逻辑函数 y=exp(b0+b1/t) Growth Exponent 增长曲线 指数函数 y 1 1 b 0 b1t u u 是预先给定的常数 y=exp(b0+b1t) y=b0exp(b1t) §8.1 可化为线性回归的曲线回归 除了以上SPSS软件中收入的几种曲线回归外， 另外几种其他常用的曲线回归,例如 1. 双曲函数 或等价地表示为 y x ax b 1 1 ab y x §8.1 可化为线性回归的曲线回归 (a>0, b>0) §8.1 可化为线性回归的曲线回归 2. S型曲线 1 y a be x 此S型曲线当a>0，b>0时，是x的增函数。 当x→+∞时，y→1/a ; x→-∞时，y→0。 y=0与y=1/a是这条曲线的两条渐进线。 S型曲线有多种，其共同特点是曲线首先是缓慢增长，在达 到某点后迅速增长，在超过某点后又变为缓慢增长，并且趋于 一个稳定值。 S型曲线在社会经济等很多领域都有应用，例如某种产品的 销售量与时间的关系，树木、农作物的生长与时间的关系等。 §8.1 可化为线性回归的曲线回归 §8.1 可化为线性回归的曲线回归 SPSS软件中的S型曲线y=exp(b0+b1/t): 当b1<0时是t的增函数，当t从右侧趋于0时，曲线趋于 0；当t→+∞时，曲线以y=exp(b0)为渐进线，属于通常意 义下的S型曲线。 当b1>0时，曲线在t的正实轴上是t的减函数，不是通 常意义下的S型曲线。 SPSS软件中的逻辑函数在0<b1<1时也是S型曲线。 §8.1 可化为线性回归的曲线回归 例8.1对GDP(国内生产总值)的拟合。我们选取GDP指标 为因变量，单位为万亿元，拟合GDP关于时间t的趋势曲 线。以1981年为基准年，取值为t=1，1998 年t=18， 1981年至1998年的数据如表8.1。 yˆ §8.1 可化为线性回归的曲线回归 年份 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 t 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 y 4862.4 5294.7 5934.5 7171.0 8964.4 10202.2 11962.5 14928.3 16909.2 18547.9 21617.8 26638.1 34634.4 46759.4 58478.1 67884.6 74462.6 79395.7 yˆ 4296.35 5123.04 6108.80 7284.24 8685.86 10357.16 12350.06 14726.42 17560.04 20938.89 24967.89 29772.14 35500.81 42331.77 50477.13 60189.80 71771.35 85581.38 ei 566.05 171.66 -174.30 -113.24 278.54 -154.96 -387.56 201.88 -650.84 -2390.99 -3350.09 -3134.04 -866.41 4427.63 8000.97 7694.80 2691.25 -6185.68 y′=lny 8.489 8.574 8.689 8.878 9.101 9.230 9.390 9.611 9.736 9.828 9.981 10.190 10.453 10.753 10.976 11.126 11.218 11.282 §8.1 可化为线性回归的曲线回归 1. 直接用SPSS软件的Curve Estimation命令计算。 首先画出GDP对时间的散点图，见图8.2。 §8.1 可化为线性回归的曲线回归 §8.1 可化为线性回归的曲线回归 表 8.2 线性回归 y=b0+b1t Multiple R .92528 R Square .85615 Adjusted R Square .84716 Standard Error 9964.23063 Regression Residuals Variable Time (Constant) Analysis of Variance: DF Sum of Squares 1 9454779005.1 16 1588574273.6 Mean Square 9454779005.1 99285892.1 B SE B 4417.522807 452.685809 -13374.922222 4900.032018 Beta .925284 F 95.22782 T 9.758 -2.730 Signif F .0000 Sig T .0000 .0148 §8.1 可化为线性回归的曲线回归 复合函数回归 y=b0 b 1t 表 8.3 Multiple R R Square Adjusted R Square Standard Error .99593 .99188 .99138 .08760 Analysis of Variance: DF Sum of Squares Regression 1 15.004878 Residuals 16 .122782 Variable Time (Constant) B SE B 1.192417 .004746 3603.061130 155.215413 Mean Square 15.004878 .007674 F 1955.31315 Beta 2.707250 T Sig T 251.269 .0000 23.213 .0000 Signif F .0000 §8.1 可化为线性回归的曲线回归 为了与线性回归的拟合效果直接相比，可以先储存复 合函数回归的残差序列，然后计算出 复合函数回归的 SSE =262467769=2.625×108， R2=1-262467769/11043353279=0.97623， 拟合效果明显优于线性回归，当然应该采用复合函数回归。 §8.1 可化为线性回归的曲线回归 复合函数回归b0=3603.06,等比系数b1=1.192417，回归方程为 yˆ 3603.06(1.192417)t 其中b1=1.192417=119.2417%表示GDP的平均发展速度， 平均增长速度为19.2417% 。 这里GDP是用的当年现价，在实际工作中可以用不变价 格代替现价；对误差项的自相关做相应的处理；考虑到 GDP的年增长速度会有减缓趋势，可以对回归函数增加适 当的阻尼因子等改进方法。 §8.1 可化为线性回归的曲线回归 2.线性化求解法。 对复合函数y=b0两端取自然对数，得 lny=lnb0+ln(b1) t 令y′=lny, β0=lnb0,β1=ln(b1), 于是得到y′关于t的线性回归方程 y′=β0+β1t 计算出y′=lny的值列在表8.4中，用y′对t做一元线性 回归，输出结果为： §8.1 可化为线性回归的曲线回归 Model Summaryb Model 1 R R Square a .996 .992 Std. Error Adjus ted R of the Square Es timate .991 8.7601E-02 Durbin-Wats on .616 a. Predic tors: (Cons tant), T b. Dependent Variable: LNY ANOVA Model 1 Regres sion Res idual Total Sum of Squares 15.005 .123 15.128 df 1 16 17 Mean Square 15.005 7.674E-03 F 1955.313 Sig. .000 §8.1 可化为线性回归的曲线回归 Coefficients Model 1 (Cons tant) T Uns tandardized Coefficients B Std. Error 8.190 .043 .176 .004 Standardi zed Coefficie nts Beta .996 t 190.106 44.219 Sig. .000 .000 其中ˆ 0 =8.190，ˆ 1 =0.176， 得 bˆ 0 e8.190 3604.7, bˆ 1 e 0.176 1.1924， 与直接用 SPSS 软件的 Curve Estimation 命令计算的结果相一致。 §8.2 多项式回归 一、几种常见的多项式回归模型 一元二次多项式模型yi=β0+β1xi+β11+εi 的回归函数yi=β0+β1xi+β11是一条抛物线方程，通常称 为二项式回归函数。 回归系数β1为线性效应系数，β11为二次效应系数。 相应地，回归模型 yi=β0+β1xi+β11+β111+εi 称为一元三次多项式模型。 §8.2 多项式回归 称回归模型 yi=β0+β1xi1+β2xi2+β11 x i21 +β22 x i22 +β12xi1xi2+εi 为二元二阶多项式回归模型。 它的回归系数中分别含有两个自变量的线性项系数β1 和β2， 二次项系数β11 和β22，并含有交叉乘积项系数β12。 交叉乘积项表示 x1 与 x2 的交互作用。 §8.2 多项式回归 二、一个应用例子 例8.2 表8.5列出的数据是关于18个35岁～44岁经理的: 前两年平均年收入 x1（千美元） 风险反感度 x2 人寿保险额 y（千美元） 风险反感度是根据发给每个经理的标准调查表估算得到的； 它的数值越大，风险反感就越厉害。 §8.2 多项式回归 研究人员想研究给定年龄组内的经理年平均收入，风 险反感度和人寿保险的关系。研究者预计，在经理的收入 和人寿保险额之间成立着二次关系，并有把握认为风险反 感度对人寿保险额只有线性效应，而没有二次效应。但是， 研究者对两个自变量是否对人寿保险额有交互效应，心中 没底。因此，研究者拟合了一个二阶多项式回归模型 yi=β0+β1xi1+β2xi2+β11 x i21 +β22 x i22 +β12xi1xi2+εi 并打算先检验是否有交互效应，然后检验风险反感的 二次效应。 §8.2 多项式回归 序号 xi1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 66.290 40.964 72.996 45.010 57.204 26.852 38.122 35.840 75.796 37.408 54.376 46.186 46.130 30.366 39.060 79.380 52.766 55.916 xi2 7 5 10 6 4 5 4 6 9 5 2 7 4 3 5 1 8 6 yi 196 63 252 84 126 14 49 49 266 49 105 98 77 14 56 245 133 133 §8.2 多项式回归 回归采用逐个引入自变量的方式， 依次引入自变量 x1、x2、 x12 、 x 22 、x1x2，方法如下： 在线性回归对话框中，点入 y 与 x1，然后点 Block 1 of Next, 这时自变量框变为空白，再把 x1、x2 同时点入自变量框中， 然后再点 Block 2 of Next, 自变量框又变为空白， 再把 x1、x2、 x12 同时点入自变量框中，如此依次引入自变量。 §8.2 多项式回归 ANOVAf Model 1 2 3 4 5 Reg ression Residual Total Reg ression Residual Total Reg ression Residual Total Reg ression Residual Total Reg ression Residual Total Sum of Squares 104474.1 3568.170 108042.3 106758.4 1283.893 108042.3 107996.8 45.526 108042.3 107999.9 42.422 108042.3 108005.8 36.457 108042.3 df 1 16 17 2 15 17 3 14 17 4 13 17 5 12 17 a. Predictors: (Constant), x1 b. Predictors: (Constant), x1, x2 c. Predictors: (Constant), x1, x2, x11 d. Predictors: (Constant), x1, x2, x11, x22 e. Predictors: (Constant), x1, x2, x11, x22, x12 f. Dependent Variable: y Mean Square 104474.107 223.011 F 468.471 Sig . .000a 53379.192 85.593 623.641 .000b 35998.917 3.252 11070.294 .000c 26999.964 3.263 8274.003 .000d 21601.164 3.038 7110.202 .000e §8.2 多项式回归 Coefficientsa Model 1 2 3 4 5 (Constant) x1 (Constant) x1 x2 (Constant) x1 x2 x11 (Constant) x1 x2 x11 x22 (Constant) x1 x2 x11 x22 x12 Unstandardized Coefficients B Std. Error -140.550 12.170 5.040 .233 -158.768 8.324 4.843 .149 5.201 1.007 -62.349 5.200 .840 .207 5.685 .198 .037 .002 -60.910 5.414 .930 .227 4.453 1.278 .036 .002 .116 .119 -65.386 6.123 1.017 .228 5.217 1.349 .036 .002 .166 .120 -.020 .014 a. Dependent Variable: y Standardized Coefficients Beta .983 .945 .150 .164 .164 .785 .182 .129 .760 .038 .198 .151 .758 .055 -.046 t -11.548 21.644 -19.074 32.472 5.166 -11.989 4.052 28.738 19.515 -11.250 4.090 3.483 15.815 .975 -10.679 4.460 3.868 16.342 1.383 -1.401 Sig . .000 .000 .000 .000 .000 .000 .001 .000 .000 .000 .001 .004 .000 .347 .000 .001 .002 .000 .192 .186 Correlations Zero-order Partial Part .983 .983 .983 .983 .391 .993 .800 .914 .145 .983 .391 .986 .735 .992 .982 .022 .158 .107 .983 .391 .986 .565 .750 .695 .975 .261 .022 .019 .087 .005 .983 .391 .986 .565 .707 .790 .745 .978 .371 -.375 .024 .021 .087 .007 -.007 §8.2 多项式回归 表8.6 变量 x1 x2|x1 x12 |x1,x2 x 22 | x1,x2, x12 x1x2|x1,x2, x12 , x 22 合计 偏平方和 残差 104474 2284 1238 3 6 108005 3567 1283 45 42 36 5 检验系数 β1 β2 β11 β22 β12 偏F值 1238/（45/14）=385 3/（42/13）=0.93 6/（36/12）=2.00 §8.2 多项式回归 得最终的回归方程为： ˆ =-62.349+0.840x1+5.685x2+0.0371 x 12 y (0.164)(0.164) (0.785) 括号中的数值是标准化回归系数。 这样，研究者就可用这个回归方程来进一步研究经理 的年平均收入和风险反感对人寿保险额的效应。从标准 化回归系数看到，年平均收入的二次效应对人寿保险额 的影响程度最大。 §8.2 多项式回归 【例8.3】 维生素C注射液因长期放置会渐变成微黄 色，中国药典规定可以用焦亚硫酸钠等作为抗氧剂。本 实验考虑3个因素，分别是 EDTA（X1） 无水碳酸钠（X2） 焦亚硫酸钠（X3） 每个因素各取7个水平，选用U7（74）均匀设计表， 取其中的第1、2、3列，实验安排与结果见表6.9。 §8.2 多项式回归 表6.9 实验设计与结果 实验号 EDTA X1 （g） 无水碳酸钠 X2 （g） 焦亚硫钠 X3 （g） 吸收度 y 1/y 1 2 0.00 0.02 30 38 0.6 1.2 1.160 0.312 0.862 3.205 3 0.04 46 0.4 0.306 3.263 4 0.06 26 1.0 1.318 0.759 5 0.08 34 0.2 0.877 1.140 6 7 0.10 0.12 42 50 0.8 1.4 0.147 0.204 6.803 4.902 §8.2 多项式回归 首先做线性回归，回归的计算程序参照例6.1，得回归方程 y = 2.63 + 0.77 X1 - 0.0524 X2 - 0.087 X3 回归模型的P值=0.1040； 决定系数（R-square）= 83.9% ； 调整的决定系数（AdjR-sq）= 67.8%。 可见线性回归的效果不够好，以下使用二次多项式回归。 §8.2 多项式回归 使用逐步回归，回归方程的具体形式是： y B0 B1 X1 B2 X 2 B3 X 3 B11 X12 B22 X 22 B33 X 32 B12 X1 X 2 B13 X1 X 3 B23 X 2 X 3 做变量替换转化为9个自变量的线性回归。 X 11 X 12 , X 22 X 22 , X 33 X 32 X 12 X 1 X 2 , X 13 X 1 X 3 , X 23 X 2 X 3 §8.2 多项式回归 表6.10 X1 X2 X3 X 11 0.00 0.02 0.04 0.06 0.08 0.10 0.12 30 38 46 26 34 42 50 0.6 1.2 0.4 1.0 0.2 0.8 1.4 0.0000 0.0004 0.0016 0.0036 0.0064 0.0100 0.0144 回归变量表 X 22 900 1444 2116 676 1156 1764 2500 X 33 X 12 X 13 X 23 y 0.360 1.440 0.160 1.000 0.040 0.640 1.960 0.00 0.76 1.84 1.56 2.72 4.20 6.00 0.000 0.024 0.016 0.060 0.016 0.080 0.168 18.0 45.6 18.4 26.0 6.8 33.6 70.0 1.160 0.312 0.306 1.318 0.877 0.147 0.204 §8.2 多项式回归 这个线性回归只有7组观测数据却有10个未知参数，需 要使用逐步回归逐个引入变量。 在SPSS软件逐步回归模块默认的进入变量P值=0.05， 剔除变量P值=0.10的条件下，逐步回归只进行了一步就结 束了，只选入了自变量x2。为了更全面地了解回归的效果， 可以把进入变量的条件放宽一些。 用Option选项把进入变量P值改为0.30，剔除变量P值 改为0.50，重新做逐步回归。 §8.2 多项式回归 表6.12 逐步回归的输出结果（2） Step Constant X2 Prob>F 1 2 3 4 5 9.165 -0.378 0.016 0.0046 0.019 -1.430 0.033 0.0317 0.039 -2.33 0.058 99.99 2.579 -0.0516 0.004 5.957 -0.2376 0.053 0.00245 0.100 7.311 -0.3034 0.021 0.00336 0.033 -0.292 0.107 7.873 -0.3126 0.030 0.00323 0.048 -1.115 0.168 0.0206 0.251 83.14 92.12 97.11 98.73 X 22 Prob>F X3 Prob>F X 23 Prob>F X 13 Prob>F R-square §8.2 多项式回归 此时的逐步回归共进行了5步，依次选入了X2， X22= X 22， X3，X23=X2 X3，X13= X1 X3共5个变量，共计算出5个回归模型: 第一个回归模型最先选入的是X2，说明无水碳酸钠的含量 是最重要的影响因素； 2 X 第二个回归模型再选入的是X22= 2 ，进一步说明无水碳酸 钠的含量是最重要的影响因素，并且说明y与X2 的关系是非线 性的 y 5.975 0.2375X 2 0.00245X 22 容易求出此方程在X2=48.5≈48时达极小值y=0.197， 比第6号实验值y=0.147略高。 §8.2 多项式回归 再看第三个回归方程： y 7.311 0.303X 2 0.00336X 22 0.29X 3 为使y值最小，X3应该最大，取X3=1.4，X2的取值与X3 无关，容易求出此方程在X2=45.1≈45，X3=1.4时达极小 值y=0.074，低于第6号实验值y=0.147。 §8.2 多项式回归 第四个回归方程是： y 7.873 0.3126 X 2 0.00323X 22 1.115 X 3 0.0206 X 2 X 3 在回归方程含有X3的两项－1.115 X3+0.0206 X2X3中，当 X2≤54时是X3的减函数，根据对第二和第三两个回归方程的 分析，两个方程中X2的最优解分别是48和45，所以有理由认 为X2≤54，y是X3的减函数，X3越大y越小，因此取X3=1.4。 把X3=1.4代入以上方程中，解得X2的极小值是 X2=43.9≈44，所以第四个回归方程的最优组合是X2=44， X3=1.4，此时最优预测值y=0.080，与第三个回归方程的最 优解基本相同。 第五个方程是： §8.2 多项式回归 y 9.16- 0.379 X 2 0.00406 X 22 -1.43 X 3 0.0317 X 2 X 3 - 2.33 X1 X 3 其中包含了变量X1，并且是作为与X3的交互作用形式出 现，说明EDTA对实验指标本身没有影响，只是通过焦亚硫 酸钠对实验产生弱的影响。仿照对第四个回归方程求最优解 的 方 法 ， 首 先 确 定 X1 和 X3 是 y 的 减 函 数 ， 分 别 取 最 大 值 X1=0.12和X3=1.4，然后再解得X2=41.2≈41。最优预测值 y= －0.128<0 ，可以视为接近0。 §8.2 多项式回归 比较第三、四、五这3个回归模型，回归方程的决定系 数分别是： 97.11、98.73、99.99%， 从回归的效果看第五个回归的效果最好，但是有6个估 计参数，而y的数据只有7个，所以估计的误差会较大。 第三、四两个回归模型的实验条件基本相同，预测值 也 很 接 近 ， 约 为 0.080 ， 明 显 小 于 第 6 号 实 验 的 吸 收 度 y=0.147，是一组稳定的好条件，见表6.13。 §8.2 多项式回归 表6.13 回归 模型 二 三 四 五 吸收度的最优实验条件 最 优 搭 配 X1 （g） X2 （g） X3 （g） 最优 预测值 0.00 0.00 0.00 0.12 48 45 44 41 0.0 1.4 1.4 1.4 0.197 0.074 0.080 0.000 §8.2 多项式回归 本例的文献[17]对吸收度y值先取了倒数作为实验指标， 其数值越大越好，然后建立回归方程。这样做的一个好 处是避免了本例回归模型五预测值为负值的情况，但是 回归方程的效果不好。文献中得到的最优条件是X1=0.12、 X2=38、X3=1.4，和本例第五个模型相差不大。 §8.3 非线性模型 一、非线性最小二乘 （8.9） yi = f (xi,θ)+εi , i=1,2,…,n 其中，yi是因变量， 非随机向量xi=(xi1,xi2,…，xik) ′是自变量， θ=(θ0,θ1,…，θp )′是未知参数向量， εi是随机误差项并且满足独立同分布假定，即 E( i ) 0, i 1, 2,, n 2 , i j cov( i , j ) 0 , i j (i , j 1, 2,, n) §8.3 非线性模型 对非线性回归模型 我们仍使用最小二乘法估计参数θ， 即求使得 n Q(θ) ( yi f ( xi ,θ))2 i 1 ˆ ,称为θ的非线性最小二乘估计。 达到最小的θ §8.3 非线性模型 在假定 f 函数对参数θ连续可微时，可以利用微分法， ˆ。 建立正规方程组，求解使 Q(θ)达最小的θ 将 f 函数对参数θj 求导，并令为 0，得 p+1 个方程： n Q f 2 ( yi f ( xi ,ˆ)) 0 ˆ ˆ j j j j j j i 1 j 0,1, 2,, p 称为非线性最小二乘估计的正规方程组 也可以直接极小化残差平方和 Q(θ)，求出未知参数θ的非线性 ˆ。 最小二乘估计θ §8.3 非线性模型 在非线性回归中，平方和分解式SST=SSR+SSE 不再成立。类似于线性回归中的复判定系数， 定义非线性回归的相关比为： SSE R2 1 SST 相关比也称为相关指数。 §8.3 非线性模型 二、非线性回归模型的应用 例8.4 一位药物学家使用下面的非线性模型对药物反 应拟合回归模型： c yi c0 0 xi 1 c2 c1 i 自变量x是药剂量，用级别表示； 因变量y是药物反应程度，用百分数表示。 3个参数c0、c1、c2都是非负的，根据专业知识，c0的上 限是100%， 3个参数的初始值取为c0=100，c1=5，c2=4.8。 测得9个反应数据如下： §8.3 非线性模型 x 1 2 3 4 5 6 7 8 9 y(%) 0.5 2.3 3.4 24.0 54.7 82.1 94.8 96.2 96.4 100 80 60 40 20 Y 0 -20 0 X 2 4 6 8 10 图8.3 药物反应程度散点图 §8.3 非线性模型 在SPSS的Regression菜单下点选Nonlinear，进入非 线性回归对话框，将y点入因变量框，在model Expression框中输入回归函数c0-c0/(1+(x/c2)**c1),然 后点Parameters进入参数设置框赋给未知参数初值。 §8.3 非线性模型 Iteration 1 Residual SS C0 C1 C2 172.7877170 100.000000 5.00000000 4.80000000 1.1 32.60704344 97.7943996 6.57938197 4.74460195 2 32.60704344 97.7943996 6.57938197 4.74460195 2.1 20.20240372 99.5785656 6.73691756 4.80074972 3 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334852 6.76307026 4.79941696 4 20.18814307 99.5334852 6.76307026 4.79941696 4.1 20.18803580 99.5411768 6.76104089 4.79966204 5 20.18803580 99.5411768 6.76104089 4.79966204 5.1 20.18803473 99.5404448 6.76127044 4.79964160 6 20.18803473 99.5404448 6.76127044 4.79964160 6.1 20.18803472 99.5405197 6.76124802 4.79964382 §8.3 非线性模型 Nonlinear Regression Summary Statistics Source DF Sum of Squares Mean Square Regression 3 37839.85197 12613.28399 Residual 6 20.18803 3.36467 Uncorrected Total 9 37860.04000 (Corrected Total) 8 14917.88889 R squared = 1 - Residual SS / Corrected SS = .99865 §8.3 非线性模型 Asymptotic 95 % Parameter C0 Estimate Asymptotic Confidence Interval Std. Error Lower Upper 99.540519687 1.567325937 95.705411276 103.37562810 C1 6.761248019 .421980049 5.728700036 7.793796003 C2 4.799643816 .050165521 4.676893208 4.922394423 §8.3 非线性模型 序号 x y yˆ e yˆ y 1 2 3 4 5 6 7 8 9 均值 离差平方和 平方和 1 2 3 4 5 6 7 8 9 5 60 285 0.5 2.3 3.4 24 54.7 82.1 94.8 96.2 96.4 50.48889 14917.89 37860.04 0 0.27 3.98 22.48 56.61 81.52 92.34 96.49 98.14 50.20333 15156.55 37839.85 0.5 2.03 -0.58 1.52 -1.91 0.58 2.46 -0.29 -1.74 0.285556 19.43162 20.18803 -50.48889 -50.21889 -46.50889 -28.00889 6.12111 31.03111 41.85111 46.00111 47.65111 -0.28556 15156.55 15157.28 §8.3 非线性模型 本例回归离差平方和SSR=15156.55，而总离差平方 和SST=14917.89<SSR，可见对非线性回归不再满足平 方和分解式，即 SST≠SSR+SSE。 另外，非线性回归的残差和不等于零，本例残差均 值为0.285556≠0。当然，如果回归拟合的效果好，残差 的均值会接近于零的。 §8.3 非线性模型 通过以上分析可以认为药物反应程度y与药剂量x符合 以下非线性回归方程： yˆ 99.541 99.541 x 6.7612 1 4.7996 §8.3 非线性模型 【例8.4】 龚珀兹（Gompertz）模型是计量经济中的一个常用模 型，用来拟合社会经济现象发展趋势，龚珀兹曲线形式为： t b yt k a 其中k为变量的增长上限， 0 a 1 和 0 b 1是未知参数。 当k未知时，龚珀兹模型不能线性化，可以用非线性最小二乘法求解。 表8.12的数据是我国民航国内航线里程数据，以下用龚珀兹模型拟合这 个数据。 §8.3 非线性模型 表8.8 年份 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 我国民航国内航线里程数据 t 1 2 3 4 5 6 7 8 9 10 11 12 y 11.41 13.55 13.28 12.92 15.28 17.12 21.67 24.02 24.55 30.55 34.04 38.17 13 53.36 年份 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 单位：万公里 t 14 15 16 17 18 19 20 21 22 23 24 25 y 68.21 69.37 78.08 78.02 92.06 100.14 99.89 99.45 103.67 106.32 103.42 115.52 §8.3 非线性模型 用SPSS软件的非线性最小二乘法功能求解。 依照Analyze→Regression→Nonlinear的顺序进入非线 性回归对话框。 在回归函数框条中输入k*a**(b**t),再给出参数的初值。 龚珀兹中的参数k是变量的发展上限，应该取其初值略大于 最大观测值。本例最大观测值是115.52，不妨取k的初值为 120。a和b都是0到1之间的数，可以取其初值为0.5。经过 31步迭代后收敛，部分输出结果如下： §8.3 非线性模型 输出结果8.5 Parameter Estimates 95% Confidence Interval Parameter Estimate Std. Error Lower Bound Upper Bound a .01243 .006 .000 .025 b .8927 .015 .862 .923 k 150.0 15.814 117.162 182.756 §8.3 非线性模型 ANOVA(a) Sum of Source Regression Residual Uncorrected Total Corrected Total Squares Mean df Squares 114521.478 3 38173.826 819.818 22 37.264 115341.296 25 34222.087 24 Dependent variable: y a R squared = 1 - (Residual Sum of Squares) / (Corrected Sum of Squares) = .976. §8.3 非线性模型 用非线性最小二乘法求得的三个参数估计值为 k=150.0，a=0.012 43，b=0.892 7 其中k=150.0为回归模型估计的国内航线里程增长上限。 图8.4是用Excel绘制的国内航线里程趋势预测图，其中粗实线是观 测值，虚细线是预测值。 140 120 100 80 60 40 20 0 1975 1980 1985 1990 1995 2000 2005 2010 2015 图8.4 龚珀兹曲线拟合国内航线里程趋势图 §8.3 非线性模型 上面的过程中回归迭代给出了一些警告错误，这是由 于回归迭代过程中的参数取值超出了允许范围造成的，可 以通过对参数取值范围增加一些限制解决，用非线性回归 对话框中的Constraints按钮实现。 另外如果参数的初值给得不够准确回归迭代不收敛时， 对参数增加一些限制可能就收敛了。例如本例中把k的初 值改为130回归迭代不能收敛，但是增加一个k>116的限制 回归迭代就收敛了。 §8.3 非线性模型 龚珀兹模型和几种常见的非线性回归模型可以用三和值 法求解，见参考文献[15]第13章。 在正态误差假定下，非线性回归的最小二乘估计与极大 似然估计是相同的，而极大似然估计具有好的大样本性质， 例如渐近无偏性、渐近正态性、一致性等。因而非线性最 小二乘估计值比三和值更精确，可以把三和值法的参数估 计值作为求解非线性最小二乘的初值。 §8.3 非线性模型 【例8.6】 下表8.9是我国从1950——2005年历年大陆总 人口数，试用威布尔（Weibull）曲线拟合数据并做预测。 威布尔曲线如下： tc y k a b 其中参数k是变量发展的上限，参数a >0, 0< b <1, c>0。 §8.3 非线性模型 表8.9 我国历年大陆总人口数 年份 t y 年份 单位：亿人 t y 1950 1 5.5196 1978 29 9.6259 1951 2 5.63 1979 30 9.7542 1952 3 5.7482 1980 31 9.8705 1953 4 5.8796 1981 32 10.0072 1975 26 9.242 2003 54 12.9227 1976 27 9.3717 2004 55 12.9988 1977 28 9.4974 2005 56 13.0756 §8.3 非线性模型 根据人口学的专业预测，我国人口上限为16亿人， 因此取k的初值=16，取b的初值=0.5，取c的初值=1。 对以上初值把t=1时（即1950年）=5.5196代入，得， a 2(k y1 ) 2(16 5.5) 21 用以上初值做非线性最小二乘，得下面的输出结果 8.7。从中看到，人口上限为k=15.76亿人，这与人口学预 测的人口上限16亿人完全一致。图8.5是用Excel绘制的人 口趋势预测图，其中粗实线是观测值，虚细线是预测值。 §8.3 非线性模型 输出结果8.7 Parameter Estimates 95% Confidence Interval Parameter Estimate Std. Error Lower Bound Upper Bound k 15.760 .650 14.455 17.064 a 10.135 .693 8.746 11.525 b .997 .000 .996 .998 c 1.551 .071 1.408 1.694 §8.3 非线性模型 ANOVA(a) Sum of Source Regression Residual Uncorrected Total Corrected Total Squares Mean df Squares 5266.738 4 1316.685 .884 52 .017 5267.622 56 319.677 55 Dependent variable: y a R squared = 1 - (Residual Sum of Squares) / (Corrected Sum of Squares) = .997. §8.3 非线性模型 16 14 12 10 8 6 4 2030 2025 2020 2015 2010 2005 2000 1995 1990 1985 1980 1975 1970 1965 1960 1955 1950 1945 图8.5 威布尔模型预测我国人口趋势图 §8.3 非线性模型 【例8.6】 柯布—道格拉斯生产函数研究。在计量经 济学中有一种熟知的C-D（Cobb—Douglas）生产函数 y AK L 其中，y为产出,K(资本)、L(劳力)为两个投入 要素，A>0为效率系数、和为K和L的产出弹性， A、、 均为待估参数。 §8.3 非线性模型 是产出对资本投入的弹性系数，度量在劳动投入保持不变 时资本投入增加1%时产出增加的百分比。 是产出对劳动投入的弹性系数，度量在资本投入保持不变 时劳动投入增加1%时产出增加的百分比。 两个弹性系数之和 + 表示规模报酬（returns to scale）。 + =1表示规模报酬不变，即1倍的投入带来1倍的产出； + ＜1表示规模报酬递减，即1倍的投入带来少于1倍的产出； + ＞1表示规模报酬递增，即1倍的投入带来大于1倍的产出。 §8.3 非线性模型 (1)乘性误差项，模型形式为 y AK L e (2)加性误差项，模型形式为 y AK L 对乘法误差项模型可通过两边取对数转化成线性模型。 lny=lnA+ lnK+ lnL 令 y′=lny,β0=lnA,x1=lnK,x2=lnL,则转化为线性回归方程： y′=β0+ x1 + x2+ §8.3 非线性 模型 年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 t 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 GDP 3624.1 4038.2 4517.8 4862.4 5294.7 5934.5 7171.0 8964.4 10202.2 11962.5 14928.3 16909.2 18547.9 21617.8 26638.1 34634.4 46759.4 58478.1 67884.6 74462.6 78345.2 82067.5 89468.1 97314.8 105172.3 K 1377.9 1474.2 1590.0 1581.0 1760.2 2005.0 2468.6 3386.0 3846.0 4322.0 5495.0 6095.0 6444.0 7517.0 9636.0 14998.0 19260.6 23877.0 26867.2 28457.6 29545.9 30701.6 32611.4 37460.8 42355.4 L 40152 41024 42361 43725 45295 46436 48197 49873 51282 52783 54334 55329 64749 65491 66152 66808 67455 68065 68950 69820 70637 71394 72085 73025 73740 lnGDP lnK lnL 8.195361 7.228316 10.60043 8.303554 7.295871 10.62191 8.415780 7.371489 10.65398 8.489287 7.365813 10.68568 8.574462 7.473183 10.72095 8.688538 7.603399 10.74583 8.877800 7.811406 10.78305 9.101016 8.127405 10.81724 9.230359 8.254789 10.84510 9.389532 8.371474 10.87394 9.611014 8.611594 10.90291 9.735613 8.715224 10.92105 9.828112 8.770905 11.07827 9.981272 8.924922 11.08967 10.19010 9.173261 11.09971 10.45260 9.615672 11.10958 10.75277 9.865817 11.11922 10.97641 10.08067 11.12822 11.12556 10.19866 11.14114 11.21805 10.25617 11.15368 11.26888 10.2937 11.16531 11.31530 10.33207 11.17597 11.40164 10.39242 11.18560 11.48571 10.53105 11.19856 11.56336 10.65385 11.20830 §8.3 非线性模型 其中，y是国内生产总值GDP (单位：亿元)， K是资金投入，包括固定资产投资和库存占用资 金(单位：亿元)， L是就业总人数(单位：万人)。 (1)假设随机误差项为相乘的，我们可以用两边取对数 的办法，按照（8.15）式将模型转化线性形式，对数变换 后的数据见表8.14，用SPSS作线性回归得如下结果： §8.3 非线性模型 ANOVA Sum of Model 1 df Squares Regression 32.236 2 16.118 .060 22 .003 32.296 24 Residual Total Mean Square F Sig. 5917.774 .000 Coefficients(a) Unstandardized Standardized Coefficients Coefficients B (Constant) Std. Error -2.086 1.903 lnK .902 .035 lnL .361 .201 a Dependent Variable: lnGDP t Beta Sig -1.096 .285 .936 25.863 .000 .065 1.794 .087 §8.3 非线性模型 得两个弹性系数为=0.902， =0.361，资金的贡献率 大于劳动力的贡献率。 规模报酬+ =0.902+0.361=1.263＞1表示规模报酬递增。 效率系数A==0.1242。 其中系数 的显著性概率P值=0.087，显著性较弱。 得乘性误差项的C-D生产函数为： y 0.1242K 0.902 0.361 L §8.3 非线性模型 对加性误差项模型,不能通过变量变换数转化成线性模 型，只能用非线性最小二乘法求解未知参数。以上面乘性 误差项的参数为初值做非线性最小二乘，经过81步迭代得 下面的输出结果8.。其中参数β的置信度为95%的置信区间 为（-0.555 ，1.565），包含0在内，因而不能认为β非0， 显著性较弱。 得乘性误差项的C-D生产函数为： y 0.020K 0.922 L0.505 §8.3 非线性模型 Parameter Estimates 95% Confidence Interval Parameter Estimate Std. Error Lower Bound Upper Bound A .020 .104 -.196 .236 alpha .922 .064 .789 1.056 beta .505 .511 -.555 1.565 §8.3 非线性模型 乘性误差项模型和加性误差项模型所得的结果还是有较大差异的， 其中乘性误差项模型认为 yt 本身是异方差的，而l nyt 是等方差的。 加性误差项模型认为 yt 是等方差的。 从统计性质看两者的差异，前者淡化了yt值大的项（近期数据）的 作用，强化了yt值小的项（早期数据）的作用，对早期数据拟合的效果 较好。 而后者则对近期数据拟合的效果较好。 §8.3 非线性模型 使用线性化的乘性误差项模型，由共线性检验得方差 扩大因子VIF=15.5。使用岭回归，选取岭参数k=0.20，这 时R2从原来的0.998 14下降为0.980 58，得岭回归如下： ****** Ridge Regression with k = 0.20 ****** B SE(B) Beta B/SE(B) lnK .49700385 .02048319 .51558506 24.26398868 lnL 2.18274631 .11798929 .39309616 18.49952910 Constant -18.43784255 1.27336521 .00000000 -14.47961853 §8.3 非线性模型 其中=0.4970， =2.183，A= e18.438 9.828 109 表明劳动力的贡献率远大于资金的贡献率，与普通最小 二乘的结果完全相反。并且 =2.183也不符合经济意义。 从统计方法看，岭回归的结果是可信的，但是我们对其 计算结果却无法给出合理的解释。 §8.3 非线性模型 三、其他形式的非线性回归 n 非线性最小二乘是使残差平方和 Q(θ) ( y i f ( x i ,θ)) 2 i 1 达极小的方法,其最大的缺点是缺乏稳健性。当数据存在异 常值时，参数的估计效果变得很差。因而在一些场合，我 们希望用一些更稳健的残差损失函数代替平方损失函数 §8.3 非线性模型 利用SPSS的非线性回归程序，可以用数值计算 法求解多种损失函数的回归估计值。以下以例3.2 北京经济开发区数据为例，说明用SPSS软件的最 小绝对值法求解方法。 绝对值残差损失函数 n Q(θ) | yi f ( xi ,θ) | i 1 §8.3 非线性模型 1．进入非线性回归对话框，在因变量框中点入y，在 Model Expressions框中输入回归方程表达式 b0+b1*x1+b2*x2； 2.给参数赋初值，以普通最小二乘估计值为初始值，初 始值为b0=-213.7,b1=2.185,b2=0.368，点Continue返回非线 性回归对话框; 3.点选Options选项,进入Options选项框选择数值计算方 法，默认的计算方法是Levenberg-Marquardt方法,将其改为 Sequential quadratic program方法，点Continue返回非线性 回归对话框。用自定义损失函数计算时必须做这个改动； 4．点Loss进入Loss Function对话框给出损失函数，默 认的损失函数是Sum of squared residuals,将其改为Userdefiend loss function，然后输入ABS(y-b0-b1*x1-b2*x2)，点 Continue返回非线性回归对话框； 5．点Save保存残差变量和预测值： §8.3 非线性模型 Iteration Loss funct B0 B1 B2 0.1 4511.684440 -213.70000 2.18500000 .368000000 1.1 4393.393596 -213.69997 2.19431077 .403145685 2.1 4362.671030 -213.69984 2.13568898 .431261430 3.1 4354.739136 -213.78915 2.12883998 .429074345 4.1 4352.083704 -213.78515 2.13523424 .427309206 得最小绝对值法的经验回归方程为： yˆ =-213.79+2.1352x1 +0.4273x2 普通最小二乘经验回归方程为： yˆ 327.039 2.036x1 0.468x2 序号 §8.3 非线性 模型 x1 x2 yi yˆ ia yˆ i eia ei 1 25 3547.79 553.96 1355.6 -801.64 1385.63 -831.67 2 20 896.34 208.55 211.93 -3.38 133.52 75.03 3 6 750.32 3.10 119.64 -116.54 36.62 -33.52 4 1001 2087.05 2815.40 2815.4 0 2688.57 126.83 5 525 1639.31 1052.12 1607.71 -555.59 1509.71 -457.59 6 825 3357.70 3427.00 2982.56 444.44 2925.4 501.6 7 120 808.47 442.82 387.91 54.91 295.96 146.86 8 28 520.27 70.12 68.32 1.8 -26.34 96.46 9 7 671.13 122.24 87.94 34.3 1.57 120.67 10 532 2863.32 1400.00 2145.68 -745.68 2097.28 -697.28 11 75 1160.00 464.00 442.04 21.96 369 95 12 40 862.75 7.50 240.29 -232.79 158.51 -151.01 13 187 672.99 224.18 473.08 -248.9 368.92 -144.74 14 122 901.76 538.94 432.04 106.9 343.73 195.21 15 74 3546.18 2442.79 1459.54 983.25 1484.64 958.15