ch07博克斯—詹金斯预测法 - 信息与管理科学学院核心课程网站

Download Report

Transcript ch07博克斯—詹金斯预测法 - 信息与管理科学学院核心课程网站

预测与决策分析
Forecasting and Decision Analysis
陈振
河南农业大学信息与管理科学学院
管理科学系
13683807788,[email protected]
博克斯—詹金斯预测法概述






博克斯—詹金斯预测法是一种随机时间序列预测法。
随机时序预测方法最早产生于二十世纪30年代,当时,尤尔(G.
U. Yule)和伍尔德(H. Wold)做了大量研究,但因计算复杂,进
展不大。
二十世纪70年代初,美国的博克斯(G. Box)教授与英国的詹金
斯(G. M. Jenkins)教授在这一领域做了许多创造性研究,提出
了随机时序的理论分析和应用方法,使随机时序分析方法得到快速
发展。
博克斯—詹金斯法,也简称为B-J法或ARMA方法,是目前公认的
最好的单一变量时序预测法。
博克斯—詹金斯法是一种精确度较高的短期预测方法,但其计算复
杂,一般需要借助计算机来进行。
本章首先介绍随机时序的基本概念,然后从模型体系、模型识别、
模型估计、模型检验及应用等几个方面介绍博克斯—詹金斯随机时
间序列预测法。
什么是随机时间序列
随机时间序列是时间序列的一种类型。
所谓随机时间序列,是指由随机性现象产生的一串随机变量 yt(t  1,2,)
依时间先后次序排列而成的序列。
在随机因素作用下,一种社会经济现象在某一时期的数量表现有很大的不确
定性,从而可以看作为一个随机变量,把这些随机变量按时间先后次序排列起来,
就构成一个随机型时间序列。
对于每一个固定的 t, yt 是一个随机变量。而对于一次特定的试验结果,yt 是
一个确定的样本函数,我们称之为随机时间序列的一个实现。
象描述随机变量一样,我们通常引入均值函数、自协方差函数、自相关函数
等数字特征来描述时间序列的基本统计特性。
平稳随机时间序列
定义 设 yt(t  1,2, ) 是一随机时序。对每个固定的 t ,如
1 E ( y )  a, t  1,2, ,a 是常
果随机变量 yt 满足下列条件:○
t
2
数;○
E( yt k  a)( yt  a)  r k ( k  0,1,2,  ), 则 称
yt(t  1,2,) 为宽平稳随机时间序列,简称为平稳序列。
由定义可以看出,平稳序列的均值不随时间变化,是常数,
特别地,当 a  0 时,我们称 yt(t  1,2, ) 为零均值平衡序列。
自协方差函数 r k 是仅与 k 有关的常数,我们称为 yt 的自协方差,
它仅和时间 t 无关。
如果一个随机序列不能同时满足定义中的两个条件,
我们称
之为非平稳随机时间序列,
简称非平稳序列。
如果一个随机序列,
1 ,我们称它们在均值上平稳;如果满足条件○
2 我们称
满足条件○
它在方差上平稳。
一般意义上的平稳随机时间序列是指在均值和方差平稳的
时间序列。
白噪声序列
白噪声序列是平稳序列的一个特殊情形,在平稳序列建模理论中起着重要的作用。
yt(t  1,2,) 是一随机时间序列,如果满足:○1 E( yt )  0, (t  1,2,) ;
2
2
2 E( y
○
t  k , y t )   e  k (t  1,2, ) ,则称 yt(t  1,2, ) 为平稳序列。其中, e 为非负常数,
定义
 k 为脉冲函数。  k 满足:
1当k  0时
=
k 
0当k  0时
则我们称 yt(t  1,2,) 为白噪声序列。
这个定义表明,白噪声序列是指均值为零、方差相同,在不同时刻变量互不相关的序列。
还有一种叫“严格白噪声序列”
,除满足上述条件外,还要求 yt 相互独立且同分布。通常,
我们把各种外部因素造成的随机干扰等效为一白噪声序列。
平稳性识别方法
ARMA 模型是建立在平稳随机时间序列基础之上的,进行平
稳性识别是模型建立之前的准备工作。平稳性识别,就是判定随
机时间序列是平稳的还是非平稳的。
在实际问题中,通常的平稳性识别方法主要有以下三种:
1. 样本序列分段法
2. 几何下降法
3. 统计分布法
样本序列分段法
设样本序列 {Y t} 共 n 个样本值,取 m 为较大的整数,且存在某个整数 l ,使 n  lm ,把 {Y t}
依次划分为 l 个长度为 m 的子序列:
Y 11 , Y 12 ,  , Y 1m
Y 21 , Y 22 ,  , Y 2 m
  
Y l1 , Y l 2 ,  , Y lm
分别计算各子序列的样本均值 Y i 和样本方差  i2 :
1 m
Yi 
Y ij
m j 1
(i  1,2,, l ),
以及样本自相关函数 ̂ ik :
ˆ ik 
1 mk
(Y ij  Y i ) (Y ij  k  Y i )  i2

m j 1
2
1 m
   (Y ij Y i )
m j 1
2
i
(i  1, 2, , l )
(i  1,2,l )
(k  1, 2, , I  m)
由于平稳随机时间序列的均值和方差均为常数,它的自相关函数  k 仅与 k 有关,故若它的
样本序列 {Y t} 满足:
(1) Y 1 , Y 2 ,  , Y l 差别不大;
(2)  12 ,  22 , ,  l2 差别不大;
(3)对固定的 k
(1  k  I )
则可判定随机序列 {yt} 是平稳的。
ˆ1k , ˆ 2k , , ˆ lk 差别也不大。
几何下降法
对平稳的 ARMA 序列 { yt} ,其自相关函数  k 在 k 相当大以后,很快地趋
于零。由于样本自相关函数的特性近似地反映了序列自相关函数的特性,因此,
当 k 很大时,若 ̂ k 仍然很大,则说明随机序列 { yt} 是非平稳的。
具体识别方法是:计算样本自相关函数 ̂ 1 、 ̂ 2 、…、 ̂ k 、…。若存在正
整数 m ,使得 k  m 时, ˆ k  1 k 则认为 { yt} 是平稳的。
2
统计分布法
设 Y 1 , Y 2 , , Y l 的含义同序列分段法。定义随机变量  ij 如下:
当i  j且 Y j  Y i 时
其他
1

 ij  0
令: A 
l
l
 
ij
i 1 j i 1
如果随机序列 {yt} 为平稳序列,且当 l  10 时,统计量
T
1 l (l  1)

2
4
2 l 3  3 l 2  5l
72
A
渐近地服从标准正态分布,即 T ∽ N (0,1) 。故对给定的显著性水平
  0.05 ,根据样本序列算出的 T 满足: T  1.96
则认为 {yt} 是平稳的。
自相关函数与偏自相关函数


自相关分析分析是时间序列最有效的
工具。
自相关函数与偏自相关函数在研究平
稳随机序列性质及模型识别时经常用
到,是Box- Jenkins随机时间序列预
测法的基础。
自相关函数
对于随机时间序列 yt(t  1,2,) ,我们类似地引入相关函数的概念,用来表示 yt 与 ytk 之间的相关
程度,这样的相关函数称之为自相关函数,记为  ( yt , yt k ) 。
定义
若 yt(t  1,2,) 是随机时间序列,我们称
 ( yt , yt  k ) 
E ( yt  E yt )( yt  k  E yt  k )
E ( yt  E yt ) E ( yt  k  E yt  k )
2
2
为随机时间序列 yt(t  1,2,) 的相关函数。
如果 yt(t  1,2,) 为平稳随机时间序列,根据定义,可有
r k  r k (k  0,1,2,)
r0  r0 r0
很显然,r k 仅与 k 有关,和 t 无关,这样  ( yt , yt k ) 就仅与 k 有关,与 t 无关,于是,我们可记  ( yt , yt k )
 ( yt , yt  k ) 
为  k ,即:
 k   ( yt , y )t  k 
rk
r0
称  k 为平稳序列的自相关函数。
自相关函数性质
容易证明:自相关函数  k 有如下性质:
(1)  0  1 ;
(2)
 k  1 ,即自相关函数的最大值为 1。
(3)
 k   k (k  0,1,2,) ,即  k 是 k 的偶函数。
偏自相关函数
定义 假设随机时间序列 yt(t  1,2,) 为零均值平稳序列,对 k  0 ,
定义多元函数 f ( x1 , x 2 ,  x k ) 为:
k
f  f ( x1 , x2 , xk )  E ( yt   x j yt  j ) 2 ,如果 f ( x1 , x2 , xk ) 在
j 1
( k1 ,  k 2 ,,  kk ) 达到极小值,则极小值的最后一个分量  kk 称为序列
yt(t  1,2,) 的 k 阶偏自相关函数。
偏自相关函数
将 f ( x1 , x 2 ,  x k ) 展开:
k
f  f ( x1 , x2 , xk )  E ( yt   x j yt  j ) 2
j 1
k
k
 2

2
 E  y t  2 x j y t y t  j  (  x j y t  j ) 
j 1
j 1


k
k
 r0  2 x j r j  r0  x 2j  2 x j xi r j i
j 1
k
k
j 1
j 1
j 1
j i
 r0 (1   x 2j )  2 x j r j  2 x j xi r j i
令
j i
f
 0 ( j  1,2, , k )
x j
得下列方程组:
2 x1 r0  2 x2 r1  2 x3 r2    2 xk rk 1  2r1  0

2 x1 r1  2 x2 r0  2 x3 r1    2 xk rk 2  2r2  0
2 x r  2 x r  2 x r   2 x r  2r  0
2 k 2
3 k 3
k 0
k
 1 k 1
偏自相关函数
两边同除 2r0 ,并移项,得到:
 x1  x 2  1  x3  2    x k  k 1   1

 x1  1  x 2  x3  1    x k  k  2   2





 
 x1  k 1  x 2  k  2  x3  k 3    x k   k
T
写成矩阵形式,并记该方程组的解为 ( k1 ,  k 2 , kk ) ,则得到 Yule-Walker 方程:
1
   k 1    1 




2
k

1


1
1

1
 k 2    k 2  =   2 
 1

 
     


    
1
 k 1  k  2  k 3 
   kk    k 
式中,1 ,  2 ,,  k 是序列 yt(t  1,2,) 的自相关函数。 kk 为序列 yt(t  1,2,) 的
k 阶偏自相关函数。
样本序列
所谓样本序列,是指对随机序列中每一个随机变量,
取其一个变量值(样本值),将这些变量值按时间先后顺
序排列起来而形成的序列。通常,我们记 { yt} 为随机序列,
{Y t} 为 { yt} 的样本序列,其中 Y t 是随机变量 { yt} 的变量
值(样本值)
。
例如, yt 表示各月的销售量,则 { yt} : y1 , y 2 ,...,
y12 ,… 为一随机序列。如果某年份实际销售量按时间先
后顺序排列如下: {Y t} :88,82,90,110,90,85,60,
55,80,88,95,88。这样, {Y t} 就是一个样本序列。
样本自相关函数
对样本序列,我们也可定义样本自相关函数与样本偏自相关函数。设 {Y t} 是
平稳随机序列 {yt} 的一个样本序列,即:{Y t} :Y 1 ,Y 2 ,…,Y n ,则样本序列 {Y t}
的自相关系函数为:
nk
̂ k 
 (Y
t
 Y )(Y t  k  Y )
t 1
n
 (Y Y )
2
t
t 1
式中, Y 
n
1
Y t
n t 1
由于 yt 的分布一般很难知道,式(7-2) 表示的自相关函数实际上是未知的。
通常情况下,我们用样本自相关函数 ̂ k 去估计  k 。
类似地,我们定义 r̂k 为样本自协方差函数如下:
1 nk
rˆk   (Y t  Y )(Y t  k  Y )
n t 1
并且可以用 r̂k 估计随机序列 {yt} 的自协差函数 rk 。
样本偏自相关函数
在 Yule-Walker 方程中,用 ̂ 1 、 ̂ 2 、… ̂ k 代替  1 、  2 、…  k ,求出解
T
记为 (ˆ k1,
ˆ k 2,
...ˆ kk ) ,则称最后一个分量 ̂ kk 为样本序列 {Y t} 的 k 阶样本偏
自相关函数。
在一般情况下,我们也可以用
̂ kk 去估计  kk 。
非平稳序列的平稳化



对非平稳的随机序列,一般应先进行平稳
化,然后才能建立预测模型进行预测。
对随机序列是否平稳的判别称为随机序的
平稳性识别。
如经判别,随机序列是非平稳的,那么可
对其样本序列进行平稳化处理。
非平稳序列的平稳化
引入两个算子  和 B :
 称为差分算子: Y t  Y t  Y t 1 ,B 称为后移算子:B Y t  Y t 1
2
3
类似地,我们称 、
分别为一阶差分,二阶差分,三阶差
、
、
2
3
 分别为一阶后移、二阶后移、三阶后移…。
分… ;称 B、
B 、B 、
 Y t  Y t  Y t 1  Y t  B Y t  (1  B) Y t
即:
  1 B
2
据此, 2 Y t  (1  B) Y t  (1  2 B  B 2) Y t  Y t  2 Y t 1  Y t  2
同理:
3
3
 Y t  (1  B ) Y t
3
B Y t  Y t 3

引入算子  和 B 之后,就可以进行非平稳序列的平稳化处理。
非平稳序列的平稳化
如果存在季节因素,可先进行季节差分。经过季节差分后,
一般可消除季节因素的影响。
若季节变动的周期为 s ,则一阶季节差分为:
s Y t  Y t  Y t  s
二阶季节差分为:
s Y t  s (s Y t )
2
  s (Y t  Y t  s )
 (Y t  Y t  s )  (Y t  s  Y t  s  s )
 Y t  2 Y t s  Y t 2 s
非平稳序列的平稳化
对不含季节因素样本序列 {yt} ,经判定如不平稳,可进行一阶差
分。对差分后的序列再进行判定,如不平稳,我们再进行二阶差分,直
至满足平稳性条件为止。
如果时间序列在方差上不平稳,可采取对数变换: Z t  ln Y t 使之
平稳化。有时,也采取平方根运算: Z t  Y t 进行平稳化。在实际操
作时,选择对数变换,还是选择平方根运算,应根据具体情况决定。
随机时序模型的基本形式
零均值平稳随机序列的预测模型可分为
三种类型:

自回归模型(Autoregressive Models)

滑动平均模型(Moving Average Models)

自回归滑动平均模型(Autoregressive
Moving Average Models)
自回归模型(Autoregressive Models,简记为 AR)
定义 设 yt(t  1,2,) 为一零均值平稳序列,若 y 满足:
t
yt  1 yt 1   2 yt 2     t  p yt  p  at
则称该式为 P 阶自回归模型(P-order Autoregressive Models),简称为 AR( p )
模型。
此时序列 yt(t  1,2,) 称为自回归序列(或 AR( p ) 序列)。
、
在 AR( p ) 模型中, 1、
 2、
 p 为参数; at 是白噪声,并满足 :
E(at , yt i)  0 (i  1,2,, p)
这表明 at 与 yt 的过去值不相关。
自回归模型的平稳性条件
在自回归 AR( p ) 模型中,参数
、
1、
 2、
 p 的选取,必须满足一定的约束条件。
这个条件,称为自回归模型的平稳性条件。
在一般情况下,可将 AR( p ) 模型写成如下形式:  ( B) yt  at ,其中,
 ( B)  1  1 B   2 B 2     p B p
那么, AR( p ) 模型的约束条件是  ( B)  0 的根全部在单位圆之外。
对 AR (1) 模型, p  1 ,其形式为: yt  1 yt 1  at
(1  1 B) yt  at ,令  ( B)  1  1 B 。那么 1  1 就等价于  ( B)  0 的根全在单
位圆之外。
滑动平均模型(Moving Average Models,
简称MA)
定义 设 yt(t  1,2,) 是零均平稳序列,若 yt 满足:
y t  at  1 at 1   2 at  2     q at  q
则称 { y } 为滑动平均序列,该式称为 k 阶滑动平均模型,简记为
t
 q 为参数, at 为白噪声, q 称为
MA(q ) 模型。式中, 1、
 2、
滑动平均的阶数。
MA(q ) 模型的可逆性条件
 q 的选择也不是任意的,存在一定的约束条件。
MA(q ) 中参数  1、
 2、
这种约束条件称为 MA(q ) 模型的可逆性条件。
在一般条件下,将 MA(q ) 式写成如下形式:
yt   ( B) at
其中:  ( B)  1   1 B   2 B2     q Bq
那么, MA(q ) 模型的可逆性条件为  ( B)  0 的根全部位于单位圆之外。
对 MA(1) 模型,q  1 ,MA(1) 转化为: yt  at   1 at 1 , ( B)  1   1 B
所以,对模型 MA(1) ,  1  1 就是模型的可逆性条件。
自回归滑动平均模型(Autoregressive Moving Average Models,
简记为 ARMA( p, q ) )
定义 对零均值平稳序列 yt(t  1,2,) ,若
y 满足
t
yt  1 yt 1   2 yt 2     p yt  p   1 at 1   2 at 2     q at q  at
则称 { y } 为自回归滑动平均序列,该式表达的模型称自回归滑动平均模
t
 q 均为参数,
、
型,简记为 ARMA( p, q ) 。式中, 1、
 2、
 p 和  1、
 2、
白噪声 at , p 和 q 分别表示自回归与滑动平均的阶数。
ARMA( p, q) 模型的平稳与可逆条件
若记:  ( B)  1  1 B   2 B2     P B P
y
t
 ( B)  1   1 B   2 B 2     q B q
那么,模型(7-20)的平稳与可逆条件是  ( B)  0 及  ( B)  0 的根全部位于单位圆之外。
对 ARMA(1,1) 模型,  ( B)  1  1 B ,  ( B )  1   1 B ,由  ( B)  0 和  ( B)  0 的根
位于单位圆之外,可知  1 和  1 满足: 1  1 ,  1  1 。此即为 ARMA(1,1) 模型的平稳
与可逆条件。
模型的识别



利用上述模型进行预测时,首先要解决的
问题,就是模型识别问题。
对待定的时间序列,采取什么样的模型进
行预测?对给定的零均值平稳序列,我们
要判断它是自回归序列、滑动平均序列还
是自回归滑动平均序列。
模型识别的一般方法是用序列的样本自相
关函数和偏自相关函数的特征进行识别。
MA(q) 序列的自相关函数特征
对 MA(q) 序列 yt(t  1,2,) , yt  at   1 at 1   2 at 2     q at q ,自协方差函数为:
r k  E( yt k  yt )  E(at k   1 at k 1     q at k q)(at   1 at 1     q at q)
当 k  0 时,
2
2
2
2
r 0  (1   1   2   q )  e
当 0  k  q 时, r k  (  k   1 k 1     q  k  q )  e2
当 k  q 时 rk  0
这样, yt(t  1,2,) 的自相关函数  k 可表示成下面的形式:
1

   k   1 k 1   q  k  q
r
k
k   
2
2
2
r0  1  1   2     q

0
k 0
1 k  q
kq
上式中,当 k  q 时,  k  0 表明 yt 与此同时 ytk 不相关,这种现象称为截尾(Cust off)
。
因此,当 k  q 时,  k  0 是 MA(q) 模型的一大特征,可以用来识别 MA(q) 模型。
AR(p)序列的自相关函数
一般情况下,设 {yt} 为 AR (p)模型,则有:
{ yt}  1 yt 1   2 yt 2     p yt  p  at
于是 r k  E yt k yt
 E (1 yt  k 1   2 yt  k 2     p yt  k  p) yt  1 r k 1   2 r k 2     p r k  p
从而,
 k  1  k 1   2  k 2     p  k  p
由 {yt} 为平稳序列,可证明  k 随着 k 的增大而趋于零,所以 {yt} 的自相关函数是拖尾
的。自相关函数拖尾是 AR (p)序列的的一大特征,可以用来识别 AR (p) 模型。
对 AR (1)序列,则有: yt  1 yt 1  at
自相关函数为:  k  1 (k  1,2, )
k
由于 1  1 ,  k 随着 k 的增大而趋于零。
ARMA(p,q) 序列的自相关函数
设 {yt} 为 ARMA(p,q)序列,则有:
yt  1 yt 1   2 yt 2   p yt  p  at   1 at 1     q at q
它的自协方差函数为:
r k  E yt  k yt
 E (1 yt  k 1   2 yt  k  2    p y  k  p  at  k   1 at  k 1
  2 at  k  2     q at  k  q ) y t
 1 r k 1   2 r k  2     p r k  p  r ak   1 r a ( k 1)   2 r a ( k  2 )  
  q r a ( k q )
这里: r ak  E yt at k , r a ( k 1)  E yt at k 1 , , r a( k q )  E yt at k q
我们将 yt 表示为: y t 


i 0
i
at i
 e2  k
这样就有 r ak  E yt at  k  E ( i at i at  k )  
i 0
 0
由此可得到:当 k  q 时, r aj  0
j  1,2,k  q
从而有 rk  1 rk 1   2 rk  2     p rk  p

k 0
k 0
两边同除 r0 ,得
(k  p)
 k  1  k 1   2  k 2     p  k  p
当 k 增长时,  k 趋于零,所以 ARMA(p,q) 序列的自相关函数是拖尾的 ( p  0) 。
ARMA 模型的偏自相关函数
对 AR( p ) 序列、MA(q ) 序列及 ARMA ( p, q ) 序列,它们的偏自相
关 函 数 是  kk 。 可 证 明 , AR( p ) 序 列 的 偏 自 相 关 函 数 满 足 :
 kk  0 (k  p)。
这说明, AR( p ) 序列的偏自相关函数是截尾的。
也可证明,MA(q ) 序列及 ARMA ( p, q ) 序列的偏自相关函数是拖尾的。
ARMA 模型识别
ARMA 模型的识别,可划分为三种情况:
AR( p ) 模型识别
MA(q ) 模型识别
ARMA( p, q) 模型识别
AR( p ) 模型的识别
根据上述分析,我们知道, AR( p ) 序列的自相关函数拖尾,而它的偏自相关函数截尾。
由此得到 AR( p ) 模型的识别方法,即:对零均值平稳序列 {yt} ,如果它满足以下两个条件:
(1)序列自相关函数拖尾,即随着 k 的增大,  k 趋于零,
(2)序列偏自相关函数截尾,即当 k  p 时,  kk  0 。
则可判断 {yt} 为 AR( p ) 序列。
在实际运用时,我们用样本自相关函数 ̂ k 和样本偏自相关函数 ̂ kk 去代替  k 和  kk 。如
果 ̂ k 是拖尾的,我们认为
 k 也是拖尾的;如果 ̂ kk 是截尾的,我们认为  kk 也是截尾的。
AR( p ) 模型的识别
在判断 ̂ kk 是截尾时,存在一定的困难。因为 ̂ kk 是样本偏自相关函数,由于样本的随机性,在计算 ̂ kk 时
要带有随机误差,从而当 k  p 时,
̂ kk 近似地服从正态分布,即:
̂ kk ∽ N (0,
̂ kk 不一定都为零,而可能在零水平上下波动。但可证明当 k  p 时,
1
)
n
这里 n 是样本序列 {yt} 中数值的个数。从而:

2 
P ˆ kk 
  4.5%
n


这样,根据样本计算出 ̂ kk 之后,若 ˆ kk 
2
n
,则认为
̂ kk 与零有显著差异;如果 ˆ kk 
2
为 ̂ kk 与零无显著差异。当 k  p 时,若所有的 ̂ kk 均与零无显著差异,则认为 ̂ kk 是截尾的。
n
,则认
MA(q ) 模型的识别
由上述分析, MA(q ) 序列的自相关函数截尾,偏自相关函数拖尾。由此得到 MA(q ) 序列的
识别方法,即对零均值平稳序列 {yt} ,如果它满足以下两个条件:
(1)序列自相关函数截尾,即当 k  p 时,  k  0 。
(2)序列偏自相关函数拖尾,即当 k 增大时,  kk 趋于零,则可判别 {yt} 为 MA(q ) 序列。
在实际运用时, 我们用样本自相关函数和样本偏自相关函数代替  k 和  kk 。当 ̂ kk 趋于零时,
我们认为  kk 也随着 k 的增大而趋于零;当 k  p 时, ˆ k  0 ,这时,我们认为当 k  p 时,
 k  0 ,即  k 是截尾的。
同样地,由于样本的随机性,当 k  p 时,并不是所有 ̂ k 都为零,这时应进行检验。可证明
对适度大的样本数据 n, ̂ k 近似地正态分布,即:
̂ k ~ N (0,1 n )
对显著性水平   0.45 ,有:

2 
P  ˆ k 
  95.45%
n

根据样本计算出实际的 ̂ k ,若
k 
2
n
,则认为 ̂ k 与零有显著差异;若
k 
2
n
,则认为 ̂ k
与零无显著差异。当 k  p 时,所有的 ̂ k 均与零无显著差异,则认为 ̂ k 是截尾的。
ARMA( p, q) 模型的识别
由于 ARMA( p, q ) 序列的自相关函数和偏自相关函数均是拖尾的,这也正是
ARMA( p, q) 模型的识别方法。
当判定 {yt} 为 ARMA( p, q ) 序列后,我们需要进一步判定 p 和 q 。在 AR( p ) 模
型识别中, p 与模型识别一同决定;在 MA(q ) 模型识别中, q 也与模型识别一同
决定。但
ARMA( p, q) 中的 p 和 q 却不能同模型识别一同决定,只能从低到高逐
阶尝试。即从 ARMA(1,1) , ARMA(1,2) , ARMA(2,1) , ARMA (2,2) …逐步尝试。
也就是说,当判定 {yt} 为 ARMA( p, q ) 序列后,应从低到高对每一个 ARMA 模型
进行参数估计(估计方法见后面的节次)
,并对所估计的参数进行检验,如能通过检
验,则认为此模型合适;如不能通过检验,则应尝试更高的阶数。
模型的参数估计



模型识别确定了随机序列的模型结构,还必
须识别出模型中的参数。参数识别又称参数
估计。参数估计方法有很多,我们仅介绍参
数的矩估计。
所谓矩估计,就是利用模型参与序列自相关
函数、序列自协方差函数之间的关系进行参
数估计。
由于序列自相关函数及序列自协方差函数是
未知的。通常用样本自相关函数、样本自协
方差函数代替序列自相关函数和序列自协方
差函数,进行参数估计。
AR( p ) 模型的参数估计
设平稳序列 {yt} 经识别是 AR( p ) 序列,则有
yt  1 yt 1   2 yt 2     p yt  p  at
式中,1 ,  2 , ,  p 是待估参数, at 是白噪声。参数估计的任务就是利
用样本序列去估计 1 ,  2 , ,  p 及 at 中参数
 e2 。
我们用 ytk 去乘式(7-30)的两端,并取数学期望,注意到 E yt k at  0 ,
得:
rk  1 rk 1   2 rk 2     p rk  p
(k  1)
两边同除 r0 ,得
 k  1  k 1   2  k 2     p  k  p
利用  k   k ,有下列方程组:
  1   1   2  1   3  2     p  p 1

  2  1 1   2   3 1     p  p 2



          
1
p 1
2
p 2
p
 p
(k  1)
AR( p ) 模型的参数估计
令:
1
1


1
A 1



  P 1 
P2

2


 P2
1


 P 3
 P 3 
T
 1 ,  2 , ,  p 。

 P 2



1 



1
  (1,  2 , ,  p ) ,   ( 1,  2 , ,  p )
则上式转化为: A  
由此看出,若知道
 P 1 
T
 1 ,  2 , ,  p 的 数 值 , 就 可 通 过 该 式 求 出  , 也 即 求 出
AR( p ) 模型的参数估计
但 1 ,
 2 , ,  p 是未知的,我们用 ˆ 1 , ˆ 2 , , ˆ p ,代替 1 ,  2 , ,  p ,矩阵 A 转化为 Â ,  转化为
̂ :
1

ˆ
ˆ   1
A


 ˆ P 1

ˆ 1
ˆ 2


ˆ P  2
1
ˆ 1


ˆ P 3


ˆ P  2
ˆ P 3 
ˆ  ( ˆ 1, ˆ 2 , , ˆ p )

ˆ 1
ˆ P 1 

ˆ P  2 



1 

T
ˆ   ˆ
从而上式转化为 A
(7-33)
T
1
ˆ
这一矩阵方程的解 ˆ  (ˆ1, ˆ 2 , , ˆ p ) 就为: ˆ  A
ˆ
(7-34)
式(7-34)中向量 ̂ 的分量 ˆ1 , ˆ 2 ,, ˆ P 称为 AR( p ) 模型参数 1 ,  2 ,,  P 的 Yele—Walker 估计。
1 ,  2 ,,  P 估计出来后,剩下的问题就是估计白噪声序列 at 的方差  e2 。由式(7-30) 及式(7-34),
得到:
at  yt  ˆ1 yt 1  ˆ 2 yt 2    ˆ p yt  p
对任何的 t , E yt  0 ,从而:
ˆ e2  E at2  E ( yt ˆ1 yt 1 ˆ 2 yt  2 ˆ p yt  p )
p
p
p
 rˆ0  2 ˆ i rˆi   ˆ i ˆ j rˆ| j i|
i 1
式中
̂
2
e
i 1 j 1
是 at 的方差
 e2 的估计值。
2
(7-35)
MA(q ) 模型的参数估计
设平稳序列 {yt} 经识别是为 MA(q ) 序列,则有
yt  at   1 at 1   2 at 2   q at q
(1   12   22     2q )  e2

rk  (  k   1 k 1     q  k  q )  e2
0

(7-37)
(k  0)
(1  k  q)
(k  q)
该式含有 (q  1) 个未知量  1、
、
 2、
 k 及  e2 ,有 (q  1) 个方程。以 r̂k 代 rk (k  0,1,2,, q) ,
2
、
、
该方程组的解 ˆ1、
 2、
 q 及  e2 的矩估计。这样,我们
ˆ2、
ˆq 及 ̂ e 即为 MA(q ) 模型参数  1、
2
、
知道, ˆ1、
ˆ2、
ˆq 及 ̂ e 满足:
rˆ0  (1  ˆ12  ˆ22    ˆ2q ) ˆ e2

rˆ1  ( ˆ1  ˆ1ˆ2  ˆ2 ˆ3    ˆq 1ˆq ) ˆ e2

2
rˆ2  ( ˆ2  ˆ1ˆ3  ˆ2 ˆ4    ˆq  2 ˆq ) ˆ e



rˆq   ˆ ˆ e2
q

(7-38)
对此方程组,可直接求解,也可用迭代法求解。当 p 较小时,可用直接求法求解。
ARMA( p, q) 模型的参数估计
设平稳序列 {yt} 经识别是 ARMA( p, q ) 序列,则有:
yt  1 yt 1   2 yt 2   p yt  p  at   1 at 1     q at q
(7-40)
ARMA( p, q) 模型中,有 1 ,  2 , ,  p ,  1 ,  2 , ,  q 和  e2 共 ( p  q  1) 个参数,由
于参数估计的理论较为复杂,这里仅介绍基本结论及计算公式。
ARMA( p, q) 模型的参数估计一般包括如下步骤:
第一步:式(7-40)中参数 1 ,  2 , ,  p . ,ˆ1 , ˆ 2 , , ˆ p . ,可从下面的方程组中求出。
 ˆ q 1  ˆ1 ˆ q  ˆ 2 ˆ q 1    ˆ p ˆ q  p 1

 ˆ q  2  ˆ1 ˆ q 1  ˆ 2 ˆ q    ˆ p ˆ q  p



 ˆ  ˆ ˆ
ˆ ˆ
ˆ ˆ
1 q  p 1   2  q  p  2   p  p
 q p
这里, ̂ k 是样本自相关函数。
ARMA( p, q) 模型的参数估计
第二步:将第一步求的 ˆ1 , ˆ 2 , , ˆ p . 代入式(7-40)的右端,并令:

yt  yt  ˆ1 yt 1  ˆ 2 yt 2  ˆ p yt  p

则有: yt  at   1 at 1   2 at 2     q at q
*
(7-41)
(7-42)
从此式看出,可把序列 { yt } 看作为 MA(q ) 序列。进而可计算它的自协方差函数。
*
*
令 rk 表示序列 { yt } 的自协方差函数,则有:
rk*  E y*t y*t  k
 E ( yt  ˆ1 yt 1  ˆ 2 yt  2    ˆ p yt  p )( yt  k  ˆ1 yt  k 1    ˆ p yt  k  p )
p
p
i 1
i 1
p
p
 rk   ˆ i rk i   ˆ i rk i   ˆ i ˆ j rk i  j
i 1 j 1
ARMA( p, q) 模型的参数估计
第三步:根据式(7-42),计算  1 ,  2 , ,  q 的矩估计。
*
由式(7-42)知, { yt} 是 MA(q ) 序列,故有:
(1   12   22     2q)

rk*  (  k   1 k 1     q k  q)  e2
0

k 0
1 k  q
kq
这 样 利 用 MA(q ) 模 型 参 数 估 计 的 方 法 , 可 得 到 式 (7-40) 中  1 ,  2 , ,  q 及  e2 的 矩 估 计 :
2
ˆ1 , ˆ2 , , ˆq 及 ̂ e 。
经过上述三个步骤,我们就完成了式(7-40)的全部参数估计过程。
模型的检验


模型检验的目的是检验是否很好地反映
时间序列演变的真实情况,必要时对建
好的模型进行修正。
通常模型检验的内容包括平稳性检验、
残差分析及过拟合检验三个方面
平稳性检验
所谓平稳性检验,即检验模型是否满足平
稳可逆的条件,其方法是检验方程:
 ( B)  1  1 B   2 B 2     P B P  0
及  ( B)  1  B   2 B2     P BP  0
的根是否全部位于单位圆之外。如果全部根据
均在单位圆之外,则说明模型是平稳的;如果
有某个根的根接近于 1,那么就要追查原序列
差分的过程,看是否存在差分不足或差分过度
的情况。
平稳性检验
例 如 , 对 AR(2) 模 型 : yt  1 yt 1   2 yt 2  at , 可 改 写 成 :
(1  1 B   2 B2) yt  at 。
如果方程 1  1 B   2 B2  0 的根有一个接近于 1,不妨设恰好等于 1。
这时上述方程可改写成: (1  B)(1  B) yt  at 。令:W t  (1  B) yt ,
则有: (1  B ) W t  at 。由于
  1 ,故 {W t} 是平稳的,对 {yt} 进行
一阶差分才能使模型满足平稳性条件。
再如,对 MA( 2) 模型,有:
yt  at   1 at 1   2 at 2  (1   1 B   2 B2) at
若方程式 1   1 B   2 B2  0 的根有一个为 1(或接近于 1)则上述方程
可写成:yt  (1  B)(1  B) at 。令 W t  (1  B) yt ,则 yt  (1  B) at 。
因为   1 ,那么模型 yt  (1  B) at 是平稳可逆的。这说明,原来差
分有过度差分现象,应减少一次差分。
残差分析检验
在 ARMA 模型中,残差 at 是白噪声。所谓残差分析检验,就是对拟合的模型,检查 at
是否为白噪声序列。其检验方法是:
第一步:计算实际的残差序列 aˆ t 。
由 ARMA( p, q) 模型,建立下列的递推关系:
aˆ t  yt  ˆ1 yt 1    ˆ p yt  p  ˆ1 aˆ t 1  ˆq aˆ t q
、aˆ1q 以及 y0、y 1、
、y1 p 、y  p 均取这些初始值为零。
t  0 时,对应的初始值为 aˆ 0、aˆ 1、
由这些初始值开始,利用式(7-42)就可逐步迭代计算出残差 aˆ t (t  0, 1, 2,  , n) 。
第二步:计算残差序列 {at} 的样本自相关函数。
{at} 的样本自相关函数记为  *k ,则有:
nk
 aˆ aˆ
t
 
*
k
t k
t 1
n
 aˆ
t 1
2
t
残差分析检验
第三步:检验 at
由式(7-44)知,  k 的大小和 n 有关。可证明当 n   时,统计量 n  k* 趋于标准正态分布。
*
那么在 n 比较大时, k 近似地服从 N (0, 1
*
n ) 分布而且当 k  n 时,ˆ1、ˆ 2 、
、ˆ k 可以近似地
看成 k 个独立正态变量。通常情况下可取 k  n 10 ,构造统计量:
k
F k  n ̂ i
2
i 1
可以证明:若 aˆ1、
、aˆ n 是白噪声序列,则 F k 近似地服从自由度为 k 的   分布。在给定的显
aˆ 2 、
2
著性水平  (  通常很小)下,可查表求出置信限   。如果实际算出 F k    ,则认为残差
2
2
序列 aˆ1、
、aˆ n 不是白噪声序列;反之若 F k    ,则认为 aˆ1、aˆ 2 、
、aˆ n 是白噪声序列。
aˆ 2 、
2
过拟合检验


过拟合检验有两种情况:一是看已建立的模型中
是否包含过多的参数。一般情况下,检验最高阶
的参数是否有意义。若无意义,则可删去。二是
评价当前的模型是否参数不足。
通常的做法是扩大阶数,然后根据样本重新估计
参数,对模型进行检验,看其残差平方和是否发
生较大的变化,如变化不大,则认为拟合的模型
是合适的。
利用模型进行预测
由平稳的样本序列,通过模型识别估计及模型检验后,
剩下的任务是利用建好的模型进行预测。下面,我们分
别介绍如何运用 AR( p ) 、MA(q ) 和 ARMA( p, q ) 三种
模型进行预测。
利用 AR( p ) 模型进行预测
设 {yt} 是 AR( p ) 序列,则有: yt  1 yt 1   2 yt 2     p yt  p  at
若 {Y t} 是 它 的 样 本 序 列 。 {Y t} : Y 1 , Y 2 , , Y n , 则 第 ( n  1) 期 的 预 测 值 为 :
Yˆ n1  1Y n   2 Y n1     p Y n p 1  an1 ,取 a n i  0 (i  1) ,则上式转化为:
Yˆ n1  1 yn   2 yn1     p yn p 1
同理,第 ( n  2) 期的预测值为: Yˆ n 2  1 y n1   2 y n     p y n p  2
一般地,第 ( n  k ) 期预测值为
Yˆ nk  1Yˆ nk 1     k 1Yˆ n1   k Yˆ n   k 1Yˆ n1     p Yˆ n p k
(7-45)
特别地,当 k  p 时, Yˆ n k  1Yˆ n k 1   2 Yˆ n k 2     p Yˆ n k  p
(7-48)
(7-46)
(7-47)
值得注意的是,我们假设: a n i  0(i  1) 乃是为了预测时的简便而作的。因为 at 是白
噪声序列,取 a n i  0 即是取均值,这样做的一定的合理性。
利用 MA(q ) 模型进行预测
设 { y t } 为 MA(q ) 序列,则有: yt  at   1 at 1   2 at 2     q at q
又设 {Y t} 是 { y t } 的样本序列: {Y t} : Y 1 , Y 2 , , Y n
则有: Y t  at   1 at 1   2 at 2     q at q
(7-49)
式中: at  0 (t  n)
下面,我们分几种情况情况讨论该预测模型:
1)当 q  1 时,式 (7-49)转化为: Y t  at   1 at 1
(7-50)
取 a n 1  0 ,则第 (n  1) 期预测值为: Yˆ n1  an1   1 an   1 an
(7-51)
由此看出,若能求出 a n 就能计算预测值 Yˆ n1 。为此,在式(7-50)中,令 t  n ,并移项,得:
an  Y n   1 an1
(7-52)
式(7-52)是计算 a n 的递推公式。取初始值 a 0  0 可递推计算出 a n ,再由式 (7-51)求出预测值 Yˆ n1 。
利用 MA(q ) 模型进行预测
另外,我们可以给出 Yˆ n1 的直接计算式。由式(7-52),我们有:
a n  Y n   1 a n 1
 Y n   1 (Y n 1   1 a n  2 )
Y
n
  1 Y n 1   12 a n  2
 Y n   1 Y n 1   12 (Y n  2   1 a n 3 )
 Y n   1 Y n 1   12 Y n  2   13 a n 3

 Y n   1 Y n 1   12 Y n  2     1n 1 a1
 Y n   1 Y n 1   12 Y n  2    1 (Y 1   1 a 0 )
n 1
Y
n
  1 Y n 1   12 Y n  2     1n 1 Y 1   1n a0
取 a0  0 ,有: an
Y
n
  1Y n1   12 Y n2     1n1Y 1 ,代入式(7-51) ,得到:
n 1
2
n 1
j
Yˆ n1   1 an   1 (Y n   1Y n1   1 Y n2     1 Y 1)   1  1 Y n j
(7-53)
j 0
若取 a n 1  a n  2  0 ,则第 ( n  2) 期预测值为: Yˆ n 2  an 2   1 an1  0 。
在上述分析中,我们假设 a n i  0 (i  1) ,事实上,我们可以利用迭代式(7-52)计算出 a1 , a2 , , an ,然后再利用一定的方法预
测出 aˆ n1 , aˆ n 2 , , aˆ n i ,那么 Y t 第 ( n  i ) 期的预测值就表达为: Yˆ ni  a ni   1 a ni 1
式中, i  1时 a ni  aˆ ni ,这样进行预测,会对原来的预测结果进行一定程度的修正。
(7-54)
利用 MA(q ) 模型进行预测
2)当 q  2 时,式(7-49)转化为: Y t  at   1 at 1   2 at 2
(7-55)
将该式变形,得到: at  Y t   1 at 1   2 at 2
(7-56)
此为计算 at 递推式,令初始值 a0  a1  0 ,可递推地计算出 a 2、a3、
、a n ,采取一定的方法又可预
测出 aˆ n1、aˆ n  2、
、aˆ ni、。
①若取 ani  0 (i  1, 2, ) ,得到 Y t 的一种简便的预测式:
Yˆ n1  an1   1 an   2 an1   1 an   2 an1
Yˆ n2  an2   1 an1   2 an   2 an
Yˆ  0 (i  2)
n i
(7-57)
(7-58)
(7-59)
②若取 a ni  aˆ ni (i  1) 由式 (7-55),得到 Y t 的一种修正的预测值:
Yˆ n1  aˆ n1   1 an   2 an1
Yˆ n 2  aˆ n 2   1 aˆ n1   2 an
Yˆ ni  aˆ ni   1 aˆ ni 1   2 aˆ ni 2
(i  2)
(7-60)
(7-61)
利用 MA(q ) 模型进行预测
3)在一般情况下,将式(7-49)变形: at  Y t   1 at 1   2 at 2   q at  q
(7-63)
、a n 进
这是计算 at 的递推式。令 a0  a1    a q 1  0 ,则可递推计算出: a q、a q 1、
一步预测出 aˆ n1、aˆ n2、 。
①若取 ani  0 (i  1) ,则有: Yˆ n  k    k a n   k 1 a n 1     q a n  k q
②若取 ani  aˆ ni ,则有: Yˆ n  k  a n  k   1 a n  k q   2 a n  k q   q a n  k  q
式中,当 i  1 时 ani  aˆ ni 。
(7-64)
(7-65)
利用 ARMA( p, q ) 模型进行预测
设 {yt} 是 ARMA( p, q ) 序列, {Y t} 是它样本序列,则有:
Y t  1 Y t 1   2 Y t  2     P yt  p  at   1 at 1   2 at 2     q at q
将式(7-66)变形,得到: at  Y t  1 Y t 1     p Y t  p   1 Y t 1     q at  q
(7-66)
(7-67)
式 (7-67) 是 计 算 at 的 递 推 公 式 。 令 a 0  a1    a q 1  0 即 可 利 用 式 (7-67) 计 算 出 :
a q、a q 1、
、a n 进一步可预测出 aˆ n1、aˆ n2、 。
①若取 ani  0 (i  1, 2, ) ,则有如下预测式:
Yˆ n1  1Y n   2 Y n1   p Y n p 1   1 an   2 an1     q anq 1
Yˆ n 2  1Yˆ n1   2 Y n   p Y n p  2   2 an   3 an1     q anq  2
Yˆ n  k  1 Yˆ n  k 1    k 1 Yˆ n 1   k Y n     p Y n  k  p
  k a n   k 1 a n 1     q a n  q 1
(7-68)
(7-69)
(7-70)
利用 ARMA ( p, q ) 模型进行预测
②若取 a ni  aˆ ni (i  1) ,则有:
Yˆ n1  1Y n   2 Y n1   p Y n p 1  aˆ n1   1 an     q anq 1
(7-71)
一般地,
Yˆ n  k  1 Yˆ n  k 1   2 Yˆ n  k  2   k 1 Yˆ n 1   k Y n  
  p Y n  k  p  aˆ n  k   1 aˆ n  k 1   
(7-72)
 k 1 aˆ n 1   k a n   k 1 a n 1     q a n  q  k
例如对 ARMA(1,1) 模型,则有: Y t  1Y t 1  at   1 at 1
(7-73)
若取 ani  0 (i  1, 2, ) ,则第 ( n  1) 期的预测值为:
Y n1  1Y n  an1   1 an  1Y n   1 an
在该式中,若能求出 a n 就可计算出 Yˆ n1 。为此,将式 (7-73)变形,得到:
at  Y t  1Y t 1   1 at 1
(7-74)
利用 ARMA( p, q ) 模型进行预测
利用该式,逐步迭代就可计算出 a n ,其过程如下:
an  Y n  1 Y n 1   1 an 1
 Y n  1 Y n 1   1 (Y n 1  1 Y n  2   1 an  2 )
Y n  1Y n1   1Y n1   11Y n2   12 an22
 Y n  (1   1) Y n 1   1 (1   1) Y n  2   1 1 Y n 3   3 an 3

 Y n  (1   1) Y n1   1 (1   1) Y n2   12 (1   1) Y n3
    1n3 (1   1) Y 2   1n2 1Y 1   1n1 a1
取 a1  Y 1 ,则有:
a n  Y n  (1   1) Y n 1   1 (1   1) Y n  2   12 (1   1) Y n 3
    1n 3 (1   1) Y 2   1n  2 (1   1) Y 1
n2
 Y n    1j (1   1) Y n  j 1
J 0
由式(7-74)知:
Yˆ n 1   1 Y n   1 an
n2
  1 Y n   1 Y n   1   1j ( 1   1) Yˆ n 1
n 1
j 0
   j ( 1   1) Y n  j
j 0
(7-76)
利用 ARMA( p, q ) 模型进行预测
第 ( n  2) 期的预测值为:
Yˆ n  2  1 Ynˆn11  a n  2   1 a n 1  1 Yˆ n 1
n 1
 1  (1   1) Y n  j  1 (1   1) 1j Y n  j
(7-78)
j
1
j 0
j 0
一般地,第 ( n  k ) 期的预测值为:
Yˆ n k  1Yˆ n k 1  
k 1
1
n 1
(1   1) j Y n j (k  2)
(7-79)
j 0
若取 a ni  aˆ ni (i  1, 2) ,则有:
n 1
j
Yˆ n1  aˆ n1  1Y n   1 an  aˆ n1   1 (1   1) Y n j
(7-80)
j 0
n 1
j
Yˆ n 2  aˆ n 2   1 aˆ n1  1Yˆ n1  aˆ n 2   1 aˆ n1  1 (1   1) 1 Y n j
(7-81)
j 0
一般地,第 ( n  k ) 期的预测值为:
Yˆ n k
n 1
 aˆ n k   1 aˆ n k 1  1Yˆ n k 1  an k   1 aˆ n k 1  1k 1 (1   1) j Y n j (7-82)
j 0
区间预测
在预测中,具有重要意义的是区间预测,也就是找到点值预测的置信区间。随机时间序列预测
方法可以进行区间预测。这是随机时间序列预测方法的优点之一。为进行区间预测,我们把
AR( p ) 模型、 MA(q ) 模型及 ARMA( p, q) 模型统一于 ARMA( p, q) 模型,也就是把 AR( p ) 模
型及 MA(q ) 模型看作为 ARMA( p, q ) 的特殊情况来处理。下面介绍三种模型通用的区间预测方
法。
设 {yt} 为 ARMA( p, q ) 序列( p 可为零, q 也可为零,但二者不同时为零)
,则有:
yt  1 yt 1   2 yt 2   p yt  p  at   1 at 1     q at q
(7-83)
如果 {Y t} 是 {y t} 的样本序列, {Y t} : Y 1 , Y 2 , , Y n ,那么,第 ( n  k ) 期的预测为:
Yˆ n k  1Y n k 1   2 Y n k 2     p Y n k  p  an k
 1 ank 1   2 ank 2     q ank q
若用 Y n k 表示第 ( n  k ) 期的实际值,则第 ( n  k ) 期的预测误差为:
U k  Y nk  Yˆ nk
(7-84)
(7-85)
区间预测
当 n 较大时,可认为 U k 服从正态分布,且可证明 U k 的均值和方差可表达为:
E (U k )  0
D(U k )  (1   12   22   2k 1)  e2
式中, 1 ,  2 , ,  k 1 由下列递推式计算:
(7-86)
 0  1
 1  ˆ1  ˆ1
 2  ˆ1 1  ˆ 2 0  ˆ2
  ˆ   ˆ   ˆ   ˆ
 3  1 2 2 1 3 0 3

 k 1  ˆ1 k 2  ˆ 2 k 3    ˆ k 1 0  ˆk 1
式中,若 j  p,  j  0; j  q, j  0 .
由 于 Uk
服 从 正 态 分 布 , 记 D(U k )   2k , 对 置 信 度
(Yˆ nk  1.96 k , Yˆ nk  1.96 k )
(7-87)
  0.05 , 则 Y n k 置 信 区 间 为 :
也就是说: P{Yˆ nk  1.96 k  Y nk  Yˆ nk  1.96 k}  1  5%  95%