Transcript 第二章线性方程组的敏度分析

第二章 线性方程组的敏度分析
•向量范数与矩阵范数
•线性方程组的敏度分析
2.1 向量范数与矩阵范数
1
2.1.1 向量范数
定义2.1.1 一个从Rn到R的非负函数‖·‖叫做Rn上的向量范数。
如果它满足：
（1）正定性：对x  R n ,有 x  0, 而且
x  0  x  0,
（2）齐次性：对x  R n和   R, 有
x   x .
（3）三角不等式：对x, y  R
n
,有
x+ y  x  y .
n

x,
y

R
,  ,   R
注：性质（2）（3）可以合并为：对
x y   x   y .
p-范数(又称为Hölder范数)
x
p

 x1 p  x2 p 
 xn
p

1
p
, p 1
其中p=1,2, ∞是最常用的.即
x 1  x1  x2 

 xn
2
2
x 2  x1  x2 
x

 xn

1
2 2
 max  xk 
1 k  n
分别称为1-范数、2-范数和∞-范数（或一致范数）。
很显然，单位向量的p-范数都等于1。
例1 试求向量
x  (1,2,3)T
的三种常用p-范数。
解： x  1  2  3  1  2  3  6;
1
1
2 2
x 2   1 2  2 2  3   14;
x   max{1 , 2 , 3 }  3.
例2 若x,y是线性相关且 x y  0, 则有
x y 2  x 2  y 2
T
证明：既然x,y是线性相关且 xT y  0, 则x,y的夹角为0。故
xT y  x
于是
2
y
2
x  y 2  ( x  y )T ( x  y )  xT x  yT y  2 xT y
=

x 2 y
2

2
 x 2  y 2.
例3 向量范数是定义在Rn上的连续实函数.
证明 由范数的定义性质可知:
x  x y+ y  x y  y 

 x  y  x y ,
y  yx x  x y  x 

而
x y 
n
(x
k 1
k
n

ek
 yk )ek   xk  yk ek  max
1 k  n
k 1
其中ek是单位向量. 又因
x  y  xk  yk (k  1, 2,
于是
lim x  y .
x y
, n).
 x
n
k 1
k
 yk
定理1 设
和
n上的两个范数,则存在正数C
 是定义在R
和C2,使对
x  R n
C1 x   x
1
 C2 x  . (即任两范数都等价.)
n
S

x
|

1,
x

R

x
 , 由于,向量范数
证明:令单位球面集合


都是定义在Rn上的连续函数.故  在有界闭集合S上必取得
最小值C1和最小值C2,即对一切非0向量x有
C1 
即
x
x

 
C1 x   x
p-范数的等价关系:

x

x

 C2
 C2 x  .
x 2  x 1  n x 2,
x

 x 2  n x ,
x

 x 1  n x .
证毕
(k )
 0 的充分必要条件是
定理2 设  x ( k )   R n , 则 lim
x

x
k 
lim xi( k )  xi  0, i  1, 2,
k 
, n.
证明: 由定理1知:存在正数C1和C2使 x  R , 都有
C1 x( k )  x   x( k )  x  C2 x ( k )  x 
n
必要性.设对   0, K  0, 当k>K时,有
x ( k )  x  C1 .
从而
max  xi( k )  xi   x ( k )  x   x ( k )  x / C1   .
1i  n
充分性. 设对   0, K  0,当k>K时,有
x(k )  x

  / C2 .
从而
x( k )  x  C2 x( k )  x

 .
2.1.2 矩阵范数
nn
nn
定义2 非负函数 : R  R, 叫做 R 上的矩阵范数,如果
nn
(1)正定性: 对 A  R , 有 A  0, 且 A  0  A  0.
nn 和   R, 有
A   A .

A

R
,
(2)齐次性: 对
nn

A
,
B

R
, 有 A B  A  B .
(3)三角不等式: 对
nn 有
AB  A B .

A
,
B

R
,
(4)相容性: 对
nn
R
事实上,
是一个n2的线性空间.这是因为,如果令
Ei, j  ei eTj ,1  i, j  n.
则 A  ai, j   R
nn
n
n
, 都可表示为 A   ai , j Ei , j .
i 1 j 1
因此: (1) 任意两个矩阵范数都是等价的; (2) 矩阵序列的范数


(k )
nn
(k )


A


R
a
收敛等价于其元素收敛.即当
 i, j 
lim A( k )  A  0  lim ai(,kj)  ai , j , i, j  1,
k 
k 
, n.
定义3 若矩阵范数  M 和向量范数  V 满足
nn
n

,
A

R
,
x

R
,
Ax V
AM xV
则称矩阵范数 
M
和向量范数
 V 是相容的。
定理3 设‖‖是Rn上的一个向量范数。则非负函数
nn

max
,
A

R
,


Ax
A
1
x
是定义在Rn×n上的一个矩阵范数。
由该定义给出的矩阵范数也称为从属于向量范数
的矩阵范数，也称为由向量范数诱导出的算子范数。
显然，单位矩阵的算子范数等于1。
矩阵的p-范数即是由向量p-范数诱导出的算子范数：
 Ax
A p  max
1
x
p
p
, A  R
nn
,
定理4 矩阵的p范数有如下计算公式：

1

T
a

max
A
ei
A   max
i
,
j

1i  n
1i  n
1
n
ai , j  max Ae j
A 1  max

1 j  n
1 j  n
i 1
n
j 1

矩阵1-范数亦称为列范数
,
矩阵∞-范数亦称为行范数
矩阵2-范数亦称为谱范数
T
T
A 2  max ( A A)   ( A A).
例2 计算下列矩阵的三种p范数
0 2 2
G  0 2 3


0 0 2 
解
G 1  max{0, 4,7}  7;
G

 max{4,5, 2}  5;
0 0 0 
25  97
GT G  0 8 2 , det   I  GT G      2  25  132  ,  (GT G) 


2
0 2 17 
25  97
G2
2
 17.4243  4.1743.
定义4 设 A  C
nn
, 则称
 ( A)  max {  }
 ( A )
为A的谱半径。这里 ( A) 表示A的谱集（即A的特征值全体）
定理 6 设A  C nn , 则有
（1）对C n×n上的任意矩阵范数，有
 ( A)  A ;
（2）对给定的ε> 0 ,存在C n×n上一个算子范数,使得
A   ( A)   .
定理 7 设A  C nn , 则
lim Ak  0   ( A)  1.
k 
定理 8 设  是 C nn 上的一个矩阵范数,且 I  1, 假定
A  C nn满足 A  1, 则I-A可逆,且有
1
1

.
( I  A)
1 A
2.2 线性方程组的敏度分析
问题提出: 设 x 满足非奇异线性方程组
Ax  b, A  Rnn , b  Rn .
x +δx 满足线性扰动方程组
( A  δA)( x   x)  b   b,  A  Rnn ,  b  Rn .
其中, δA 称为矩阵A的扰动,δb称为向量b的扰动.
问题1: δA ,δb 和δx 的关系是怎样的? δA 和δb 大小对
δx 的影响是怎样的?
问题2: 决定这种影响的原因是什么?
在以下的讨论中,假定A 和A +δA 是非奇异的. 即原方程组
和扰动方程组的解 x 和 x +δx 都是唯一存在的.
问题1: δA ,δb 和δx 的关系是怎样的? δA 和δb
大小对δx 的影响是怎样的?
扰动方程组可写成
Ax  A x   A  x   x   b   b
代入Ax  b, 得
A x   A  x   x    b
整理,得
 x   A   A 1  b   Ax 
  I  A1 A  A1  b   Ax 
1
两边取范数得
1
 x   I  A1 A  A1   b   A x 
1
A

1  A1 A
 b
1
A

1  A1  A
 A x
 b

 A x

问题2: 决定这种影响的原因是什么?
1
A
x 
1  A1  A
两边除以 x
已得出
 b
 A x

 b
A x 
A1



1
1

x 
x
A A  x
1
A  b   A x 
A


1  A1  A  A x
A x 
x 
A1 A
大小直接影
响解的相对
误差
1
A  b   A 
A


1  A1  A  b
A 

 b
A 


 A  b
A 
A
A
A1 A
1  A1
定理2.2.1 设‖.‖是Rn×n上的一个满足条件‖I‖=1的矩阵范数.并假
设A∈Rn×n非奇异, b∈Rn非零;再假定δA ∈Rn×n满足 ‖A1‖‖δA‖<1.若 x 和 x+ δx 分别是线性方程组
Ax  b 和  A   A x   x   b   b
的解,则
x 
x
 ( A)
 A
b



A
b
 A
1   ( A)
其中  ( A)  A1 A .
当 A
A
A
 ( A)
  ( A)
较小时,有
1   ( A)  A
A
 x   ( A)   A   b  .



x

,

 A
b 
,从而有
定义1 称数  ( A)  A1 A 为线性方程组 Ax  b
的条件数.
由定理1知，条件数在一定程度上刻划了扰动方程组解的
影响程度。当条件数很大时，就说方程组是病态的；反之，
称方程组是良态的。
条件数是用矩阵范数定义的。使用不同的范数，对应的条
件数的大小可能有所区别，但条件数“大”或“小”的本质
是不会变的。常用的条件数有：
1 ( A)  A1 1 A 1 , 2 ( A)  A1
显然
2
A 2 ,  ( A)  A1
1
 2 ( A)  1 ( A)  n 2 ( A),
n
1
  ( A)   2 ( A)  n  ( A),
n
1
2

(
A
)


(
A
)

n
1 ( A).

2 1
n

A .
例5 求2阶矩阵
 2.0002 1.9998 
A

1.9998
2.0002


条件数  ( A)
解 因为
所以有
 2.0002 1.9998
 1.9998 2.0002 


10000  2.0002 1.9998

16  1.9998 2.0002 
1
A 
2.00022  1.99982
1
 ( A)  A  A1

 4  2500  10000.
nn
推论2.2.1 设  是 R 上的一个满足条件 I  1 的矩阵范数,
nn
1
设 A  R nn 非奇异.而且  A  R 满足 A  A  1, 则
A +δA 也是非奇异的,且有
( A   A)1  A1
 ( A)
A .

A1
1   ( A)  A A
A
证明 ( A   A)1  A1  ( A   A)1 ( I  ( A   A) A1 )
 ( I  A1 A) 1 A1 AA1
( A   A) 1  A1  ( I  A1 A) 1 A1  A A1
( A   A) 1  A1
A
1

A1  A
1  A1
A
 ( A)

A A
A
1   ( A)
A
定理2.2.2 设 A  R
nn
非奇异的,则
 A 2

1
1
min 
: A   A奇异 

,
1
 A2
 A 2 A 2  2 ( A)
1
min
:
A


A
奇异

证明 只需证明
A 2

即可. 由于
即在谱范数下,一个矩阵的条件的倒数恰好等于该矩阵与全
1
A 2
体奇异矩阵所成集合的相对距离.
1
A   A  A(I  A  A), 故当 A1 2  A 2  1 时, A   A 非奇异.
因此,由上节最后的定理知
A 2 
1
A1
2
A1 x 2  A1
此外,由谱范数的定义知必有单位长向量x使
A1 x
xyT
令
y
, A  
1
1
A x
则有 y 2  1, 且
A
2
( A   A) y  Ay   Ay 
2
x
1
A x
 A 2  max
1
z
2
xyT z
A1
2


2
x
 0.
1
A
2
1
x2
max yT z 
.
1

1

1
A 2 z2
A 2
2
作业
（P73～74）2,
6, 8,
11,
12,
13