Transcript 向量与矩阵范数, 误差分析

第五章
线性方程组直接解法
— 向量与矩阵范数
— 矩阵条件数
1
内容提要
 矩阵基础
 Gauss 消去法
 矩阵三角分解
 向量与矩阵范数
 误差分析
2
本讲内容
 向量范数
 定义、常见向量范数、性质
 矩阵范数
 定义、常见矩阵范数、性质
 矩阵条件数
3
向量范数
 向量内积（数量积）
 定义与性质、Cauchy-Schwarz不等式
 导出范数（欧氏范数）
 向量范数
定义：设函数 f : Rn  R，若 f 满足
(1) f(x)  0， xRn , 等号当且仅当 x = 0 时成立 （正定性）
(2) f(x) = || · f(x) ，  xRn ,  R （齐次性）
(3) f(x+y)  f(x) + f(y) （三角不等式）
则称 f 为 Rn 上的（向量）范数，通常记为 || · ||
4
常见向量范数
 Rn 空间上常见的向量范数
n
 1-范数： x 1   xi = |x1 |  | x2 | 
i 1
 2-范数：
 p-范数：
1
2
 | xn |
 n 2
2
2
x 2    xi   x1  x2 
 i 1 
x
p
 n
p
   xi 
 i 1

x
2
n
1
p
 -范数（有时也称最大范数）： x

 max xi
1 i  n
5
范数性质
 范数的性质
(1) 连续性
定理：设 f 是 Rn 上的任一向量范数，则 f 关于 x 的每个分
量连续。
证明：板书
(2) 等价性
定理：设 || · ||s 和 || · ||t 是 Rn 上的任意两个范数，则存
在常数 c1 和 c2 ，使得对任意的 xRn 有
c1 x s  x t  c2 x
s
证明：板书
6
范数性质
(3) Cauchy-Schwarz 不等式
定理：
( x, y)  x 2  y 2
证明：略
(4) 向量序列的收敛性
定义：设
 x  是 Rn 中的一个向量序列，其中
(k)
x
(k)
  x , x ,
(k)
1
(k)
2
(k)
(k)
lim
x
如果 k  i  xi ，则称 x
(k) T
n
, x 
(k)
lim
x
x
收敛到 x ，记为 k 
定理：设 || · || 是 Rn 上的任意一个向量范数，则
lim x ( k )  x *
k 
lim x
k 
(k)
 x*  0
证明：板书7
矩阵范数
 矩阵范数
定义：设函数 f : Rnn  R，若 f 满足
(1) f(A)  0， A Rnn , 且 f(A) = 0  A = 0 （正定性）
(2) f(A) = || · f(A) ，  ARn ,  R （齐次性）
(3) f(A+B)  f(A) + f(B) （三角不等式）
(4) f(AB)  f(A)f(B) （相容性）
则称 f 为 Rnn 上的（矩阵）范数，通常记为 || · ||
8
常见矩阵范数
 常见的矩阵范数
(1) F-范数 (Frobenious 范数)
A
F
 n n 2
   aij 
 i 1 j 1 
1
2
(2) 算子范数 (从属范数、诱导范数)
Ax
A  sup
 max Ax
x 1
x
xRn
x 0
其中 || · || 是 Rn 上的任意一个范数
9
算子范数
 常见的算子范数
n
① 1-范数（列范数）
② 2-范数（谱范数）
A 1  max  aij
1 j  n
i 1
A 2   ( AT A)
n
③ -范数（行范数）
A   max  aij
1 i  n
j 1
证明：③ ② 板书，① 为作业
10
算子范数举例
例：设
1 2 

A


3
4


计算
A 1, A 2, A , A F
解：板书
11
矩阵范数性质
 矩阵范数的性质
(1) 连续性：设 f 是 Rnn 上的任一矩阵范数，则 f 关于 A 的
每个分量是连续的。
证明：略
(2) 等价性：设 || · ||s 和 || · ||t 是 Rnn 上的任意两个矩阵范数，
则存在常数 c1 和 c2 ，使得对任意的 A Rnn 有
c1 A s  A t  c2 A s
证明：略
(3) 若 A 是对称矩阵，则
证明：练习
A 2   ( A)
12
算子范数性质
 算子范数的性质
定理：设 || · || 是任一算子范数，则  ( A)  A
证明：板书
注：该性质对 F-范数也成立。
定理：对任意  > 0, 总存在一算子范数 || · || ，使得
||A||  (A) + 
证明：略
13
算子范数性质
 算子范数的性质
定理：设 || · || 是 Rn 上的任一向量范数，其对应的算子范数
也记为 || · || ，则有
Ax  A  x
证明：直接由算子范数定义可得
该性质就是矩阵范数与向量范数的相容性
定理：设 || · || 是任一算子范数，若 ||B||<1 ，则 I±B 非奇异，
且
 I  B
1
1

1 B
证明：板书
14
病态矩阵
 什么是病态矩阵
定义：考虑线性方程组 Ax=b，如果 A 或 b 的微小变化会导
致解的巨大变化，则称此线性方程组是病态的，并称矩阵
A 是病态的，反之则是良态的。
1   x1   2



1 1.0001  x2   2
例： 1
1   x1   2 
1



1 1.0001  x2   2.0001
 x1   2
 x2    0
 x1  1
 x2   1
15
矩阵条件数
 如何判别矩阵是否病态 —— 矩阵的条件数
定义：设 A 非奇异，则称
Cond( A) 2  A1
2
A
2
为 A 的条件数，其中 || · ||v 是 1-范数，2-范数或 -范数。
定理：考虑线性方程组 Ax=b，设 A 是精确的，b 有微小的
变化 b，此时的解为 x + x ，则
x
x
1
 A
A
b
b
证明：板书
16
矩阵条件数
定理：考虑线性方程组 Ax=b，设 b 是精确的，A 有微小的
变化 A，此时的解为 x + x 。假定 A1  A  1 ，则
x
x
A
1
A

1 A
1
A
A
A
A
证明：板书
A
 当 A 充分小时，不等式右端约为
1
A
A
A
A
 一般来说，当 A 的条件数较大时，A 就是病态的
 条件数越大，病态越严重，此时就越难用一般方法求得
线性方程组比较精确的解。
17
矩阵条件数
 条件数与范数有关，常用的有无穷范数和2-范数
Cond( A)   A
1
Cond( A) 2  A1

2
A
A

2
注：Cond(A)2 称为谱条件数，当 A 对称时有
Cond( A) 2 
max i
1 i  n
min i
1 i  n
18
条件数性质
 条件数的性质
(1) Cond(A)1
(2) Cond(A) = Cond(A), 其中  为任意非零实数
(3) 若 R 是正交矩阵，则 Cond(R)2=1
(4) 若 R 是正交矩阵，则对任意非奇异矩阵 A，有
Cond(AR)2=Cond(RA)2=Cond(A)2
19
举例
1
1 

例： A 
1 1.0001
计算 Cond(A) 和 Cond(A)2
10000
 10000 10000 
解： A1   10001

Cond(A)=||A-1||  ||A||   4104
2
2.0001

2.0001
 0.0004  0

(
A
)

A 对称，且
2
Cond(A)2=max / min  4104
20
举例
例：计算 Cond(Hk) 其中 Hk 为 k 阶 Hilbert 矩阵
解：k=1 时， Cond(H1)=1
1 / 2
 4 6
1
,
H

2
1 / 2 1 / 3
 6 12 
k=2 时， H2   1
Cond(H2)=27
k=3
36
30 
 1 1 / 2 1 / 3
 9
1



H

1
/
2
1
/
3
1
/
4
,
H
192 180 
时， 3 
2  36

 30 180 180 
1
/
3
1
/
4
1
/
5




Cond(H3)=748
Cond(H4)=28375，Cond(H10)=3.51013
21