向量与矩阵范数, 误差分析
Download
Report
Transcript 向量与矩阵范数, 误差分析
第五章
线性方程组直接解法
— 向量与矩阵范数
— 矩阵条件数
1
内容提要
矩阵基础
Gauss 消去法
矩阵三角分解
向量与矩阵范数
误差分析
2
本讲内容
向量范数
定义、常见向量范数、性质
矩阵范数
定义、常见矩阵范数、性质
矩阵条件数
3
向量范数
向量内积(数量积)
定义与性质、Cauchy-Schwarz不等式
导出范数(欧氏范数)
向量范数
定义:设函数 f : Rn R,若 f 满足
(1) f(x) 0, xRn , 等号当且仅当 x = 0 时成立 (正定性)
(2) f(x) = || · f(x) , xRn , R (齐次性)
(3) f(x+y) f(x) + f(y) (三角不等式)
则称 f 为 Rn 上的(向量)范数,通常记为 || · ||
4
常见向量范数
Rn 空间上常见的向量范数
n
1-范数: x 1 xi = |x1 | | x2 |
i 1
2-范数:
p-范数:
1
2
| xn |
n 2
2
2
x 2 xi x1 x2
i 1
x
p
n
p
xi
i 1
x
2
n
1
p
-范数(有时也称最大范数): x
max xi
1 i n
5
范数性质
范数的性质
(1) 连续性
定理:设 f 是 Rn 上的任一向量范数,则 f 关于 x 的每个分
量连续。
证明:板书
(2) 等价性
定理:设 || · ||s 和 || · ||t 是 Rn 上的任意两个范数,则存
在常数 c1 和 c2 ,使得对任意的 xRn 有
c1 x s x t c2 x
s
证明:板书
6
范数性质
(3) Cauchy-Schwarz 不等式
定理:
( x, y) x 2 y 2
证明:略
(4) 向量序列的收敛性
定义:设
x 是 Rn 中的一个向量序列,其中
(k)
x
(k)
x , x ,
(k)
1
(k)
2
(k)
(k)
lim
x
如果 k i xi ,则称 x
(k) T
n
, x
(k)
lim
x
x
收敛到 x ,记为 k
定理:设 || · || 是 Rn 上的任意一个向量范数,则
lim x ( k ) x *
k
lim x
k
(k)
x* 0
证明:板书7
矩阵范数
矩阵范数
定义:设函数 f : Rnn R,若 f 满足
(1) f(A) 0, A Rnn , 且 f(A) = 0 A = 0 (正定性)
(2) f(A) = || · f(A) , ARn , R (齐次性)
(3) f(A+B) f(A) + f(B) (三角不等式)
(4) f(AB) f(A)f(B) (相容性)
则称 f 为 Rnn 上的(矩阵)范数,通常记为 || · ||
8
常见矩阵范数
常见的矩阵范数
(1) F-范数 (Frobenious 范数)
A
F
n n 2
aij
i 1 j 1
1
2
(2) 算子范数 (从属范数、诱导范数)
Ax
A sup
max Ax
x 1
x
xRn
x 0
其中 || · || 是 Rn 上的任意一个范数
9
算子范数
常见的算子范数
n
① 1-范数(列范数)
② 2-范数(谱范数)
A 1 max aij
1 j n
i 1
A 2 ( AT A)
n
③ -范数(行范数)
A max aij
1 i n
j 1
证明:③ ② 板书,① 为作业
10
算子范数举例
例:设
1 2
A
3
4
计算
A 1, A 2, A , A F
解:板书
11
矩阵范数性质
矩阵范数的性质
(1) 连续性:设 f 是 Rnn 上的任一矩阵范数,则 f 关于 A 的
每个分量是连续的。
证明:略
(2) 等价性:设 || · ||s 和 || · ||t 是 Rnn 上的任意两个矩阵范数,
则存在常数 c1 和 c2 ,使得对任意的 A Rnn 有
c1 A s A t c2 A s
证明:略
(3) 若 A 是对称矩阵,则
证明:练习
A 2 ( A)
12
算子范数性质
算子范数的性质
定理:设 || · || 是任一算子范数,则 ( A) A
证明:板书
注:该性质对 F-范数也成立。
定理:对任意 > 0, 总存在一算子范数 || · || ,使得
||A|| (A) +
证明:略
13
算子范数性质
算子范数的性质
定理:设 || · || 是 Rn 上的任一向量范数,其对应的算子范数
也记为 || · || ,则有
Ax A x
证明:直接由算子范数定义可得
该性质就是矩阵范数与向量范数的相容性
定理:设 || · || 是任一算子范数,若 ||B||<1 ,则 I±B 非奇异,
且
I B
1
1
1 B
证明:板书
14
病态矩阵
什么是病态矩阵
定义:考虑线性方程组 Ax=b,如果 A 或 b 的微小变化会导
致解的巨大变化,则称此线性方程组是病态的,并称矩阵
A 是病态的,反之则是良态的。
1 x1 2
1 1.0001 x2 2
例: 1
1 x1 2
1
1 1.0001 x2 2.0001
x1 2
x2 0
x1 1
x2 1
15
矩阵条件数
如何判别矩阵是否病态 —— 矩阵的条件数
定义:设 A 非奇异,则称
Cond( A) 2 A1
2
A
2
为 A 的条件数,其中 || · ||v 是 1-范数,2-范数或 -范数。
定理:考虑线性方程组 Ax=b,设 A 是精确的,b 有微小的
变化 b,此时的解为 x + x ,则
x
x
1
A
A
b
b
证明:板书
16
矩阵条件数
定理:考虑线性方程组 Ax=b,设 b 是精确的,A 有微小的
变化 A,此时的解为 x + x 。假定 A1 A 1 ,则
x
x
A
1
A
1 A
1
A
A
A
A
证明:板书
A
当 A 充分小时,不等式右端约为
1
A
A
A
A
一般来说,当 A 的条件数较大时,A 就是病态的
条件数越大,病态越严重,此时就越难用一般方法求得
线性方程组比较精确的解。
17
矩阵条件数
条件数与范数有关,常用的有无穷范数和2-范数
Cond( A) A
1
Cond( A) 2 A1
2
A
A
2
注:Cond(A)2 称为谱条件数,当 A 对称时有
Cond( A) 2
max i
1 i n
min i
1 i n
18
条件数性质
条件数的性质
(1) Cond(A)1
(2) Cond(A) = Cond(A), 其中 为任意非零实数
(3) 若 R 是正交矩阵,则 Cond(R)2=1
(4) 若 R 是正交矩阵,则对任意非奇异矩阵 A,有
Cond(AR)2=Cond(RA)2=Cond(A)2
19
举例
1
1
例: A
1 1.0001
计算 Cond(A) 和 Cond(A)2
10000
10000 10000
解: A1 10001
Cond(A)=||A-1|| ||A|| 4104
2
2.0001
2.0001
0.0004 0
(
A
)
A 对称,且
2
Cond(A)2=max / min 4104
20
举例
例:计算 Cond(Hk) 其中 Hk 为 k 阶 Hilbert 矩阵
解:k=1 时, Cond(H1)=1
1 / 2
4 6
1
,
H
2
1 / 2 1 / 3
6 12
k=2 时, H2 1
Cond(H2)=27
k=3
36
30
1 1 / 2 1 / 3
9
1
H
1
/
2
1
/
3
1
/
4
,
H
192 180
时, 3
2 36
30 180 180
1
/
3
1
/
4
1
/
5
Cond(H3)=748
Cond(H4)=28375,Cond(H10)=3.51013
21