Transcript Document

第一章
光、影像、浮水印和抽樣原理
1
內容





1.1 前言
1.2 光與顏色
1.3 人眼與照像機的關係
1.4 彩色模式的轉換 - RGB、YIQ、HSV、YUV和YCbCr
1.5 隱像術與浮水印


1.5.2 基本原理
1.6.1 形態學

1.6.2 離散餘弦轉換

1.7.2 避免混疊效應
1.7 影像抽樣原理



1.6 人臉的定位應用


1.5.1 影像的位元平面剖析
1.7.1 傅利葉轉換
1.8 結論
2
1.1 前言

光的特性和組成，人眼和相機的關係。色彩模式(Color
model)的轉換，隱像術(Image Hiding)和浮水印
(Watermark)之一。人臉定位:形態學(Morphology)和離散
餘弦轉換(Discrete Cosine Transform, DCT) 。

傅立葉轉換(Fourier Transform) 。迴積定理(Convolution
Theorem) ， 影像抽樣原理。
3
1.2 光與顏色


光(Light): 粒子，波。人:可見光，不能看見頻率(Frequency)低於
可見光的紅外線和微波，也無法看見頻率高於可見光的紫外線和
加瑪射線。
亮度(Brightness)和頻率的關係，如圖1.2.1所示。低頻率的紅光和
高頻率的紫光的亮度都不如比較中間頻率的黃綠光來的強。
亮
度
黃
綠
紅光波長： 700 109
紫光波長： 400 109
紫
紅
可見光
頻率
圖1.2.1 亮度與頻率的關係
4
1.3 人眼與照像機的關係


影像處理前的輸入影像有很大的比例是由照像機(Camera)拍攝而
得。
瞳孔:光圈，調節光通量，流明(Luminance)為單位。
視
網
膜
瞳
孔
睫
狀
肌
水
晶
體
眼
角
膜
圖1.3.1 人眼示意圖
視
神
經
束
5
1.4 彩色模式的轉換

在影像的彩色模式中，比較常見的有下列幾種：
(1)RGB， (2)YIQ，(3)HSV，(4)YUV ，(5)YCbCr 。

RGBYIQ
Y :亮度(Luminance)；I :In-phase，色彩從橙色到青色；Q :Quadraturephase，色彩從紫色到黃綠色。(NTSC 電視系統標準)
Y  0.299 0.587 0.114   R 
 I   0.596 0.275 0.321 G 
  
 
Q  0.212 0.523 0.311   B 
(1.4.1)
範例1：R,G,B)=(100,50,30)，試求其對應的灰階值。
解答：
Y  0.299 100  0.587  50  0.114  30  63
解答完畢
6
(40,30,20) 
 (10,20,40)
I 

(
100
,
150
,
200
)
(
50
,
250
,
120
)


範例2：
將 I 轉換成YIQ影像，這裡(10,20,40)代表R=10, G=20和B=40。
解答：
Y11  0.299 10  0.587  20  0.114  40  19.29
I11  0.596 10  0.275  20  0.321 40  12.38
Q11  0.212 10  0.523  20  0.311 40  4.1
YIQ影像為
I YIQ
(32,9,1) 
 (19,12,4)


(
141
,

46
,
4
)
(
175
,

77
,

84
)


解答完畢
7
圖1.4.1 彩色Lena影像
圖1.4.2 轉換的高灰階Lena影像
8

RGBHSV
 0.5R  G   R  B  
H 1  cos 

2
 R  G   R  B G  B  
H  H1 if B  G
1
H  360  H1 if B  G
Max(RR,,G
G, B)  min(
Min(R, G, B)
max(
S

S
Max(R
R,,G
G,, B
B))
max(
Max(RR,,G
G,, B
B))
max(
V

V
255
255



(1.4.2)
H=0時代表紅色，H=120時代表綠色，H=240時代表藍色。
S=0時，表示影像為灰階式的影像。
當H = 0且S=1時，影像為紅色。當V=0時，表示黑色。反之，當
V=1時，表示白色的亮光。
9

HSV系統可以圖1.4.3表示其座標系統。
圖1.4.3 HSV彩色系統

HSV=HSB=HIS，B:Brightness，I:Intensity 。
10

YUVYIQ
I  U sin(33)  V cos(33)
Q  U cos(33)  V sin(33)

在JPEG系統中，我們第一步輸入RGB彩色影像。第二步將RGB彩
色轉換成YCbCr彩色系統。
Cb  ( B  Y ) / 2  0.58
Cr  ( R  Y ) / 2  0.58
(1.4.3)
Cb 代表“Blue Minus ‘Black and White’ ”
Cr 代表“Red Minus ‘Black and White’ ”
11
1.5 隱像術與浮水印
1.5.1 影像的位元平面剖析
(a) R平面
(b) G平面
(a) B平面
圖1.5.1.1 彩色Lena影像的三張分解圖
12

灰階Lena影像分解成八個位元平面
(a) 第一張位元平面
(b) 第二張位元平面
(e) 第五張位元平面
(f) 第六張位元平面
(c) 第三張位元平面
(d) 第四張位元平面
(g) 第七張位元平面
(h) 第八張位元平面
圖1.5.1.2 灰階Lena影像的八張位元平面剖析
13

把圖1.5.1.2(e) ~ (h) 疊在一起可得到圖1.5.1.3。
圖1.5.1.2(e) ~ (h) 的合成影像
14
範例1：給44子影像，子影像的每一個像素之灰階值佔用
八個位元，請算出第三張位元平面。
8
7
6
5
32
31
30
29
10
11
12
13
0
1
2
3
解答：子影像轉換成
00001000
00000111
00000110
00000101
00100000
00011111
00011110
00011101
00001010
00001011
00001100
00001101
00000000
00000001
00000010
00000011
將右邊第三位元全部收集起來，得到第三位元平面：
解答完畢
0
1
1
1
0
1
1
1
0
0
1
1
0
0
0
0
15
範例2：前述的隱像術之優缺點為何?
解答：
植入容易
原影像
植入浮水印的影像
取出困難
滿足上圖的函數也叫單程函數(One-way Function)。利用位元平面
來植入影像的最大缺點為：一旦經過壓縮後，所植入的影像很容
易受到破壞，解壓後所取出的影像常常已遭到破損。
解答完畢
16
1.5.2 基本原理

隱像術
把A影像隱藏在B影像並且讓人無法察覺B影像中藏了A影像。

PSNR
令B'為將A隱藏在B後的結果。PSNR (Peak Signal-to-Noise Ratio)
很常被用來評估B'和B的相似性，PSNR的定義如下
2552
PSNR  10 log10
MSE
1 N 1 N 1
MSE  2  ( B' ( x, y )  B( x, y ))2
N x 0 y 0

浮水印
可把A看成標誌(Logo)，通常這個標誌可想成一種版權。
17

SVD隱像術方法
已知有一 N × N 的灰階影像 A，假設 A 的秩(Rank)為 r，
則 A 的SVD可表示為
A  U V t
V和U為正交矩陣(Orthogonal Matrix)且  diag( 1 , 2 ,..., n )，其中
 1 ,  2 ... n 滿足  1   2  ...   r  0 和  r1   r2  ...   n  0。
這裏 σ i 等於 i ，  i 為矩陣At A的第 i 個特徵值(Eigenvalue)。
18
範例1：如何知道 λ i  0 ？
解答：利用
AX
2
  AX  AX  X t At AX
t
 X t  X    X t X
 X

AX
X
2
2
2
0
解答完畢
19
範例2：如何知道A可進行SVD分解？也就是，如何得到
  1 0 V1t 
 t 
A  U V  (U1U 2 )
 
 0 0 V2 
 U1  1V1t
t
(1.5.2.1)
解答：
20
8 8
 2 2
t
例如，令 A  
，則 A A  
。

8
8


 2 2
A t A 的特徵值(Eigenvalues)為 1  16 和 2  0 。將特徵值開根號，A
的奇異值為  1  4 和  2  0。特徵值為16的特徵向量為 V1  1, 1t
而特徵值為0的特徵向量為 V2  1, 1t，利用這二個特徵向量可建構出
1 1 1 


V  (V1 ,V2 ) 
2 1  1
利用 AV  U  可得 AV1  1u1
所以

1
1  2 2
u1 
AV1  

1
4  2 2


1  
2  

1  
 
2 
1 
2 
1 

2
21
又由 AV  U ，可得 AtU  V t 。利用 At u2  0 可找出
 1
u2  
 2
t
1 
,
 。A的SVD可表示為
2


t
A  U V  



1
2
1
2

 1


2  4 0  2
1  0 0  1



2
 2
1


2 
1 


2
1
結合SVD及VQ之方法[20]，在壓縮和失真之間得到一個較好的平衡 。
22
圖1.5.2.1(a)為待植入的F16影像，圖1.5.2.1(b) 為將F16植入圖1.4.2
後的結果。F16經隱像後，效果的確蠻好的，畢竟在圖1.5.2.1(b)中，
用肉眼實在看不出F16隱藏其中。
(a) 待植入的F16
(b) 用SVD將F16植入圖1.4.2後的結果
圖1.5.2.1 隱像後的效果
23
範例3：一般而言，怎樣分辨浮水印和資料隱藏?
解答：
浮水印: 確定影像的所有者。
資料隱藏: 將資料隱藏起來。
解答完畢
24
1.6 人臉的定位應用
1.6.1 型態學
圖1.6.1.1 輸入的影像


圖1.6.1.2 皮膚色所在
封閉(Closing)算子
開放(Opening)算子
25

擴張(Dilation)和侵蝕 (Erosion)
A:待處理的區塊集; B:結構化元素集(Structuring Elements)

擴張運算
D( A, B)  A  B   A  b

bB
侵蝕運算
E ( A, B)  AΘ ( B)   A  b
b B
y
y
5
y
5
5
4
3
4
3
4
3
2
1
2
1
2
1
1
1
A
B
x
1 2
3 4
5
圖1.6.1.3 集合A和B
1
1
x
1 2
3 4
5
圖1.6.1.4 D(A,B)
1
1
x
1 2
3 4
5
圖1.6.1.5 E(A,B)
26
範例1：今將圖1.6.1.3的區塊集改成下圖所示的區塊：
試求D(A, B)和E(A, B)。
解答：

D A, B 
解答完畢

E  A, B  
27
範例1.1：延用圖1.6.1.3的結構化元素集B，請分別算出此三區塊集
經開放算子及封閉算子運算後的結果，並加以說明。
Y
10
9
8
7
6
5
4
3
2
1
X
1
2
3
4
5
6
7
8
9
10
28
解答：
封閉算子:擴張再侵蝕。經由擴張運算
可以得到下圖的結果。
將擴張運算所得區塊集進行侵蝕運算，
得下圖的結果。
Y
10
9
8
7
6
5
4
3
2
1
X
1
2
3
4
5
6
7
8
9
10
開放算子:侵蝕再擴張
經由侵蝕運算可以得到下圖
將侵蝕運算所得區塊集進行擴張運算
得下圖的結果。
Y
Y
10
10
9
9
8
8
7
7
6
6
5
5
4
4
3
3
2
2
1
1
X
X
1
2
3
4
5
6
7
8
9
10
此即為封閉算子運算後的結果。
解答完畢
1
2
3
4
5
6
7
8
9
10
29
範例2：如何利用擴張運算子D和侵蝕運算子E以求得影像中輪廓
的外圍？
解答：I:原影像，B:結構化元素集。D(I, B)將影像的輪廓擴張；
E(I, B)可將影像的輪廓侵蝕。[D(I, B)-E(I, B)]:物體的輪廓外圍，這
裏的‘-’代表兩影像相減。：
介於D(I,B)和E(I,B)之間的環形區域可視為物體I的輪廓。
解答完畢
30
範例4：如何利用色調範圍來過濾皮膚色?
解答： 首先利用人工點選的方式，將所有訓練影像中的皮膚色予
以框出來，然後將色調抽取出來，並且將統計出來的平均
值 μ 和標準差  用於濾波器的設計，下面為其示意圖：
31
1.6.2 離散餘弦轉換(Discrete Cosine Transform)

DCT
令 f(x,y) 為框框內位於(x,y)的灰階值減去128，則DCT的計算公式
如下
N 1 N 1
1
(2 x  1)i
(2 y  1) j
D(i, j ) 
C (i )C ( j ) f ( x, y ) cos
cos
2N
2N
2N
x  0 y 0
1 / 2
,i  0
c(i )  
, otherwise
 1

1 / 2
c( j )  
 1
(1.6.2.1)
, j0
, otherwise
IDCT
f(x,y)也可透過IDCT(inverse DCT)得到，公式如下
1
f ( x, y) 
2N
N 1 N 1
 C(i)C( j)D(i, j) cos
i 0 j 0
(2 x  1)i
(2 y  1) j
cos
2N
2N
(1.6.2.2)
透過式子(1.6.2.2)求得f(x,y)後再加上128即可得到位於影像中(x,y)
位置的原始灰階值。
32

DC(Direct Current、直流值)
1 1 1 N 1 N 1
1
D(0,0) 
f
(
x
,
y
)
cos
0
cos
0


2 N 2 2 x 0 y 0
2 2N
N 1 N 1
 f ( x, y)
x 0 y 0
此處N=8，則
1 7 7
D(0,0)   f ( x, y )
8 x 0 y 0

AC(Alternative Current、交流值)
20
23
12
5
7
9
22
30
-481 107
41
57
-26 -159 -43
-70
22
32
16
5
8
12
11
23
-316 -104 -11
14
32
100
18
41
29
32
16
11
70
30
20
20
0
41
9
-67
-56
9
47
40
100 142
3
45
44
200
50
22
-49
-29
37
-77
85
10
-91
-43
103 120
33
41
200
50
22
70
114
26
-9
103 -49
-26
86
53
120 210
22
123
23
70
69
160
-60
-17
-23
-9
-22
12
-55
-94
12
24
126
90
20
6
60
64
-7
56
-2
-7
27
43
12
212 252 243
26
149 221
61
90
-74
-4
-77
-25
74
-41
-44 103
222
圖1.6.2.1 8x8的灰階圖案及其灰階值
圖1.6.2.2 DCT後的結果
33
範例2：當D(0, 0)>1000時，原88灰階影像為何種影像？
解答：令全黑的灰階值為0，而全白的灰階值為255。已知
1
f ( x, y )  1000
x  0 y  0 64
7
7
D (0, 0)  8  
原88灰階影像可能為一幾近全白的平滑影像。
解答完畢
圖1.6.2.3為DCT後的頻率域之
紋理方向示意圖。通常若框住
皮膚色的框框是臉部時，在高
頻區會有一些較大的係數表現。
當DC值過小時和AC值過大，
可進一步判斷有臉部的框框。
圖1.6.2.3
DCT頻率域的紋
理方向示意圖
34
範例3：如何在臉部上找出眼睛和嘴巴的部位？
解答：假設找到的臉部如下所示：
利用水平投射法(Horizontal Projection)
我們可發現在(a, b)和(c, d)兩區間有頻率較高的波峰(Peak)，依
位置而言，可合理推估(a, b)區間為眼部所在，而(c, d)區間為
嘴巴所在，畢竟這兩個部分的邊點數是較多的。
解答完畢
35
1.7 影像抽樣原理
1.7.1 傅利葉轉換
給一週期函數(Periodic Function) g(θ)，0    2 ，傅利葉原先
的想法是將g(θ)用有正交性(Orthogonality)的傅利葉基底(Basis)
來表示。這些正交的基底為cosθ、cos2θ、cos3θ、…、sinθ、
sin2θ、sin3θ、…， 0    2 。

正交性
1
cos( m  n)  cos( m  n) 
2
cos m cos n 
當m  n時，
m  n  0時，

2

2
0
0
m  n  0時，

2
0
cosm cosnd  0
cosm cosnd  
cosm cosnd  2
36

求解傅利葉係數
有了傅利葉基底後，g(θ)可表示成
a0 
g      ak cosk  bk sin k 
2 k 1
則從

2
0
(1.7.1.1)
am , m  0
g ( ) cosmd  
a0 , m  0
可推得
am 
1

2
0
g ( ) cos md , m  0,1,2,...
從

2
0
g ( ) sin md  bm (m  0)
可推得
bm 
1

2
0
g ( ) sin md , m  1,2,3,...
37
g
()

範例1：我們來看個例子吧！
解答：令 g     ,    
 ak 
bk 
1
π

 cos kd  0




1



 sin k d 
2


0
d(
 cos k
)
k
π
-3
π-2
π圖1.7.1.1 g(θ)
2
2
  cos k  (1) k 1
k
k

2
k 1
g
(

)

(

1
)
sin k


k 0 k
1
1
1
 2[sin   sin 2  sin 3  sin 4  ...]
2
3
4
 S1  2 sin 
g()
3
2
只取第一項
1
S 2  2[sin   sin 2 ] 只取前二項
2
1
1
S3  2[sin   sin 2  sin 3 ] 只取前三項
2
3
解答完畢
π 2
π
π
1
-3
-2
-1
1
-1
圖1.7.1.2 g(θ)的三個近似圖
-2
38
2

FFT
2 i
i
N
令 W i  e 為1的基本根(Primitive Root)且滿足 WNN  1。若
N=8時，傅利葉矩陣為
1
1
1
1
1
1 1
N

1
1

1
F8  
1

1
1

1

W2
W4
W6
1
W2
W4
W6

FFT可在 O( N log N ) 時間內完成，首先將 X
分別表示成
W1
W2
W3
W4
W5
W6
W7
 X1 


X
  3 
Xo  X5


 : 
X 
 N 1 
W3
W6
W1
W4
W7
W2
W5
W4
1
W4
1
W4
1
W4
W5
W2
W7
W4
W1
W6
W3
W6
W4
W2
1
W6
W4
W2
1 

W7
W6

5
W 
W4

3
W 
W 2 
W 1 
分成偶半部和奇半部，
 X0 


X
  2 
Xe  X4


 : 
X 
 N 2 
39






令 u  FN / 2 X e 和 v  FN / 2 X o。利用算出的 u 和 v ，可得
N

i
u

W
v
,
0

i

N i
 i
2
yi  
N
 ui  N / 2  WNi vi  N / 2 ,
i N
2

當 0  i  N /2
yi 

W
ij
N
0 j  N
偶數j
W
ij
N
0 j  N


Xj 
奇數j
W
0 j  N

WNik/2 X 2 k  WNi
0 k  N /2

0 k  N /2
Xj

0  k  N /2
 ui  WNi vi
yi   WNik/2 X 2 k  WNi

ij
N

0  k  N /2
當 N /2  i  N
Xj
WN2 ki X 2 k 
0  k  N /2
(1.7.1.2)

0  k  N /2

0 k  N /2
WN(i/2 N /2) k X 2 k  WNi
 ui  N /2  WNi vi  N /2
WNi (2 k 1) X 2 k 1
WNik/2 X 2 k 1
WNik/2 X 2 k 1

0 k  N /2
WN(i/2 N /2) k X 2 k 1
40
範例2：可否利用替代法證明 T ( N )  2T ( N / 2)  ( N )  O( N log N )。
解答：已知 T ( N )  2T ( N / 2)  ( N ) ，可推得
T ( N )  2T ( N / 2)  ( N )
 2T ( N / 2)  CN
 2 2 T ( N / 4)  CN  CN
.
.
.
 2 k T ( N / 2 k )  CN  ... CN  CN
 2 k T ( N / 2 k )  (1  ...  1  1)CN
N
T (2)  (log N  1)CN
2
N
  CN log N  CN
2
 O( N log N )

解答完畢
41

分開性(Separability)
回到二維的FT，假設一張影像位於 (x,y) 的灰階值為 f(x,y)，則二
維的FT定義為
1
F (u, v) 
N N
N 1 N 1
 f ( x, y)e
 j 2 [
( ux  vy )
]
N
(1.7.1.3)
x 0 y 0
IFT(Inverse FT)依下式求得
1
f ( x, y ) 
N
N 1 N 1
 F (u, v)e
 j 2 [
( ux vy )
]
N
(1.7.1.4)
u 0 v 0
式子(1.7.1.3)可改寫成下列的型式
1
F (u, v) 
N
1

N
N 1
 j 2 ux N 1
N
x 0
y 0
e
N 1
 f ( x, y )e
 F ( x , v )e
 j 2 ux
N
 j 2 uy
N
(1.7.1.5)
x 0
式子(1.7.1.5)中 F(x,v) 可看成先對 y 軸進行FT再對 x 軸進行FT。
(1.7.1.5)式顯示的是FT的分開性(Separability) 。
42
範例3：假如我們想把FT後的結果從原點(Origin)移到中央(Center)
該如何辦到呢？
解答：首先將乘上 ( 1) x y，則 f ( x, y)(1) x y 的FT如下所算
N 1 N 1
x y
  f ( x, y)( 1) e
 ( ux  vy) 
 j 2 

 N 
x 0 y 0
N 1 N 1
   f ( x, y ) e
x 0 y 0
N 1N 1
   f ( x, y ) e
 ( ux  vy ) 
 j 2 

j ( x  y )
 N 
e
由f(x,
y)(－1)x+y的FT等於
   f ( x, y ) e
x 0 y 0
N
N 

 (u  2 ) x ( v  2 ) y 
 j 2 

N




x 0 y 0
N 1N 1
N
N
x y )
 ( ux  vy ) 
2
2
 j 2 
j 2

 N 
N
(
 F (u 
F (u 
N
N
,v  )
2
2
e
(1.7.1.6)
N
N
, v  ) ，可得知已將FT的結果從
2
2
原點移至中央處了。式 (1.7.1.6) 顯示了FT的平移性(Translation)。
解答完畢
43

放大性(Scaling)
若將 f ( x, y ) 乘上一個係數C，則 C  f ( x, y ) 經FT作用後得
到 CF (u, v ) ，這個性質稱作放大性質。令  x  z ，則
1
1
u
x
z

F ( ) 為傅利葉配對(Fourier Pair )，
f (x ) 和
| | 
具有倒數放大性質(Reciprocal-Scaling)。
和
dx 

dz 。可推得
f(x)
F(u)

1/2
-1/2
x
f(x)
F(u)
f(x)
-4π
-2π
F(u)
2π
4π

1/4
-1/4
f(2x)
x
1/2f(u/2)
44
u
迴積定理(Convolution Theorem)
兩函數 f(x) 和 g(x) 的迴積定義為

N 1
f ( x )  g ( x )   f ( m) g ( x  m)
m 0
令
N 1
1
z( x) 
N
 f ( m) g ( x  m)
m 0
則所有 z(x) 經FT作用後得
1
N
N 1
 z( x)W
x 0
kx
1
 2
N
1

N
N 1 N 1
 f (m) g ( x  m)W
kx
x 0 m 0
N 1

m 0
1
f ( m)
N
N 1
kx
g
(
x

m
)
W

x 0
1 N 1
1
  f (m)W km
N m 0
N
 F (u )G(u )
N 1
 g ( x)W
kx
x 0
45
1.7.2 避免混疊效應

取樣間距(Sampling Interval) x
1

x

必須滿足
，如此才不會造成混疊效應(Aliasing)。
2Wu
F(u)
P(u)
Wu
-Wu
u
某函數
1/x
-1/x
u
取樣函數
F(u)*P(u)
T(u)
-Wu
F(u)和P(u)進行迴積運算
Wu
u
將T(u)乘上F(u)*P(u)可得F(u)
46
最後我們來看一個FT的實作結果。給一影像如圖1.7.2.1
所示，經FT作用後，其傅利葉頻譜顯示於圖1.7.2.2。
圖1.7.2.1 輸入的影像
圖1.7.2.2 傅利葉頻譜圖
47
1.8 結論

我們從光的組成談到人眼結構及其和照相機結構的對應
關係；四種色彩模式的轉換，形成高灰階影像與其分解
成八張位元平面，引出隱像術與浮水印；搭配DCT介紹
了人臉的定位應用。
48