Transcript 元 智 大 學 工業工程研究所 以資訊理論為基之PCB金屬 表面自動瑕疵檢測 研究動機 目前PCB表面瑕疵檢測系統 針對線路幾何瑕疵檢測與表面黏著錫點檢測 大多利用灰階影像資訊進行檢測 甚少對電鍍表面進行瑕疵檢測工作 本研究利用彩色影像資訊對PCB電鍍表面進行 瑕疵檢測 金手指瑕疵分類簡介 顏色變異瑕疵 凹陷瑕疵 露銅瑕疵 針點狀凹陷瑕疵 氧化瑕疵 破洞瑕疵 粗糙瑕疵 結構變異瑕疵 邊緣受損瑕疵 結塊瑕疵 刮傷瑕疵 刮傷露銅瑕疵 研究範疇與限制 在一PCB影像中，假設金手指檢測區域為已知的， 僅針對檢測區域利用彩色機器視覺進行表面紋路的 資訊內涵分析，不考慮影像分割問題。 影像中相鄰7根金手指進行檢測工作，每一根 金手指檢測範圍︰ 水平方向︰45像素點 垂直方向︰120像素點 色彩模型 (a) 彩色瑕疵影像 (b) 灰階瑕疵影像 彩色影像比灰階影像更能呈現影像資訊，對瑕疵具較佳 的凸顯效果，因此本研究採用彩色影像資訊之色彩特徵 與熵演算法結合進行瑕疵檢測工作。 本研究中所使用的色彩模型：  LAB色彩模型  LUV色彩模型  I1  I 2  I 3 色彩模型.

元 智 大 學
工業工程研究所
以資訊理論為基之PCB金屬
表面自動瑕疵檢測
研究動機
目前PCB表面瑕疵檢測系統
針對線路幾何瑕疵檢測與表面黏著錫點檢測
大多利用灰階影像資訊進行檢測
甚少對電鍍表面進行瑕疵檢測工作
本研究利用彩色影像資訊對PCB電鍍表面進行
瑕疵檢測
金手指瑕疵分類簡介
顏色變異瑕疵
凹陷瑕疵
露銅瑕疵
針點狀凹陷瑕疵
氧化瑕疵
破洞瑕疵
粗糙瑕疵
結構變異瑕疵
邊緣受損瑕疵
結塊瑕疵
刮傷瑕疵
刮傷露銅瑕疵
研究範疇與限制
在一PCB影像中，假設金手指檢測區域為已知的，
僅針對檢測區域利用彩色機器視覺進行表面紋路的
資訊內涵分析，不考慮影像分割問題。
影像中相鄰7根金手指進行檢測工作，每一根
金手指檢測範圍︰
水平方向︰45像素點
垂直方向︰120像素點
色彩模型
(a) 彩色瑕疵影像
(b) 灰階瑕疵影像
彩色影像比灰階影像更能呈現影像資訊，對瑕疵具較佳
的凸顯效果，因此本研究採用彩色影像資訊之色彩特徵
與熵演算法結合進行瑕疵檢測工作。
本研究中所使用的色彩模型：
 LAB色彩模型
 LUV色彩模型
 I1  I 2  I 3 色彩模型
色彩模型---CIE-LAB色彩模型
 L*代表亮度、a*代表紅色-綠色的成份、 b*代表黃
色-藍色的成份。
X 13 Y 13
Y 13
a*  500[( )  ( ) ]
L*  116( )  16 ；
Xn
Yn
Yn
；
X 13 Z 13
b*  200[(
)  ( ) ]；
Xn
Zn
選用（a*, b*）雙色彩特徵進行熵檢測計算
色彩模型---CIE-LUV色彩模型
 L*代表亮度、u*代表紅色-綠色的成份、v*代表黃色-
藍色的成份。
4X
u 
X  15Y  3Z
v 
9Y
X  15Y  3Z
un , vn 代表標準白色的量測值
L*  116(
Y
Yn
)1 3  16
u*  13L* (u  un )
v*  13L* (v  vn )
選用（u*, v*）雙色彩特徵進行熵檢測計算
色彩模型--- I1  I 2  I 3 色彩模型
簡單的線性關係
擁有類似K-L（Karhunen-Loeve）轉換（RGB共變異
矩陣）的效果
1
I1  ( R  G  B)
3
︰代表亮度分量
I2 
1
( R  B)
2
I3 
1
(2G  R  B) ︰代表跟平均色的誤差
4
︰代表顏色的變異
選用（I2, I3）雙色彩特徵進行熵檢測計算
研究方法
本研究針對PCB金手指（edge connector）紋路表
面進行瑕疵檢測，利用衡量紋路的規則性與一致
性進行紋路分析，其中涵蓋的熵值有︰
 衡量色彩變異
 單一色彩特徵與熵之結合( Ec ,1 )
 雙色彩特徵與熵之結合( Ec, 2 )
色彩變異瑕疵
 衡量結構變異
紋路之方向角與熵之結合( E )
結構變異瑕疵
熵演算法
資訊理論中評估資訊內函複雜度的量化衡量指標，
定義如下︰
L
E   pi  ln( pi )
i 0
pi 指訊號 i 發生之機率。應用在影像分析上︰
 當 pi  1，該影像灰階是完美一致的（perfectly uniform），
所計算的熵具有最小值0
 當 pi  p j ,  i  j ，表示該影像是極複雜的(extremely complex)，
所計算的熵具有最大值。
特性︰E 愈大︰影像資訊愈複雜
E 愈小︰影像資訊愈單純
單一色彩特徵值檢測
利用單一色相特徵之熵（ Ec ,1 ）檢測法定義如下︰
Ec,1   pi  ln( pi )
i 0
其中 pi 
fi
M N
, i  0,1,2,...,Z
fi  影像中像素點落在區間 C ' (i) 之數目
C ' (i)  色彩特徵之第 i 個區間
Z  將色彩特徵劃分為 Z 個等距區間
M  N  影像大小
次數
fi
...........................
Z
3
.............
2
1
1
2
3
4
..............
i
............
Z
單一色彩特徵值指標 f i 示意圖
C'
雙色彩特徵值檢測
使用雙色相特徵之熵（ Ec,2 ）檢測法定義如下︰
H
L
Ec , 2   pij  ln( pij )
i 0 j 0
色彩模型
特徵值
其中
pij 
f ij
f ij
CIE-LAB CIE-LUV I1I 2- I 3-
C1
a*
u*
C2
b*
v*
M N
 影像中像素點落在區間C1 (i)與 C2 ( j)之像素點數目
I2
I3
雙色彩特徵值選用定義表
C1 (i)與C2 ( j ) 色彩特徵 C1 之第 i 個區間，與色彩特徵 C2 之第 j 個區間
H與L  分別將色彩特徵 C1 與 C2 劃分為 H 個與 L 個等距區間
M  N  影像大小
雙色彩特徵值檢測
C2
L
.......
fij
..............
j
...................
3
2
1
1
2
3
4
....................
i
.......
H
雙色彩特徵值指標 fij 示意圖
C1
色彩規則性量測
(a1)
(a2)
(a3)
(a4)
5.5
5.0
4.5
4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0.0
Ec, 2
Ec ,1
(a1)
(a2)
(a3)
(a4)
Ec ,1
(a1)
0.67
(a2)
1.61
圖形
(a3)
1.83
Ec,2
1.25
2.43
2.93
熵
(a5)
Ec, 2 比 Ec ,1
(a5)
(a4)
2.12
(a5)
2.13
3.99
4.81
有顯著之區分效果
方向規則性檢測
 梯度向量︰利用索貝爾運算子（Sobel operator）進行
像素點（x, y）紋路方向角度的計算，計算
法如下︰
GX ( x, y) 
GY ( x, y) 
1
1
 C ( x  i, y  j)  M X (i, j)
j  1i  1
1
1
 C( x  i, y  j)  M
j  1i  1
Y
(i, j )
f ( x, y)  [GX ( x, y)2  GY ( x, y)2 ] 2
1
 ( x, y )  t an1
GY ( x, y )
GX ( x, y )
其中 C( x, y) 為像素點 ( x, y ) 之
特定色彩特徵值，本研究採
HIS色彩模型之亮度色彩
特徵( I  ( R  G  B) / 3 )
-1
0
1
-2
0
2
-1
0
1
M X (i, j )
X 軸方向的索貝爾運算子
-1
-2
-1
0
0
0
1
2
1
M Y (i, j )
Y 軸方向的索貝爾運算子
方向規則性檢測
 熵檢測︰方向規則性檢測的定義如下
E   p  ln(p )

其中 p 
f
n
f


' 0
'
f  影像中方向角度在區間  時發生的次數
n
f


' 0
'
=表示檢測影像中所有邊緣點數目和
方向規則性量測
(a1)
E
=1.05
(a2)
E
=2.30
(a3)
E
=2.84
(a4)
E
=3.17
4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0.0
(a5)
E
=3.58
E
(a1)
(a2)
(a3)
(a4)
(a5)
無方向性紋路與單一方向性紋路之熵（ E ）值有明顯區分效果
彩色影像瑕疵檢測---( E )
c,2
以LUV色彩模型中之（u*,v*)二特徵值指標對金手
指表面破洞瑕疵進行熵（ Ec,2）檢測
(a) 待測瑕疵影像
(b) 以(u*,v*)二特徵值
指標進行熵檢測結果
彩色影像瑕疵檢測---( E )
c,2
檢測範圍的所有熵（ Ec,2）值，瑕疵部份的熵值，會遠
高於正常部份的熵值。
(b) 待測瑕疵影像
(a) 熵3D分佈圖，突起部份為瑕疵部份
彩色影像瑕疵檢測---( E )

以HIS色彩模型亮度特徵值(
刮傷瑕疵進行熵（ E ）檢測
(a) 待測瑕疵影像
I
)指標對金手指表面
(b) 以HIS色彩模型亮
度特徵值進行熵（E）
檢測結果
彩色影像瑕疵檢測---(
E
)
檢測範圍的所有熵（E）值，瑕疵部份的熵值，會遠高
於正常部份的熵值。
(b) 待測瑕疵影像
(a) 熵3D分佈圖，凸起部份為瑕疵部份
視窗大小敏感度分析
(a) 原始瑕疵影像
(c) 7  7
(e) 19  19
(b) 3 3
(d) 11 11
(f) 25  25
變動檢測視窗大小對金手指表面瑕疵檢測的影響
色彩變異瑕疵檢測範例 (1)
(a) 原始待測瑕疵影像
(c) 採用（a*, b*）雙色彩特徵進行
E 檢測
c.2
(b) 利用
E 進行檢測
(d) 採用（u*, v*）雙色彩特徵進行
E 檢測
c.2
(e) 採用（I2, I3）雙色彩特徵進行
E 檢測
c.2
結構變異瑕疵檢測範例(1)
(a) 原始待測瑕疵影像
(c) 採用（a*, b*）雙色彩特徵進行
E 檢測
c.2
(b) 利用 E 進行檢測

(d) 採用（u*, v*）雙色彩特徵進行
E 檢測
c.2
(e) 採用（I2, I3）雙色彩特徵進行
E 檢測
c.2
大範圍粗糙瑕疵之檢測
(a)無瑕疵影像
E
金手指
1
2
3
4
5
6
7
(b)大範圍粗糙瑕疵影像
Mean
0.07
0.28
0.53
0.53
0.26
0.15
0.16
(c)檢測結果
E
金手指
Std
0.09
0.28
0.46
0.40
0.29
0.16
0.19
1
2
3
4
5
6
7
Mean
1.50
1.22
1.00
1.27
1.27
1.37
1.61
Std
0.67
0.63
0.62
0.78
0.73
0.74
0.60
色彩變異瑕疵檢測範例(3)
(a) 原始待測瑕疵影像
(c) 採用（a*, b*）雙色彩特徵進行
Ec.2 檢測
(d) 採用（u*, v*）雙色彩特徵進行
Ec.2 檢測
(b) 利用 E 進行檢測
(e) 採用（I2, I3）雙色彩特徵進行
Ec.2 檢測
灰階影像與彩色影像之檢測
彩色影像提供了R、G、B三種色彩資訊，比起灰
階影像所能提供的影像資訊（gray-value）多
原始待測瑕疵彩色影像
原始待測瑕疵灰階影像
利用（u*, v*）二色彩
特徵指標進行熵（Ec , 2）
檢測之結果
利用灰階資訊檢測之結果
利用二極化呈現之結果
非金手指瑕疵檢測（紡織品）
(a1) 原始瑕疵影像（沾色）
(b1) 原始瑕疵影像（脫線）
(c1) 原始瑕疵影像（污染）
(a2) 採用（u*, v*）雙色彩特
徵進行
檢測結果
(b2) 採用（u*, v*）雙色彩特
徵進行
檢測結果
(c2) 採用（u*, v*）雙色彩特
徵進行
檢測結果
Ec.2
Ec.2
Ec.2
非金手指瑕疵檢測（紙製品）
(a1) 原始瑕疵影像（沾色 ）
(b1) 原始瑕疵影像（刮傷）
(c1) 原始瑕疵影像（凹陷）
(a2) 採用（u*, v*）雙色彩特
徵進行Ec.2 檢測結果
(b2) 採用（u*, v*）雙色彩特
徵進行Ec.2 檢測結果
(c2) 採用（u*, v*）雙色彩特
徵進行Ec.2 檢測結果
非金手指瑕疵檢測
（紙製品與金屬切削工件）
(a1) 原始瑕疵影像（戳傷）
(a2) 採用（u*, v*）雙色彩特
徵進行Ec.2 檢測結果
(b1) 原始瑕疵影像（材質異常 ）
(b2) 採用（u*, v*）雙色彩特
徵進行Ec.2 檢測結果
(c1) 原始瑕疵影像（刮傷）
(c2) 採用（u*, v*）雙色彩特
徵進行Ec.2 檢測結果
檢測實驗統計分析
誤判率（Type Ⅰ error）:不具瑕疵，卻被誤判的樣本
漏檢率（Type Ⅱ error）:具有瑕疵而漏檢的樣本
檢測結果統計表（k=2，以每根金手指為單位）
總檢測樣本數
Ec.2
406
瑕疵樣本數
漏檢樣本數
159
6
無瑕疵樣本數
誤判樣本數
247
2
漏檢率
（Type Ⅱ error）
3.77％
誤判率
（Type Ⅰ error）
0.81％
檢測結果統計表（k=2.5，以每根金手指為單位）
總檢測樣本數
406
瑕疵樣本數
漏檢樣本數
159
21
無瑕疵樣本數
誤判樣本數
247
0
漏檢率
（Type Ⅱ error）
13.20％
誤判率
（Type Ⅰ error）
0