Transcript 機器視覺系統之應用

自動化光學檢測基本原理與產業應用
時間：2012/5/17
報告人：黃瑞宗
1
個人檔案



姓名：黃瑞宗
學歷：逢甲大學資訊電機工程碩士 (93-98)
碩士論文：




『機器視覺應用於高速、高精度之托盤內積體電路板
雷射蓋印之自動檢測』
任職：台灣暹勁股份有限公司
職稱：視覺課課長
E-Mail：[email protected]
AOI(Automatic Optic Inspection)
2
AOI(Automatic Optic Inspection)
資料來源：104人力銀行
3
2012年半導體資本支出將下降19.5%
資料來源：科技產業資訊室
AOI(Automatic Optic Inspection)
http://iknow.stpi.org.tw/
4
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
5
機器視覺的定義


一種非接觸式感測（non-contact sensing）的裝
置，能夠自動擷取與解釋（interpret）真實景物
的影像，然後取得影像的資訊以控制機器或製程
“The use of devices for non-contact sensing
to automatically receive and interpret an
image of a real scene in order to obtain
information and/or control machines or
process.”
The Society of Manufacturing Engineers(SME 國際製造工程協會)
AOI(Automatic Optic Inspection)
6
Why Machine Vision?

自動化




品質管理


避免曝露於高危險工作環境當中
避免持續且重複性的工作傷害
快速處理即時性事件
提升高精確的量測工作
降低成本

減少人工處理錯誤
AOI(Automatic Optic Inspection)
7
機械視覺系統的相關技術領域
光學
影像處理
自動控制
電腦視覺
機械視覺系統
電子電機
照明工程
機器人學
機械
AOI(Automatic Optic Inspection)
8
人類視覺 VS 機器視覺
人眼視覺
眼球
大腦
手、腳
水晶體 視網膜
可見光
鏡頭
不可見光
CCD
取像元件
電腦
軟體
影像處理器
Motion
機器手臂
自動化機器
機器視覺
AOI(Automatic Optic Inspection)
9
機器視覺系統架構
機械視覺系統
電腦視覺系統
取像機構
照明設備
光學裝置
攝影機
機械人機構與
驅動單元
影像處理單元
PC
Frame Graber
Monitor
AOI(Automatic Optic Inspection)
機械手臂
機械人介面卡
機械人驅動器
10
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
11
機器視覺系統之應用

檢測(Inspection)


識別(Recognition)


OCR、車牌
量測(Measurement)


瑕疵檢查
長度、寬度、厚度
定位(Alighment)

取放、打線
AOI(Automatic Optic Inspection)
12
機器視覺的產業應用

電器電子產品


半導體業


米粒塞檢、土豆分類
醫藥類


亮點檢查、Mura檢查
食品業


蓋印品質檢查、錫球檢查
液晶LCD


印刷電路板檢查、二維條碼、手機
藥罐日期、藥品顏色分類
其他

包裝、印刷、汽車、博奕
AOI(Automatic Optic Inspection)
圖片來源：Cognex、光道視覺、OPTMV
13
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
14
打光與光源



打光是機器視覺中非常困難的部分，需要很多
直覺與經驗
打光技術並無通則，但對於特定應用場合已有
經驗可循
打光方法是依據待測物的光學特性來決定
AOI(Automatic Optic Inspection)
15
打光的目的





強化特徵的對比
使前景與背景明顯不同
強化訊噪比S/N ratio
凍結移動中物體的運動
去除反射
AOI(Automatic Optic Inspection)
16
可見光與電磁輻射
可見光是電磁輻射的一種，其波長在380～780nm之間
AOI(Automatic Optic Inspection)
圖片來源：AEEA 天文教育資訊網
17
基本的打光技術

正向打光




背向打光


高角度
低角度
同軸光
背光板
結構打光

雷射結構光
AOI(Automatic Optic Inspection)
圖片來源：CCS網站、EO Edmund
18
光源種類
螢光燈
 鹵素燈
 LED
 氙氣燈

AOI(Automatic Optic Inspection)
圖片來源：肯定資訊
19
各種光源特性比較
光源比較表
光源
螢光燈
鹵素燈
LED
氙氣燈 白光
光譜
白光(微綠)
白光(微黃)
單光譜
(微藍)
壽命(小時) 5,000~7,000
1,000~2,000
60,000~100,000
3,000~7,000
光強度
亮
非常亮
暗~亮
非常亮
備註
便宜、高頻、擴散式
高熱、相對便宜
便宜
高熱
Win
AOI(Automatic Optic Inspection)
20
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
21
鏡頭基本參數

視野範圍（FOV）
Sensor Size

工作距離（WD）

景深（DOF）

解析度（Resolution）
Camera
WD
DOF
FOV
RES
AOI(Automatic Optic Inspection)
圖片來源：EO Edmund
22
薄透鏡成像公式
薄透鏡
焦點
物體y
Q
P
F
成像y’
f焦距
S
AOI(Automatic Optic Inspection)
S’
23
鏡頭種類
C Mount
CS Mount
F Mount
CCTV Lens
Zoom Lens
Macro Lens
Telecentric Lens
AOI(Automatic Optic Inspection)
Filter
Polarizer
Prism
圖片來源：肯定資訊、碁仕科技
24
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
25
Image Process 1
Original Image

Reverse

Exponential

Power X
AOI(Automatic Optic Inspection)
26
Image Process 2
Original Image

Laplacian

Sobel

Dilate

Erode
AOI(Automatic Optic Inspection)
27
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
28
CCD攝影機分類

色系



形狀






可見光
紅外光（Infra Red）
紫外光（Ultra Violet）
X-Ray
掃瞄方式



面型（Area）
線型（Line）
感光頻譜


Color
Mono
交錯式（Interlaced）
非交錯式（Progressive）
視訊訊號


類比（Analog）
數位（Digital）
AOI(Automatic Optic Inspection)
29
Digital Camera界面比較
CameraLink
IEEE-1394a
Max peed
2.38 Gbits/s
12.5-50Mbits/s
(100400Mbits/s)
No. of devices
1
63
63
126
Total length of
able
30 m
4.5
m/segment72 m
to farthest
camera
To 100 m
30 m-10 km
Comments
Point-to-pointinterface
AOI(Automatic Optic Inspection)
IEEE-1394b
Fiber Channel
100-200 Mbits/s 200-400 Mbits/s
(0.8-1.6 Gbits/s)
Interface
includes SCSI
protocol
30
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
31
影片欣賞

高速動態取像辨識系統
AOI(Automatic Optic Inspection)
32
CCD觸發訊號來源比較
實驗架構
Gu CCD
pp
12.
5m
y
m
Le
ns
Sensor
8164卡

軸卡觸發
檔塊
設定點位
觸發
檔塊通過
時觸發
對照組
實驗組
CCD觸發訊號來源分析
驅動源
Sensor
8164
Sensor
8164
20μs
20μs
40μs
40μs
曝光時間μs
穩定性
速度

1125000
2250000
4500000
Sensor觸發
＊每種試驗各取100次數據並且以Max-Min、標準差、平均值進行分析
AOI(Automatic Optic Inspection)
33
CCD觸發訊號來源比較-結果分析
實驗數據
CCD觸發訊號來源分析
驅動源
資料製作：ChienFeng
Sensor
8164
Sensor
8164
20μs
20μs
40μs
40μs
0.01
0.002564
0.0043
0.018
0.004198
-0.00756
0.02
0.005173
-0.02736
1
0.012
0.003182
0.00309
0.011
0.003125
-0.01805
3
0.005
3
0.000957
-0.03215
0.012
0.003303
0.00398
0.013
0.003624
-0.00858
0.021
0.005486
-0.02874
0.013
0.003395
-0.00051
0.014
0.002898
-0.02238
0.009
0.002338
-0.03399
曝光時間μs
穩定性
速度
慢速（1125000）
中速（2250000）
高速（4500000）
Max-Min(μm)
Std
Avg
Max-Min(μm)2
Std
Avg
Max-Min(μm)
2
Std
Avg
＊影像解析度：10μm/pixel
1、依照曝光時間進行分析不管是Sensor或者是8164卡均無大變異
2、不同速度下Avg會越來越小表示速度越快，收到訊號到取像的時間行走的距離越遠
3、高速取像下8164的誤差0.005μm（0.5pixel）比Sensor誤差0.02μm（2pixel）小，標準差亦較小
AOI(Automatic Optic Inspection)
34
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
35
What’s On The Fly
Guppy
Guppy
Guppy
uTRON
FV1520
uTRON
FV1520
uTRON
FV1520
15mm Lens
15mm Lens
15mm Lens
DR-70/35
DR-70/35
DR-70/35
Type 1
CCD Moving
AOI(Automatic Optic Inspection)
36
What’s On The Fly
DR-70/35
15mm Lens
Type 2
Object Moving
uTRON
FV1520
Guppy
AOI(Automatic Optic Inspection)
37
Flow Chart
Trigger Source：
Sensor(Single)、Motion Card、Trigger Card
Table Move
Trigger
Image Grab
*1
Inspection
*2
Table Stop
N Times
流程內容：
1、Image Grab Time：CCD規格中的FPS（每秒張數），取像時間約略為1/FPS(s)
2、Inspection Time：辨識時間（如有佇列寫法，較不會因為辨識時間影響取像）
3、Trigger之間的時間即為CCD Index Time
兩次觸發間隔時間
AOI(Automatic Optic Inspection)
38
視覺關鍵參數

以目前使用較多的AVT Guppy046B(下CCD)為例

FPS：每秒傳輸張數（CCD標準規格）


Resolution：解析度（單位：μm/pixel，亦即每個像素真實大小）


假設規格為50fps，故每張影像最少需要20毫秒進行影像傳輸
解析度越小精度越高，但曝光時間內移動越多像素，畫面相對越容易模糊
Exposure Time：曝光時間

曝光時間越小，表示進光量越少，物體會越暗，但曝光時間過大時會因為
相同一次曝光移動距離過大造成模糊
計算影像是否可能模糊（曝光時間移動的距離不可超過1個像素）：
曝光時移動距離＝曝光時間*速度≦1pixel * Resolution
範例(RCST)：
20μs*速度≦1 pixel * 6μm/pixel
速度≦6μm/20μs=300mm/s
當視覺系統完成後需自我驗證，使用外部Trigger進行穩定性驗證，並且確保
CCD Index Time不會有Lose現象，至少持續3000次以上
CCD對外提供數據僅：CCD Index Time 單位：ms
AOI(Automatic Optic Inspection)
39
Progressive Scan



漸進式(progressive)相機是指取像時，影像感測器在預設的電子
快門時間內，進行一次曝光與傳送，再透過暫存器，循序將影像訊
號輸出，完成全畫面的擷取動作。
漸進式相機適合於高速動態取像，光源亮度固定，而不會產生拖影
現象。
交錯式(Interlaces)為一般較常用靜態取像檢測，若用動態取像需
搭配閃光燈源作同步取像。
目前使用
AOI(Automatic Optic Inspection)
40
Progressive Scan
交錯式
(拖影)
單、雙場
分兩次
曝光、傳送
有拖影現象
一次曝光
影像一次凍結
一次傳送
漸進式
AOI(Automatic Optic Inspection)
41
Cell Size
1/4 Inch
6.4
1/3Inch
AOI(Automatic Optic Inspection)
1/2Inch
12.8
8.8
9.6
4.8
3.6
2.4
3.2
6.6

Cell Size越大表示單位像素可以感光的面積越多，高速移
動時曝光時間極短，所需感應的亮度越高
相同解析度應該要選擇Sensor越大越好
4.8

2/3Inch
1 Inch
42
F-Number（以N表示）


N值越小，表示進光亮越多，高速移動時曝光時間
極短（約20μs）需要的亮度要更大
相對的N值越小景深便會犧牲了
景深計算公式
AOI(Automatic Optic Inspection)
43
Light Source



LED光源具有亮度高、壽命長、單價便宜以及可以支援Strobe(頻
閃)
唯一的缺點就是害怕熱，使用頻閃剛好可以避免熱量的累積
高速動態取像因曝光時間極短（約20μs）需要更高亮度
光源比較表
光源
螢光燈
鹵素燈
LED
氙氣燈 白光
光譜
白光(微綠)
白光(微黃)
單光譜
(微藍)
壽命(小時) 5,000~7,000
1,000~2,000
60,000~100,000
3,000~7,000
光強度
亮
非常亮
暗~亮
非常亮
備註
便宜、高頻、擴散式
高熱、相對便宜
便宜
高熱
AOI(Automatic Optic Inspection)
44
機構移動參數




RPM：每分鐘轉速：Revolution(s) Per Minute
螺距：螺桿每轉移動距離（mm）
Pitch：每次拍照的間隔距離（mm）
速度曲線：一般會呈現T形CCD取像，必須於穩速區段才可以取 到穩定
之影像
V
穩速段
進行定位檢測取像必須落於穩速段
如於加速段則每次取像位置不一定
加速段
減速段
T
AOI(Automatic Optic Inspection)
45
為何於加速段會造成取像位置不一定？
影像曝光
Trigger送出
Driver
比對位置
移動中
傳輸Pulse
CCD Sensor
Exposure
CCD接收
Pulse
訊號傳遞時間
理想速度曲線
實際速度曲線
穩速段
V
加減速區每次
曲線均不相同
V
加速段
減速段
T
T
AOI(Automatic Optic Inspection)
46
移動距離積分



距離＝將速度以時間進行積分
故加減速段每次行走距離均不相同
於穩速段無速差故不會發生取像問題
t1 t2
S   vdt
t1
速差
t2
S：距離
v：速度
第1次取像速度線
第2次取像速度線
t：時間
AOI(Automatic Optic Inspection)
47
機構設計與視覺溝通
輸入
CCD Index Time
輸出
視覺組提供
移動速度
mm/s
Pitch
馬達轉速
Rev/min
吸嘴Pitch
螺距
螺距
AOI(Automatic Optic Inspection)
48
範例

範例1：







CCD Index Time＝50ms
吸嘴Pitch＝30mm
螺距＝10mm/rev
速度＝吸嘴Pitch/CCD Index Time＝30/50＝0.6mm/ms＝600mm/s
轉速RPM：速度/螺距＝600(mm/s)/10(mm/rev)＝60(rev/s)
=3600(rev/min)
範例2：






CCD Index Time＝40ms
吸嘴Pitch＝20mm
螺距＝20mm/rev
速度＝吸嘴Pitch/CCD Index Time＝20/40＝0.5mm/ms＝500mm/s
轉速RPM：速度/螺距＝500(mm/s)/20(mm/rev)＝25(rev/s)
=1500(Rev/min)
AOI(Automatic Optic Inspection)
49
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
50
臺灣博碩士論文知識加值系統

關鍵字：Machine Vision，共2992筆
AOI(Automatic Optic Inspection)
資料來源臺灣博碩士論文知識加值系統
51
查詢時間：2012/5/15
大綱





機器視覺系統簡介
機器視覺系統應用
機器視覺系統元件介紹
 打光與光源
 鏡頭
 影像處理
 CCD
產業應用
 CCD觸發訊號來源比較
 高速動態取像辨識系統
專長與工作
 臺灣博碩士論文知識加值系統
 工作分析
AOI(Automatic Optic Inspection)
52
工作分析

相關職缺：





機器視覺工程師
視覺工程師
影像軟體工程師
自動化檢測工程師
影像處理工程師
AOI(Automatic Optic Inspection)
53
相關論壇

http://aoiea.itri.org.tw/company/index.aspx
AOI(Automatic Optic Inspection)
54
104人力銀行
AOI(Automatic Optic Inspection)
55
Q＆A
AOI(Automatic Optic Inspection)
56