Transcript 講義下載
教育部顧問室
半導體與光電產業先進設備人才培育計畫
光學攝影機之檢測及定位系統
吉浩電子工業股份有限公司
顧問 韋子祈
中 華 民 國 一 零 一 年 九 月 二十六 日
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-1-
大綱
緒論
機器視覺介紹
色彩學
型態學
定位系統介紹
範例1：料件到位檢查系統
範例2：CCD量測FOV系統
範例3：雙攝影機定位系統
消費型數位相機相關技術
相機基本常識
相機會發生的影像品質問題
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-2-
緒論
影像處理是在目前業界非常熱門也需要的一環
在自控的領域中，控制雖然是相當重要的部分，但
就自動化的過程中是需要很多檢測去相輔相成
為了確保產品的品質，也是有很多檢測是需要在產
品製作完成後去做檢查，確定產品正常
其實影像處理與自動化離各位同學並不是遙不可及，
您也可以在家發揮創意動手試看看
希望可以藉由這堂課來引起同學們對影像處理、自
動化檢測的興趣
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-3-
機器視覺介紹
機器視覺是配備有感測視覺儀器（如自動對焦相機
或感測器）的檢測機器，其中光學檢測儀器佔有比
重非常高，可用於檢測出各種產品的缺陷，或者用
與判斷並選擇出物體，或者用來測量尺寸...等
應用在自動化生產線上對物料進行校準與定位。是
計算機視覺中最具有產業化的部分，主要大量應用
於工廠自動化檢測及機器人產業等。
視覺系統檢測生產線上的產品，決定產品是否符合
品質要求，並根據結果，產生相應的信號輸入上位
機。圖像獲取設備包括光源、攝像機等
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-4-
機器視覺介紹
圖像處理設備包括相應的軟體和硬體系統；輸出設
備是與製造過程相連的有關系統，包括可程式控制
器和警報裝置等。
機器視覺系統是指用電腦來實現人的視覺功能，也
就是用電腦來實現對客觀的三維世界的識別。
按現在的理解，人類視覺系統的感受部分是視網膜，
它是一個三維採樣系統。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-5-
色彩學之顏色分割
顏色分割(color segmentation)簡單來說就是判斷出影
像中的所有顏色，並做出分類，最基本的方式就是
將影像的顏色長條圖(Color histogram)裡作多重閥值
設定，將所要偵測的特定顏色區域從影像中擷取出
來。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-6-
顏色分割
相機抽色特效
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-7-
色彩空間
但在RGB space裡定義的影像顏色會因為環境光源強
弱影響的關係而有深淺的變化，因此許多研究就採
用對環境光線強弱影響較不敏感的色彩空間來對顏
色做分割，以下是顏色偵測常用的色彩空間：
1. 正規化RGB (Normalized RGB)
對R與G 予以正規化，就能使R 與G 對光線的靈敏度
減少，其公式為：
R
rN
RG B
G
gN
RG B
將正規化後的數值代替原先的RGB space，就能使顏
色對環境光源的影響度減少。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-8-
色彩空間
2. HSL
在HSL色彩空間中，H代表色度(Hue)，S代表飽和度
(Saturation)，L則代表亮度(Luminance)。HSL最大的
優點為分離了影像中色彩和亮度的部分，對於顏色
分割有很好的效果，
1
(
R
G
)
(
R
B
)
2
H cos 1
2
( R G) ( R B)(G B)
S 1
L
3
min( R, G, B)
RG B
RG B
3
教育部顧問室 半導體與光電產業先進設備人才培育計畫
-9-
色彩空間
3. YCbCr
Y、Cb、Cr分別為一個亮度元素(Luminance)Y以及
兩個彩色素Cb(Blueness)與Cr (Redness)，YCbCr與R、
G、B之間的關係如下：
Y 0.257
C 0.148
b
C r 0.439
0.504
0.291
0.368
0.098
0.439
0.071
R 16
G 128
B 128
YCbCr 也是利用亮度與色度分離的關係來做為做顏
色分割
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 10 -
形態學
機器視覺的影像在經過色彩學的分析以後，通
常是無法直接就能取得所要抓取的物體位置及
區塊，必須要再進一步的透過形態學作更進一
步的分析以來取得要抓取的物體。人眼在形態
學的分析中，最基本的有：
(1) 相似律：
人眼的認知下相似的物體會自動將其歸納。
(2) 連續律：
看似連續的物體會自動將其連續為一體。
(3) 封閉律：
看似封閉的物體會自動將其封閉為一體。
(4) 鄰近律：
鄰近的物體會自動將其歸納為一類。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 11 -
形態學
收縮(erosion)：
影像A被結構元素B收縮，記為 AB。其結果使
影像中的物體向內縮小。
膨脹(dilation)：
影像A被結構元素B膨脹，記為 A B。其結果使
影像中的物體向外膨脹。
開運算(open)：
A被B所開啟，相當於先收縮再膨脹。
以 A B ( AB) B來表示，其運算相當於{Minimum、
Maximum} 。
閉運算(close)：
A被B所關閉，相當於先膨脹再收縮。
以 A B ( A B)B來表示，其運算相當於{Maximum、
Minimum } 。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 12 -
定位系統介紹
1. 電阻式
每一層的內表面均鍍有透明性的金屬物薄膜，當手指壓
著柔軟的頂層膜時，將在電阻層間產生電接觸，形成關
閉成為其開關。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 13 -
定位系統介紹
2. 電容式
導電性或手指頭觸碰面板時將電場的每個角端處導引電
流產生，並引發電壓降，再經由電壓降的測量，在決定
出觸碰地方的位置座標
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 14 -
定位系統介紹
3. 紅外線式
是利用光束中斷效應，而達到定出座標位置，其結構是
將格子狀網版貼附於面板，而此一格子狀是由一排發光
二極體的光源以及另一排光感測器，並在面板上形成格
子網的交叉狀分佈。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 15 -
定位系統介紹
4. 超音波式
轉能器放射出超音波頻率，這些音波將交叉地反利用放
置於玻璃邊緣射而成為感測器所偵測，當手指觸碰面板
時，將吸收聲音波能量，而控制將測量到音波的振幅變
化，並進行決定其觸碰的位置。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 16 -
定位系統介紹
5. 影像式
影像式觸控螢幕的工作原理是利用攝影機來抓取影像訊
號，再將影像訊號進行處理，根據處理完後的資訊判斷
所要偵測物件的位置。
本文主要是介紹利用影像式感應器，偵測移動物體來測
量移動物體的位置，以應用於復健運動系統。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 17 -
定位系統介紹
技術
觸摸耐久
尺寸大小
解析度
電阻式
電容式
紅外光
超音波
影像式
3,500萬次 2,000 萬 次 無限制
5,000 萬 次 以 無限制
以上
以上
上
6.4~21吋
8.0~29吋
6.5 吋 ~42 9.0~50吋
15吋~
吋
10,0000 點 1024×1024
3.175mm×
0.86mm×0.86m 視攝影機而
/in2
3.175mm
m
定
光透過率 50~70%
70~85%
80~85%
90~92%
80~100%
響應速度 ~10ms
~15ms
~30ms
~17ms
~30ms
耐傷性
差
佳
可
優
優
視差性
無
無
無
有
有
價廉
線性變化
高光透過率
價廉
光透過性差
易受環境影響
高耐傷性
可不需要玻璃面
觸控筆有所限制
高耐久力
板
手指壓力感測
易受環境影響
觸控筆有所限制
高耐傷性
特徵
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 18 -
範例1：料件到位檢查系統
實驗的器材如圖所示：連接用PLC一台、KINYO攝影
機、待測物數個、BCB軟體
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 19 -
範例1：料件到位檢查系統
用CCD去偵測待測料件
是否到位，如果有到位
則顯示指定區域的PLC燈
號，送出ON信號
如果沒有到位則PLC燈號
熄滅，變成OFF，好讓在
生產線上的接下來要處
理的機器先暫時不要動
作
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 20 -
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 21 -
範例2：CCD量測FOV系統
Field Of View(FOV)為攝影機中的性能參數之
一，根據此性能的大小，我們可以知道該攝影
機的畫面所拍攝到的視野大小。
FOV的大小取決於鏡頭的放大能力，所以此參
數在望遠鏡上也常常會看到。
FOV的單位是由degree來表示，假設今天該鏡
頭的FOV=45，即代表該鏡頭的視角有45度。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 22 -
範例2：CCD量測FOV系統
實驗的器材如圖所示：IAI DS Slider一台、KINYO攝影
機一台、5公分黑色膠帶、白色背景
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 23 -
範例2：CCD量測FOV系統
將攝影機固定，放置於
Slider上，藉由在Slider在
0mm所拍到的5公分膠帶
長度，然後退到150mm
後所拍到的膠帶長度作
比對，最後得到該攝影
機的FOV值
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 24 -
人機介面
程式開啟時即會打開攝影機，當我們將
硬體設備架構完成之後，按下”量測開始
”的按鈕即可。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 25 -
系統流程
硬硬硬硬硬硬
硬硬硬硬硬硬
硬硬硬硬硬硬
硬 硬 硬 ( 2)
硬硬硬硬硬硬
Sl i der 硬 硬
硬 硬 硬 ( 1)
硬 硬 硬 ( 2)
Sl i der 硬 硬 硬
硬 150mm
硬硬硬硬硬硬
硬硬硬硬硬硬
硬 硬 硬 ( 1)
寬(1)
150mm
寬(1) - 寬(2)
硬硬硬硬硬硬硬硬硬硬硬硬
FOV 2 tan 1 (
寬(1)
)
2 初始距離
教育部顧問室 半導體與光電產業先進設備人才培育計畫
硬硬硬硬硬硬
硬
- 26 -
範例3：雙攝影機定位系統
實驗的器材如圖所示：兩個CCD、一個待測元件、一
個純色背景
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 27 -
首先在白色的背景屏幕，根據兩個CCD的中心
位置劃上一個小圓圈
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 28 -
開啟程式開啟攝影機並選取閥值
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 29 -
如果該元件有在小圈圈裡面（有對到X-Y軸中
心點）則顯示正常訊息
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 30 -
反之如果沒有在圈圈內，則顯示警告，代表元
件並沒有到定位
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 31 -
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 32 -
範例3：雙攝影機定位系統
雙攝影機
螢幕
強化玻璃
(壓克力)
在硬體架構方面，將
強化玻璃或壓克力包
覆在液晶螢幕上，搭
配使用可以自由升降
之平台。
使用雙CCD來偵測患
者的手所擺放之位置，
利用所偵測到的座標，
來決定患者是否依照
復健課程進行正確的
復健動作，以達到患
者與復健遊戲間之互
動關係。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 33 -
範例3：雙攝影機定位系統
在選用的控制器方面，依照所需要訓練的重量，
使用銅製或鋁製的圓形握把，讓患者來抓取、
移動控制器。系統會利用雙CCD去偵測取得控
制器下方特徵色的座標位置，最後藉由LUT對
照偵測到的位置。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 34 -
範例3：雙攝影機定位系統
訓練遊戲項目示意圖
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 35 -
LUT法(look-up table)
雙攝影機空間位置定位法是利用查找表(Lookup
table, LUT)的方法，在影像處理中，查找表主要
是將索引值與輸出值建立連結關係，利用LUT
法，依據攝影機拍攝的特徵點座標，與實際位
置的座標作連結。此方法的優點為計算速度快，
適合應用在需要即時處理的定位需求。
本論文完成物體擺位復健系統，其中包括研究
使用雙CCD定位，擺位系統開發及對應之互動
基礎訓練課程的開發撰寫，利用手部的擺放動
作與電腦程式做互動，讓使用者可由遊戲的方
式同時達到復健的效果，並可記錄使用者的基
本資料及動作的反應時間等資料。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 36 -
LUT法(look-up table)
根據左右兩邊的攝影機所拍攝到的畫面，定義了攝
影機負責區域。
<a>
<b>
<b>
<a>
<a>
<b>
CCD a
CCD b
<b>
<a>
<a>
Panel
教育部顧問室 半導體與光電產業先進設備人才培育計畫
<b>
- 37 -
LUT法(look-up table)
產生4-LUT表資料庫方法一：
將固定範圍分成數百個方格，並測量出這些方格的實際
座標位置，在用攝影機擷取出拍攝畫面，利用固定範圍
上的實際座標與攝影機擷取畫面的座標來建立連結關係，
定義出空間位置LUT表。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 38 -
LUT法(look-up table)
產生4-LUT表資料庫方法二：
首先一開始預先使用程式設定將螢幕劃分為
M*N 個等間格的矩陣方格，換言之，其矩陣方
格的每個交點座標的實際位置都是已知的。
M colum
N row
螢幕
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 39 -
LUT法(look-up table)
接下來使用程式將螢幕上顯示為純色，再由其
中一側開始依序自動顯示<a>攝影機所負責區域
之方格交點十字。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 40 -
LUT法(look-up table)
(x', y')
(x, y)
A1[x,y]=x´
A1[0,0] A1[1,0]
A1[m-1,0]
A1[m,1]
A2[0,1]
……
A1[m-1,n]
A1[m,n]
A2[0,n] A2[1,n]
……
A2[0,n-1]
…
A1[1,n]
A2[m-1,0] A2[m,0]
A2[x,y]
=y'
A1[m,n-1]
…
A1[0,n]
……
A2[m,1]
……
A1[0,n-1]
A2[0,0] A2[1,0]
……
……
A1[x,y]
= x'
A1[m,0]
…
…
A1[0,1]
……
A2[x,y]=y´
……
教育部顧問室 半導體與光電產業先進設備人才培育計畫
A2[m,n-1]
A2[m-1,n] A2[m,n]
- 41 -
LUT法(look-up table)
校正較近區塊時：
A1[m-1,0]
A1[0,n] A1[1,n]
n
……
A2[0,1]
= x'
A1[m-1,n]
A1[m,n-1]
A1[m,n]
……
A2[m-1,0]
A2[x,y]
= y'
A2[0,n-1]
A2[0,n] A2[1,n]
A2[m,0]
A2[m,1]
…
n
……
A2[x,y+1]
= y1 '
…
A1[0,n-1]
A1[m,1]
A1[x,y+1]
…
其公式如下式所示
…
A2[0,0] A2[1,0]
A2[m-1,n]
…
…
A1[x,y]
= x'
A1[m,0]
…
…
…
A1[0,1]
……
A1[0,0] A1[1,0]
(x, y+1)
…
因為兩點校正點之間
(x, y)
還會有相當多的資訊
未被指派，在此我們
使用內插法直接將
LUT表中不足的點數
補齊。
A2[m,n-1]
A2[m,n]
( x'1) ( x' )
A1 ( x, y ) x' , A1 ( x n, y ) x'1 then A1 ( x i, y ) x' ( x i ) ( x) i , i 1,2,3...n
if
A ( x, y ) y ' , A ( x n, y ) y ' then A ( x i, y ) y ' , i 1,2,3...n
2
2
2
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 42 -
LUT法(look-up table)
校正遠方的區塊時：
因受限於攝影機解析度，當校正點互相距離過近時，有
可能造成誤判此校正點移動方向不合理或者座標相同，
當出現此情形時，程式將設定把兩校正點所對應的LUT
表數值設定為與上一校正點相等。如下所示：
if
A( x 1, y ) A( x, y ) x'
A( x, y 1) A( x, y ) y '
then
A( x 1, y ) x'
then
A( x, y 1) y '
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 43 -
LUT法(look-up table)
產生4-LUT表資料庫方法三：
與方法一所做出來的結果來作分析，我們發現拍到的影
像當中，x軸的關係與實際坐標的y軸有線性對應的關係
100%
75%
50%
25%
0%
0%
25%
50%
75%
100%
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 44 -
LUT法(look-up table)
產生4-LUT表資料庫方法三：
同樣使用方法一所做出來的結果對x′的方向來作分析，拍
到的影像當中，y軸的關係與實際坐標x′軸有二次函數以
上的曲線對應關係。
0%
25%
50%
75%
100%
0%
25%
50%
75%
100%
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 45 -
4-LUT產生步驟
產生4-LUT之前必先將攝影機調整端正，
使其能夠拍到完成螢幕的最上方和最下
方，並保持水平。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 46 -
4-LUT產生步驟
切換上方的畫面切換選單至CCD Range內，依
照下圖的方式，依序點出第1至第6個點，定義
出攝影機所拍攝到的位置，如圖所示。
攝影機A及攝影機B皆要作相同的設定
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 47 -
4-LUT產生步驟
利用4-LUT表找出其對應的座標
A1[0,0] A1[1,0]
A4[m-1,0] A4[m,0]
A4[m,1]
……
A4[0,n]
……
A4[x2,y2]
…
…
A3[m,n]
A2[m-1,n] A2[m,n]
…
…
A4[0,1]
……
A3[m-1,n]
A3[m,1]
A4[0,n-1]
……
A2[m,n-1]
A2[x1,y1]=y´
A4[0,0] A4[1,0]
……
…
…
A3[x2,y2]=x´
A2[1,n]
A3[m,0]
A3[m,n-1]
……
A3[m-1,0]
…
…
……
……
A2[0,n]
(x´, y´)
A3[x2,y2]
A3[1,n]
A1[m,n]
A2[x1,y1]
…
……
A2[0,n-1]
A2[m,1]
…
A1[m-1,n]
A1[m,n-1]
A2[m-1,0] A2[m,0]
…
……
A3[0,n-1]
A3[0,n]
A2[0,1]
……
…
…
A3[0,0] A3[1,0]
<b>
攝影機
A1[m,1]
……
…
A1[1,n]
A1[x1,y1]=x´
A3[0,1]
A2[0,0] A2[1,0]
……
A1[x1,y1]
A1[0,n-1]
A1[0,n]
A1[m,0]
…
……
<a>
攝影機
A1[m-1,0]
…
A1[0,1]
……
A4[1,n]
(x´, y´)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
……
A4[m,n-1]
A4[m-1,n] A4[m,n]
A4[x2,y2]=y´
- 48 -
4-LUT產生步驟
四個矩陣可能出現的數值類型意義說明
類型
意義說明
類型
意義說明
x′
(x, y) 對應的實際x′座標
y′
(x, y) 對應的實際y′座標
b
切換至攝影機 <b>, Cf=2
b
切換至攝影機<b>Cf=2
o
超出固定範圍外
o
超出固定範圍外
(A1) LUT-x for <a>
(A2) LUT-y for <a>
類型
意義說明
類型
意義說明
x′
(x, y) 對應的實際x′座標
y′
(x, y) 對應的實際y′座標
a
切換至攝影機 <a>, Cf=1
a
切換至攝影機 <a>, Cf=1
o
超出固定範圍外
o
超出固定範圍外
(A3) LUT-x for <b>
(A4) LUT-y for <b>
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 49 -
雙攝影機系統運作流程
硬 硬 Posi t i on硬 硬
硬硬硬
硬硬硬硬硬硬硬硬
硬硬硬硬硬硬硬硬
硬 硬 B硬 硬 硬
硬硬硬硬硬硬
硬 硬 A硬 硬 硬 硬 X硬
Shi f t
硬 硬 B硬 硬 硬 硬 硬 硬
硬硬硬硬硬硬硬硬
硬硬硬硬硬硬
硬硬硬硬硬硬硬硬
硬 硬 B硬 硬 硬 硬 X硬
Shi f t
硬 硬 A硬 硬 硬 硬 硬 硬
硬硬硬硬硬
硬 硬 A硬 硬 硬
硬硬硬硬硬硬硬硬
硬 硬 B硬 硬 硬 硬 硬 硬
硬硬硬硬硬
硬 硬 A硬 硬 硬 硬 硬 硬
硬硬硬硬硬硬硬硬
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 50 -
4-LUT建立結果
由於在建立4-LUT表時，本論文先前所提到的方法
三是較快速也較可行的建立方式。
但是在使用此方法時，實際在大尺寸螢幕上座標X
軸的值和Y軸的值皆為估測值，在此需要對建立
LUT-x軸所使用之內插法，以及建立LUT-y軸所使用
之曲線擬合法作數據的驗證，證明該方法合理及計
算誤差。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 51 -
4-LUT建立結果
驗證LUT-x時，我們取出方法一的任一列表格，
使用此串資料與內插法之結果作比較。
46
‧‧‧‧‧
0.24
0.16
0.08
0
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 52 -
4-LUT之結果
實際與估測的值相減所得到的誤差值，誤差的平均
值為 2.0056×10-9(cm)，最大值為 4.929×10-9 (cm)，
都是相當小的。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 53 -
曲線擬合之結果
建立實際大螢幕上的X軸座標時，我們取出了方法
一的一列X值，然後把把其對應的關係繪出來，發
現其不是一個單純的直線，而是一個二次函數以上
對應的曲線關係。
‧‧
0
0.6
1.3
2.6
3.3
‧‧
28
b
40
‧‧‧
81.89
82
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 54 -
曲線擬合之結果
我們分別嘗試了使用二次、三次、四次函數來
對其作曲線擬合的動作。
使用Matlab指令polyfit();來擬合這組數據的方程
式各項參數。
Matlab中的polyfit指令是基於最小平方法來求所
屬函數的各項參數的指令。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 55 -
曲線擬合(curve fitting)
線性迴歸分析(linear regression equation)
迴歸分析可藉數理統計學的有關理論推演，其中更需依
賴如最小平方法之類的曲線擬合 (curve fitting) 技術。在
多項式迴歸分析中，若多項式的階數為n，則其曲線可以
完全擬合n+1組觀察值 ( ) 之所有點，假設此n階多項式迴
歸方程式為：
2
n
0
1
2
n
y a a x a x ... a x
若觀察值與估計值之間的誤差定義為：
ei Yi y i Yi a 0 a1 xi a 2 xi2 ... a n xin
則誤差平方和為：
n
n
i 1
i 1
S ei2 (Yi a0 a1 xi a 2 xi2 ... a n xin ) 2
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 56 -
曲線擬合(curve fitting)
而最小平方法強調的是對於觀察值與估計值之
間的誤差異平方值之總和要最小，亦即令
n
S
0 2(Yi a 0 a1 xi a 2 xi2 ... a n xin )( 1),
a 0
i 1
n
S
0 2(Yi a 0 a1 xi a 2 xi2 ... a n xin )( xi ),
a 0
i 1
.
.
.
S
0 2(Yi a 0 a1 xi a 2 xi2 ... a n xin )( xin ).
a 0
i 1
n
利用矩陣可求得多項式的相關係數：
n
xi
xi2
.
.
.
xin
x
x
x
i
2
i
3
i
x
x
x
2
i
3
i
4
i
x
x
x
3
i
4
i
5
i
...
...
...
x
x
x
n
i
n 1
i
n2
i
.
.
x
n 1
i
x
n2
i
x
n 3
i
...
.
xi2n
Yi
x
Y
i
i
xi2Yi
a .
.
.
n
xi Yi
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 57 -
曲線擬合之結果
二次曲線擬合之結果
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 58 -
曲線擬合之結果
三次曲線擬合之結果
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 59 -
曲線擬合之結果
四次曲線擬合之結果
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 60 -
曲線擬合之結果
誤差的方面可以發現到比三次的結果更小，於
是我們將所有的原始資料點與擬合結果相減並
作絕對值觀察其誤差的大小，誤差的平均值為
0.37775(cm)，最大值為 1.7705(cm)
四次擬合之方程式相關參數如下：
a1 x 4 a2 x 3 a3 x 2 a4 x a5 0
, a1 0.000000002860121
, a2 0.000003787243273
, a3 0.002004409207055
, a4 0.57866189588621
, a5 5.338153784430864 10 14
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 61 -
消費型數位相機相關技術
1
Auto Exposure
2
Auto White Balance
3
Auto Focus
4
Flash Exposure & CCD
5
Image Noise
6
Other IQ issue
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 62 -
AE (Auto Exposure) 自動曝光
0%
100%
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 63 -
AE (Auto Exposure) 自動曝光
偵測統計評估
控制AE的三個參數
光圈、快門、ISO
值
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 64 -
AE (Auto Exposure) 自動曝光
P-curve
控制AE的三個參數
光圈、快門、ISO值
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 65 -
AE (Auto Exposure) 自動曝光
Center-weight
Spot
Average
Multi-pattern
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 66 -
AE (Auto Exposure) 自動曝光
Center weighted
Center Weighted:
以中心(紅框)的權重最重,
藍框次之,綠框最輕.
16X16 blocks
Spot metering
1
Spot metering:
The weighted of center 4
blocks set to 1,others set to
zero.
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 67 -
AWB (Auto White Balance)
Balance-灰階校正 。
相對色溫
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 68 -
AWB (Auto White Balance)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 69 -
AWB
D65
Cool White
U30
"A"
Horizon
6365k
4000k
3730k
2775k
2344k
Auto
(5500)
Sunny
(6300k)
Tungsten
(2800k)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 70 -
AWB (Auto White Balance)
D65
Cool White
U30
"A"
Horizon
6365k
4000k
3730k
2775k
2344k
Auto
(5500)
(Auto-mode)
(Auto-mode)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 71 -
AF (Auto Focus)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 72 -
AF (Auto Focus)
Multi-zone
Center
Selected-area
Face detection
Smile detection
Contrast
value
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 73 -
FE(Flash Exposure)
打閃後，仍需維持正確的曝光。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 74 -
CCD 感光元件
CCD主要結構有三
1.微型透鏡
2.彩色分光濾鏡
3.感光層
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 75 -
CCD 感光元件
微型透鏡之主要用途
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 76 -
CCD 感光元件
感光層僅能測量光的強弱，想得到彩色的圖像，還需
要加上一個分色濾鏡
上圖是典型的Bayer filter，單位面積對綠色、紅色和
藍色光攝取比例為2：1：1，這是因為人眼對綠色更為
敏感
也有使用不同排列方式或CMYK的方式之分色濾鏡
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 77 -
Image Noise
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 78 -
Smear
當光線太強時 造成流進CCD 每個pixel 的光/電太快飽和的, 會
使飽和之後殘留在外的光/電, 移動到垂直方向的其他pixel上. 造
成了嚴重的smear.
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 79 -
Smear
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 80 -
Purple Fringe (紫邊)
Purple Fringe
成因有很多種說法，但最常見有
兩種
1.鏡頭：色散 Chromatic
aberration
2.色彩插值運算問題 Image
processing and interpolation
artifacts (SIGMA 3CCD SA 系列
DSLR 除外)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 81 -
Flare (耀光)
光斑或曜光(Flare ) 的發生原因:
-光線斜角射入鏡頭, 經過鏡片或鏡筒的反射
到達底片.
-太陽光直接射入鏡頭
-不良濾鏡的鏡面反射
-相機漏光
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 82 -
Flare (耀光)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 83 -
Flare (耀光)
可以透過鏡頭鍍膜的方式改善，下圖是同一台相機不同鏡頭
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 84 -
漏光
漏光主要是鏡筒的瑕疵
如果此問題發生可能需
要將鏡筒機構重製，是
相當嚴重的問題
可以由拍攝高亮度環境
或者將鏡頭遮黑，用強
光於鏡筒四周照射來檢
查
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 85 -
Pattern Noise
Pattern Noise 主要成因是由
於CCD取樣的頻率剛好與某
些頻率對上，所以會在某些
ISO值上產生條紋
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 86 -
MTF 與 Tilt
通常描述相機的解像力好不好會用MTF表示
單位通常為(線對條數/mm)
每一台相機在每個焦段的解像力都一定不相同
也有四個角落的解像力不同的情形，稱之為Tilt
Item
position
criteria
OK
Wide
Tele
Center
UR
UL
LL
LR
Center
UR
UL
LL
LR
1200
750
750
750
750
1200
750
750
750
750
H
V
H
V
H
V
H
V
H
V
H
V
H
V
H
V
H
V
H
V
2000 2000 1200 1200 1400 1400 1150 1050 1400 1400 1500 1500 1100 1000 1300 1200 1250 1300 1300 1300
ISO 12233 chart
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 87 -
Distortion (畸變)
向對角線往外彎的是「枕狀變形」（Pincushion）。
向內彎的是「桶狀變形」（Barrel）。
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 88 -
Moire (錯網)
Moire pattern 是數位影像取樣的問題。
下圖是我們拍攝細格狀花紋的衣服,原圖裁切的情況:
現在我們將其resize成原本的20% ,我們可以看到產生
moire pattern的效應
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 89 -
Shading (暗角)
理想鏡頭於均勻光線下，自中心到邊緣的光分佈應為相同，但實
際上卻不容易做到，於是形成『暗角』現象。
通常暗角會發生在廣角端，因為光圈越大越容易有此情形
暗角
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 90 -
Color Shading
由於數位相機都會給予暗角作補正
但是補正的時候僅針對某些特定色溫補正的RGB參數，無法
適用於所有自然環境，所以多少會有Color Shading 的情形
產生
IPhone 4 有相
當嚴重的Color
Shading
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 91 -
油畫
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 92 -
Center Deviation(中心偏移)
X
Y
dx
dy
dx%
dy%
dD
Tele
2286
1726
0
0
0.000%
0.000%
0.000
dD%
0.00%
criteria
4%
Z12
2333
1761
47
35
1.020%
1.013%
58.600
1.70%
4%
Z11
2299
1792
13
66
0.282%
1.910%
67.268
1.95%
4%
Z10
2349
1740
63
14
1.367%
0.405%
64.537
1.87%
4%
Z9
2393
1763
107
37
2.322%
1.071%
113.217
3.28%
4%
Z8
2395
1764
109
38
2.365%
1.100%
115.434
3.34%
4%
Z7
2392
1756
106
30
2.300%
0.868%
110.164
3.19%
4%
Z6
2386
1762
100
36
2.170%
1.042%
106.283
3.08%
4%
Z5
2400
1757
114
31
2.474%
0.897%
118.140
3.42%
4%
Z4
2409
1750
123
24
2.669%
0.694%
125.320
3.63%
4%
Z3
2414
1732
128
6
2.778%
0.174%
128.141
3.71%
4%
Z2
2409
1712
123
-14
2.669%
-0.405%
123.794
3.58%
4%
Wide
2406
1715
120
-11
2.604%
-0.318%
120.503
3.49%
4%
10%
6%
2%
-10%
-6%
-2%
-2%
2%
6%
10%
-6%
-10%
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 93 -
Bad Pixel (壞點)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 94 -
Anti Shaking (防手震)
需要防手震的情境:
-長焦距拍攝
-低光源環境拍攝
-微距拍攝
夜景等低照度環境對於數位相機
的感光與防手震能力要求很高。
影像資料來源: kobe-mari.maxs.jp
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 95 -
Anti Shaking (防手震)
防手震之技術:
-鏡頭防手震:
可有效同時防止上下左右四方向的震動，甚至也可以透過
設定，決定那個軸不進行防震動作，藉以達到特定的拖影
效果
-CCD機械式防手震 :
對CCD感光元件進行機械支架浮移處理，藉由補償運動來
抵銷震動過程中所導致的影像模糊化
-軟體計算補償:
a.提高ISO感度來達到高速快門的作法
b.提高感光元件的大小
c.加強成像邏輯演算法
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 96 -
Anti Shaking (防手震)
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 97 -
Q&A
Thanks for your attention
教育部顧問室 半導體與光電產業先進設備人才培育計畫
- 98 -