Transcript 開啟簡報 - 資訊科技系

德明財經科技大學資訊科技系
100學年度第六屆
學生畢業專題
智慧型自走車保全監控系統
組 別： 第十組
指導教授： 林偉川 博士
組
長： 陳偉華(D9719108)
組
員： 羅翊萱(D9719102)
林彥澄(D9719117)
惲曉薇(D9719127)
蕭合君(D9719157)
報告大綱
實作功能
實作案例設計
實測數據
充電器實作情形
自走車倒車校正功能
前次提報問題及回答
目前工作情況
未來
結論
參加比賽
Page  2
實作功能
架有CCD的自走車固定路徑巡邏
遠端監控功能
人臉偵測功能
警報發佈功能—MSN、 Facebook機器人
自走車定位功能(利用航跡推算法及TIBBO)
自走車充電功能
Page  3
NorthSTAR圖形化整合開發環境
開發控制自走車的程式。
NorthSTAR是一種圖形化整合開發工具，
只要對控制項做簡單的屬性設置，就可
以快捷的編寫自走車控制程式。
NorthSTAR同時還支援C語言模式開發。
程式編輯完後，可以透過網路下載到自
走車執行。
Page  4
Dead Reckoning航跡推算法
 在15世紀末哥倫布利用航跡推算法來探索海洋
世界。
 航跡推算法 (Dead Reckoning 簡稱：DR演算
法 ) ，是一種根據之前走過的路程及方向，利
用時間和速度進而推算行進的路線。
 可用於當偵測不到物件新的數據的情況下，根
據先前已知的數據，來推演下一筆數據的演算
法。
Page  5
DR 演算法實測數據
經實際測試後得知，DR路徑演算法的
誤差狀況如下，自走車的些微偏差，在
回充電座充電時，會將誤差值歸零，
DR演算法中誤差累積的問題也就隨之
解決。
Page  6
DR 演算法實測數據
小地圖上移動的次數 =
(實際場地大小 – 自走車轉彎大小) / (每秒移動距離)
小地圖上每次移動距離 =
(小地圖畫布大小 / 小地圖上移動次數) / 4)
誤差時間 誤差距離
(秒)
(公分)
場地大小
DR場地設定
大小
115*65
115*65
1.5
5
98.913%
140*85
140*85
3
20
95.555%
155*105
155*105
5.5
62
88.076%
Page  7
正確率(%)
OpenCV技術研討
OpenCV(Open Source Computer Vision)是
由Intel公司所開發出來的Open Source圖
形 演 算 法 的 函 式 庫 (Image Processing
Library)。
實現了C/C++語言圖像處理和計算機視覺
方面很多通用的程式設計。
本畢專用此技術做人臉辨識。
Page  8
人臉偵測Sobel運算式
●Gx=(Z7+2Z8+Z9)-(Z1+2Z2+Z3)
為經水平邊緣濾波器後的水平
梯 度 大 小 ， Gy=(Z3+2Z6+Z9)(Z1+2Z4+Z7)為經垂直邊緣濾波
器後的垂直梯度大小
- 1 - 2 - 1
 -1
G x   0 0 0  G y  - 2

 1 2 1 
 - 1
Page  9
0
0
0
1
2
1 
Android技術介紹
Android開發平台是由Google發布的，是
在Linux上開發的智慧型手機平台。
Android手機程式，是以JAVA做為開發
語言。
Android手機可用於觀看自走車位置
、PTZ-IPCAM畫面及操控自走車。
Page  10
MSN機器人
 MSN機器人的核心程式為MSNSHARP，此核
心為開放式的MSN機器人開發核心。
 MSN機器人程式，是以C#做為開發語言。
 MSN機器人所作的工作為自動回報家中所發
生的事件，例如：偵測人臉、系統故障(自走
車停擺、PTZ-IPCAM故障），MSN機器人會
依據相對的問題自動回報。
Page  11
Facebook機器人
 Facebook機器人中使用的核心程式為Facebook
C# SDK，此核心程式為一開放式的Facebook
機器人開發核心。此外，本系統所開發的
Facebook機器人程式碼是使用Visual Studio
2010中的C#語言作為開發語言。
 伺服器不斷偵測來自系統的要求傳送之訊息，
並根據各種要求藉由Facebook機器人給予使用
者不同的訊息
Page  12
TIBBO EM1206控制模組
 在監控場地上嵌入光敏電阻並連接在EM1206上，
當自走車經過時，光敏電阻被遮蔽時，會立即透過
EM1206中開發的程式，判斷是由哪個光敏電阻感
應到的訊號，再回傳至後端伺服器讓使用者更準確
知道自走車的位置。
Page  13
實作案例設計
123
123
PTZ-IPCAM
C
光敏電阻
使用者
自走車巡邏路徑
Android 手機
NB
使用者
AP
PC
Server
光
敏
電
阻
無線AP
光
敏
電
阻
Tibbo
資料庫
Internet
自走車
C
B
CCD
C
光敏電阻
自走車巡邏路徑
C
Page  14
充電器
PTZ-IPCAM
人臉偵測實測數據
動態人臉偵測
圖片大小
(解析度)
花費時
間
(毫秒)
實際人臉
總數
實際無人臉
數
沒人臉卻
偵測到人臉
偵測到人
數
臉數
誤判率(%)
PTZ-IPCAM動態人臉偵測
704*380
2.564
320張
415張
238張
24張
5.783%
200張
33張
7.951%
CCD動態人臉偵測
348*291
(96dpi)
Page  15
1.856
320張
415張
人臉偵測實測數據
PTZ-IPCAM靜態人臉偵測
圖片大小 花費時間( 實際人臉總
數
(解析度) 毫秒)
實際無人臉 偵測到人臉
數
數
沒人臉卻偵
誤判率(%)
測到人臉數
640*480
64.8
150張
50張
134張
1張
2%
704*380
53.3
150張
50張
136張
2張
4%
320*240
49.25
150張
50張
137張
17張
34%
Page  16
人臉偵測實測數據
PTZ-IPCAM人臉偵測
圖片大小
(解析度)
距離(人與攝
影機距離)
人臉朝上角
度(極限)
人臉朝下角
度(極限)
人臉朝左角
度(極限)
人臉朝右角度(
極限)
640*480
<4.40公尺
30°
15°
30°
30°
704*380
<4.25公尺
30°
15°
30°
30°
320*240
<2.30公尺
30°
15°
30°
30°
CCD人臉偵測
圖片大小
(解析度)
距離(人與攝
影機距離)
人臉朝上角
度(極限)
人臉朝下角
度(極限)
人臉朝左角
度(極限)
人臉朝右角度(
極限)
348*291
(96dpi)
<3.60公尺
15°
15°
20°
20°
Page  17
充電器實作情形
Page  18
充電器實作情形
電池電量80%以下快充，達到80%後以小電流充電。
Q：自走車巡邏完回充電座後，在下次巡邏前
電池能回復到原來電量嗎?
解決方法：
自走車巡邏一次的耗能：31.5525× 33.2 = 1047.543J(焦耳)
充電器產生的能量：8.4V × 0.56A × 60 × 60 = 16934.4J(焦耳)
充電的能量 =16934.4 J
>
巡邏的耗能 =1047.543J
A：充電能量大於消耗能量，所以不會沒電。
Page  19
自走車倒車校正功能
當車子回充電座時，利用左右兩側的紅外線感
測器，判斷後方是否有遮蔽物；有遮蔽物則進
行軌道校正，無遮蔽物則直線倒退至充電座。
校正方式:
左邊紅外線偵測到遮蔽物 = 左轉前進 → 倒退
右邊紅外線偵測到遮蔽物 = 右轉前進 → 倒退
Page  20
前次提報問題及回答
1. 自走車行徑路線固定,也同樣有死角產生,充電時也無法進行監視。
充電時不斷電，CCD還是繼續拍攝
2. 充滿電所需時間多久。75600 J ÷ 16934.4J = 4.46 (小時)
3. 動態下,人臉辨識之成功率? 92.05%
4. 可否很容易的設定行走路徑。
未來設計讓使用者利用記事本，就可變更自走車巡邏的路徑
5. 自走車行走定位的誤差累計在自動充電時會歸零,是否代表必須短時間
內就必須回去充電,否則誤差累積就會影響導航?
完成一次巡邏就回充電器，進而將誤差歸零
6. 人臉偵測與人臉辨識是完全不一樣的工作,建議必須弄清楚。
本畢專為人臉偵測的功能
7. 人臉動態辨識(展示時要完成)。實測數據
8. 2部車?目前畢專只用一台車展示，未來將改進為兩台車
Page  21
目前工作情形
近端監控程式(已完成)
PTZ-IPCAM自動全場地監控(已完成)
MSN機器人回傳訊息並將訊息存入資料庫
(已完成)
透過網頁觀看家中影像(已完成)
MSN機器人自動刪除較早的歷史訊息(已完成)
遠端觀看家中影像(已完成)
手機傳送訊息至伺服器端 (已完成)
Page  22
目前工作情形
伺服器端自動人臉辨識(已完成)
DR推算自走車路徑並顯示在場地圖上(已完成)
透過網頁控制PTZ-IPCAM轉動鏡頭(已完成)
手機滑動螢幕操控功能(已完成)
控制自走車(已完成)
自走車CCD影像串流導入(已完成)
充電器模組(已完成)
Page  23
結論
本畢專做到以下功能：
自動偵測，主動回報
有異常狀況立即通知使用者
減少人力資源的消耗
降低監視死角造成的風險
利用DR演算法推估自走車位置
隨時隨地查看家中環境
Page  24
未來展望
自走車：改進自走車倒車校正功能
手機：可連結到自走車上的無線網路
人臉偵測：增加事件偵測
Tibbo與DR：把TIBBO結合MYSQL，利用 DR 抓
取MYSQL 資料配合小地圖顯示位置
Page  25
參加比賽
目前:
中華電信創意應用大賽
第一屆中華科大太谷盃
iCube 2011 研討會論文
第二屆資旺盃
第九屆育秀盃
Page  26
DEMO
Page  27