Transcript 手持裝置應用系統之設計 與未來發展

手持裝置應用系統之設計
與未來發展
黃有評
大同大學
資訊工程系
內容








研發動機
理論技術與設計要點
導覽與學習系統建置（以關渡自然公園為例）
RFID技術及應用
麥當勞得來速點餐系統
車牌辨識系統（停車管理拍立得、路況監測系統）
鳥類檢索系統（e 機在手，鳥趣無窮、emome）
結論與未來展望
研發動機
 因應無線網路與第三代行動通訊（3G）的發
展，以手持裝置為基礎開發各種應用程式，
讓使用者能夠充份的感受到無線環境和手持
裝置所帶來的便利性。
 如何提升新產品附加價值?
 主要開發平台：PDA、Tablet PC、WebPad
及手機平台。
Visual Memory
Visual Memory 與 Moving Speed
Tablet PC & WebPad 之便利性
 Tablet PC：
1. 手寫辨識與畫筆功能，利於圖文輸入與講解。
2. 硬體、作業系統與一般電腦幾乎相同，利於系
統開發。
 WebPad：
1. 觸控式螢幕，不需滑鼠或光筆即可輕易控制。
2. 耐碰撞、重量輕、大小適中、攜帶方便。
3. 採用 Embedded Windows XP 系統。
理論與技術背景
1.
2.
3.
4.
Data mining （資料探勘）
Genetic algorithm （基因演算法）
BPN（類神經網路 – 倒傳遞網路）
Information retrieval （資訊檢索）
models: QBIC, CBIR
5. RFID（無線射頻識別系統）
6. Location-awareness
基本設計概念
1. No keyword is needed.
2. Click and select input.
3. Simple, flexible, easy to use for indoor and
outdoor activity.
4. Passive & active search.
5. Interactive learning.
實例一
導覽與學習系統建置
（以關渡自然公園為例）
系統架構（單機使用）
 單機使用除了搜尋鳥類資訊外，也可以透過 GPRS
或無線網路，到網站上使用加值服務，如：桌布下
載、圖片下載、影片串流服務等等。
搜尋系統所使用的技術
系統架構（學習群組模式）
主要功能
 智慧型搜尋機制
我們設計一個直覺式鳥類搜尋介面，使用者利用自己所
看到的鳥類特徵，如體型、顏色、嘴形、飛行模式等特
徵進行搜尋，透過簡易的介面與直覺化的查詢方式，找
出想深入了解的鳥類的相關資訊。
使用技術：類神經網路 – 倒傳遞網路（BPN）
主要功能
 系統推薦機制
系統針對使用者在特定區域查詢過的鳥類，透過資料探
勘與關聯法則技術，建立推薦機制，主動推播同一區的
其他鳥類資訊給使用者。如此一來，就算使用者無法親
眼看見某些鳥類，也可以了解系統推薦的鳥類與其他鳥
類的群聚關係。
使用技術：Data Mining - Apriori-like 演算法
主要功能
 RFID 學習與導覽機制
目前 RFID 技術已經廣泛的使用在物流與導覽系統中，
所以我們的系統也加入 RFID 技術，結合主動的導覽方
式提供更多互動的學習機制。
使用技術：RFID
開發環境
硬體需求
操作環境：PDA 手機、Smart Phone、Tablet PC
使用平台：Pocket PC 2002 and 2003（PDA 手機）
Pocket PC Smart Phone Edition（Smart Phone）
Windows XP Tablet PC Edition
通訊方式：GPRS、Wireless Network
其他配備：RFID Reader、RFID Tag、CCD Camera
開發環境
軟體需求
Client 端開發環境：Windows Embedded Visual C++ 4.0
Server 端開發環境：Borland C++ Builder 6.0
Apache Server、PHP
資料庫相關：Pocket Access、MySQL Server、ADOCE 3.1
系統介面
系統介面
系統介面
實驗與評估
 實際環境使用測試：2002 年於華江雁鴨公園雁鴨季活
動，實際測試我們的系統，並搜集使用者操作記錄。
實驗與評估
 實際環境使用測試：2004 年我們在關渡自然公園國際
賞鳥博覽會，針對不同年齡層使用者進行教學。
本系統之優點
1. 利用PDA手機即可隨時隨地進行鳥類檢索。
2. 利用上下左右按鍵進行特徵點選，免除需以文字或
語言輸入之困擾。
3. 結合Tablet PC 實現導覽系統與互動式學習環境。
4. 系統具備圖案淺顯易懂、輸入簡單、可依不同場合
或環境迅速變更搜尋模型及容易學習使用等優點。
5. 結合 RFID 提供互動式學習(例如：學習護照)，更
可定位出使用者所在區域。
實例二
RFID技術及應用
什麼是RFID
 RFID
 Radio Frequency Identification
 無線射頻識別
 起源：
 第二次世界大戰時，英、德兩軍在英倫三島的
戰役中，為了辨別敵我兩方的戰機，發展一套
利用無線電來做識別驗證的系統，而這套系統
就是RFID。直到現在的飛航交通管制，仍舊在
使用這個技術。
什麼是RFID
 Tag外觀：各式各樣*





貼紙可黏貼在物體表面。
膠囊植入動物體內。
名片方便收藏在皮夾。
鹽粒結晶嵌入紙張夾層。
直尺、棒子、鑰匙圈、吊飾…等。
 理由：
 記錄比目前普遍使用的條碼更多資訊。
 無線傳輸方式，可為零售商、物流倉儲等商業應用減少
許多開銷。
 針對特殊應用或環境來設計RFID Tag，使得以往無法使
用條碼的工作環境，也可以利用RFID來提升效率。
什麼是RFID
 資料讀取
 條碼是利用雷射等光學讀取器，將掃瞄光源照
射在條碼上進行讀取，所以條件是距離不能過
長，而且在讀取器與條碼之間不能有物體阻擋，
才能有效的辨識讀取。
 RFID則是利用RF射頻的方式來進行讀取，只要
RFID Tag在射頻電波發射的範圍內，就可以讀
取到資料。
博物館導覽
 數位導覽不是要取代文物導覽，而是輔助參觀者的學習
 透過RFID感應，取得介紹資訊
Server
RFID DB
WLAN
Content DB
Introduce / Recommend
e
Visitor Log
Web Browser
Exhibition with
RFID tag
Visitors
實例三
麥當勞得來速點餐系統
Location-awareness
技術與原理
 顧客使用WebPad 點餐後，系統會統計出使用者的
需求，提供金額與份量等相關資訊，經確認後，透
過無線網路傳遞到Server 端資料庫，擷取出資料庫
中的有效資訊，利用資料探勘技術處理後將資料分
類儲存並提供個人化服務，達到對內有效控管原料
及工作進度，對外提供顧客更好的服務。
開發環境
程式語言：PHP Language、Java Script、ActiveX
資料庫：MySQL Server
語音轉換：Microsoft Speech SDK 5.1
執行方式：只需透過 IE 連線到後端即可
點餐介面
單點套餐
切換
商品列表
已點購
餐點
商品熱量成份資訊
確認訂單
廚房及交易櫃檯訊息畫面
可
供
廚
房
備
餐
及
交
易
櫃
檯
查
詢
、
結
帳
廚房語音播放畫面
個人化點餐系統
‧開發於 PDA 無線點餐系統：
(a)點餐畫面
(b)推薦商品
(c)確認商品
(d)待餐編號
研發方向
 現行架構雖以點餐為主，然因後端嵌入資料探勘
技術，配合資料庫的資料，找出餐點間的關聯、
甚至消費族群、消費習慣等商業資訊，配合推出
優惠方案，增加商機。
 將系統搭配本實驗室研發之智慧型搜尋系統，提
供顧客在點餐等待時間可以隨時隨地搜尋植物、
鳥類、魚類、餐點營養成份等資訊。
 結合text-to-speech技術，直接播放點餐資訊，
以利廚房人員備餐。以語音輸入直接點餐亦在研
發中。
實例四之一
車牌辨識系統
（停車管理拍立得）
系統架構
Users
車牌影像
辨識系統
WAP
手機
查詢
網頁
查詢
停車資料
Capture
Image
PHS 上網
Internet
停車管理
贓車協尋
牌照稅管理
資料庫
線上通報
Fuzzy Motors
Police Station
開發動機
•以個人電腦為平台之「車牌辨識」的技術雖已成
熟，且己廣泛應用於停車場管理或門禁監控上，
但實作於 PDA 上之辨識系統卻付之闕如，但其確
有實用性的需求。
結合 PDA 與外掛 CCD Camera 與無線網路卡，
並展現手持裝置高度的移動性與可攜性。
提升傳統的收費與管理效率，減少人為書寫之
錯誤，同時允許使用者上網查詢。
系統功能
•我們的系統針對「路邊停車」與特定區域停車場
的議題提出一完整的架構。本系統包括下列幾項
主要的功能：
車牌辨識（即時性 & 非即時性）
簡潔之操作與管理介面
贓車協尋與查報系統
牌照稅催繳與罰款通知
查詢介面（WAP 手機 & 網頁）
原理與技術
•車牌辨識：車牌辨識的處理程序包含四個主要的
模組，每個模組也都相對於一個主要的處理步驟。
步驟一：車牌的定位
步驟二：影像處理
步驟三：文字切割
步驟四：文字的比對
原理與技術
•車牌辨識：流程圖
Step 1
Step 2
Step 3
Step 4
原始圖檔
找出車牌
相關處理
車牌辨識
Capture Original
Image from CCD
Camera
Use Prewit method
1. Zoom image
If > Threshold
2. Binary
possible position
3. Divide number
4. Histogram equalizing
圖檔
1. Character recognition
If > Threshold
modify result
Else
Show the probable
license number
原理與技術
•類神經網路：本系統車牌辨識方式是利用類神經
網路中常用之倒傳遞網路模型來實作，以進行車
牌整體辨識工作。
•協助辨識 0 與O、8 與 3、B 等，非常相近的圖案。
例如：
→
• 影像處理技術
開發環境
• 軟體需求
開發平台：Windows CE
開發軟體：Pocket PC 2002 SDK
Embedded Visual C 3.0
Embedded Visual Basic 3.0
MySQL
• 硬體需求
PC 、PDA、Access Point、CCD Camera、無線網卡
• 無線環境需求
IEEE 802.11b
系統介面
實測結果
•系統辨識率?
不傾斜角度 約70~95%
傾斜角度限制 約15度以內，以上則以車牌影
像扭曲情況而定
針對相似數字提供三個候選鍵，正確率達 80%
夜晚使用需依光線亮度而定
Client 端辨識 1 秒以內
Server 端辨識 3 秒以內
現有產品比較
•現有系統
車牌不需逐字點選
需個別選擇車種、顏色
沒有照片佐證
•問題：無法辨識的霸王車牌?
比賽花絮
Happy Ending，雖沒拿到100萬，
但昨晚泡麵我們吃夠本了！
實例四之二
車牌辨識系統
（路況監測系統）
動機
 即時車牌辨識系統
 動態影像處理
 系統自動化
 即時性
動機
大部分車牌辨識使用的方
式
提出的車牌辨識方式
人工方式擷取靜態圖片
系統動態影像偵測擷取圖
片
缺點：無法快速辨識與即
時傳遞重要資訊
優點：能夠快速辨識與即
時傳遞重要資訊
目標
 車牌辨識系統整合
 全自動化
 即時停車管理、贓車協尋、超速舉發等用途
 引入倒傳遞網路模型
 預期效率
 時間：1 sec
 效果：90 %
系統架構
前處理、車牌定位
攝影機
影像擷取
字元切割
文字辨識
顯示辨識結果
車輛影像擷取
 像素相減法
 判斷畫格像素差
 影片畫格
 30 frames / sec
 擷取速率
 1次 / 100ms
 1次 / 3 frames
車牌定位
輸入
輸出
Prewitt
matrix
車輛圖像
Search
window
車牌圖像
車牌定位
 Prewitt
 突顯出黑白像素變化較大
處
 與車牌特性類似
 Search Window
 Search Window大小100 * 40
 累計值較大處
-1
0
1
-1
0
1
-1
0
1
字元切割
 圖片掃描→縮小範圍→文字定位→切割取出
 縮小範圍 (雜訊濾除)
 去除雜訊邊界 (上方的發牌縣市、鎖車牌的鏍帽)
 直方圖累計
 切出車牌文字的上下緣後，定位出字元區域，
再利用垂直的直方圖累計切割出每個文字方塊
字元切割
 採比例門檻
 y[i] / y[i - 1] > 1.5
 整張車牌的文字上下緣
特性為直方圖累計值較
高處
辨識字元
 樣本預先分類
 英文字母A~Z及數字0~9共36組作為基本原型字組
 增加1%、2%、5%雜訊字元模型
 增加1~5度傾斜角度字元模型
 正規化影像字元
 高 50 pixels
 寬 26 pixels
 直方圖統計值
 共76筆資料
 字元編碼
 6 bits
辨識後之處理
 回傳給後端使用者
 系統偵測到之車牌影像
 辨識出來的車牌號碼
 外力影響
 使用者以人工方式加以校對
 避免漏失重要資訊
研發方向
 監控系統之整合
 鄰里安全
 超速偵測
 資訊之即時傳遞
 線上警網
 欠稅資料
實例五之ㄧ
鳥類檢索系統
（e 機在手，鳥趣無窮）
動機
 希望以Java手機結合Server建構一個行動式的學習環
境，利用手持裝置之便利性，提供無所不在的學習
之旅。
 透過簡單明瞭的圖形與按鍵設計，建立使用者易於
操作的介面，方便使用者做搜尋的動作。
 提出一個搜尋系統的模型，可迅速套用至其他應用
上，不侷限於鳥類搜尋的範圍。
 Example: 植物、商品、藥物、導覽等。
系統架構
Record Management System
Association Rule
BP Network
GPRS
Database
鳥類生態自然公園
Java Cellular Phone
Server
開發環境
 硬體需求：PC、Nokia 7610。
 開發平台：
 用戶端：Symbian 60系列 (Java手機)
 伺服器端：Windows XP (PC)
 開發軟體：
 用戶端
 JBuilderX、Wireless_toolkit-22、
Series_60_Platform_2nd_Ed_FP1、 ActivePerl
 伺服器端
 JDK 1.5.0_05、Tomcat 5.5.9
 通訊方式：GPRS。
系統功能
 我們的系統對「鳥類搜尋」提出一個完整的架構。
本系統包括下列幾項主要的功能：
 以輸入鳥類名稱的方式做關鍵字檢索
 利用圖片特徵勾選的方式做特徵檢索
 行動式教學環境
 生態筆記
 系統推薦機制
 記錄使用者資料與搜尋記錄探勘
系統功能-文字搜尋與特徵搜尋
 文字搜尋：輸入鳥名，做關鍵字搜尋。
 特徵搜尋：六個圖片特徵中至少選擇一項。






體型：
嘴形：
飛行：
行走：
顏色：
足型：
(體型大、體型小)
(鉤形、彎錐形、雞鴨形、長形)
(盤旋式、直線式、波滾式)
(步行、跳躍)
(深色、淺色、紅褐色、綠色)
(長腳、短腳)
系統功能-行動式教學環境
 適合室內(ex. 博物館)與戶外(ex. 動物園)使用。
 注入行動教室的概念，可使用手機欣賞影像、聲音、
文字、圖片等資源，兼具在室內講授的教學品質與
戶外學習的樂趣。
系統功能-生態筆記
 格式
 主題
 地點
 時間格式(Thu, 13 Oct 2005 17:04:02 GMT+8)
 心得內容
 使用者查詢生態筆記記錄時，系統會依主題排序供
使用者選擇。
系統功能-系統推薦機制
 透過Data mining中Apriori-like演算法進行探勘，找
出鳥類與區域之間的關聯。
 建立推薦模型，主動推薦使用者搜尋之鳥類所在區
域的其他鳥類。
 九大區域：
 水域、中低海拔空曠林區、平地、平地樹林底
處、田地、沿海、低山區草叢、河川或溪流、
中低海拔樹叢
系統功能-系統推薦機制
特徵：
User
query
嘴形→雞
鴨形嘴
Server回傳結果至手
機上顯示，使用者
點選「綠頭鴨」查
詢詳細資料
Server
將搜尋條件
丟給資料庫
做搜尋
Database
將搜尋結果
回傳給
Server
系統功能-系統推薦機制
Database
S={資料庫所有鳥類之集合}
交易記錄為
點選：
User
query
綠頭鴨
Server
T1={綠頭鴨}
向資料庫做
搜尋
首先，利用Minimum spanning
tree演算法將S分成幾個群組。
再使用Apriori-like演算法從每一
群組中找出Large item set與有
效的關聯法則。
Large item set即表示同一區域
中較容易聚在一起的鳥類。
Server推薦花嘴鴨與
小水鴨給使用者
將搜尋結果
回傳給
Server
Example: 找到規則
R1={綠頭鴨, 花嘴鴨, 小水鴨}皆是
位於水域。
系統功能記錄使用者資料與搜尋記錄探勘
 使用者帳號、密碼寫入資料庫。
 將搜尋記錄寫入資料庫，每一位使用者最多可記錄
最近30筆鳥類搜尋記錄。
 使用者透過輸入之帳號與密碼之比對，可從資料庫
取得過去30筆搜尋記錄。
 回傳搜尋記錄至用戶端。
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
系統架構(用戶端)
主畫面
文字搜尋
特徵搜尋
搜尋結果
鳥類圖片
鳥類介紹
鳥類聲音
鳥類影片
搜尋記錄
生態筆記
系統推薦
研發方向
 系統功能
 3G 手機平台移植
 串流影片
 語音記錄
 人機互動教學
比賽花絮
實例五之二
鳥類檢索系統
（emome）
目標
 以Java手機結合Server建構一個行動式的學習
環境，利用手持裝置之便利性，提供無所不
在的學習之旅。
 透過簡單明瞭的圖形與按鍵設計，建立使用
者易於操作的介面，方便使用者做搜尋的動
作。
 提出一個搜尋系統的模型，可迅速套用至其
他應用上，不侷限於鳥類搜尋的範圍。
 Example: 植物、商品、藥物、導覽等。
系統架構
Record Management System
Association Rule
BP Network
GPRS
Database
鳥類生態自然公園
Java Cellular Phone
Server
特徵搜尋
 文字搜尋：輸入鳥名，做關鍵字搜尋。
 特徵搜尋：六個圖片特徵中至少選擇一項。






體型：
嘴形：
飛行：
行走：
顏色：
足型：
(體型大、體型小)
(鉤形、彎錐形、雞鴨形、長形)
(盤旋式、直線式、波滾式)
(步行、跳躍)
(深色、淺色、紅褐色、綠色)
(長腳、短腳)
雛型畫面-查詢
雛型畫面-加值
用功、用功、再用功
總是會有收穫的
Thank You