Transcript Kinect for Labview

Kinect for Labview
動機社寒訓專題報告
廖翊宏
莊諺
目錄
1.Labview 介紹
2.Kinect 介紹







硬體
軟體開發環境
.Net Framework
聲音
彩色影像
深度影像
骨架追蹤
3.應用
Labview 介紹
1. 早期為了儀器自動控制
所設計，至今轉變為一
種高階程式語言
2. 一種資料流程式語言
3. 圖形化程式編譯平台
4. 具有並列執行能力
5. 函式庫包含：訊號擷取、
訊號分析、機器視覺、
數值運算、邏輯運算、
聲音震動分析、資料儲
存...等
每個VI都有三個組成部分：程式框圖（Block
Diagram）、前面板（Front Panel）和圖示/連結器
（Icon/Connector）
Kinect 介紹:硬體
Kinect 介紹:軟體開發環境
1.CL NUI Platform
由NUI的AlexP開發能夠獲取彩色
攝影機，深度傳感器以及加速度
傳感器數據
2. OpenKinect/libfreenect
提供骨架化、將彩色攝影機的影
像作為紋理貼在深度數據上
3. OpenNI
是一個多語言，跨平台的框架，
它定義了編寫應用程式，並利用
其作自然人機互動的 API。有
Kinect生產商 PrimeSense 的支援
4.Kinect for Windows SDK
主要是針對 Windows7 設計，內
含驅動程式、豐富的原始感測數
據串流程式開發介面、自然用戶
介面、安裝文件以及參考範例。
.Net Framework
1.
2.
3.
4.
一種採用系統虛擬機執
行的編程平臺
以通用語言執行庫為基
礎，支援多種語言（C#、
VB.NET、C++、Python等）
的開發。
.NET也為應用程式介面
（API）提供了新功能和
開發工具
程式設計員可以同時進
行Windows應用軟體和
網路應用軟體以及元件
和服務（web服務）的
開發
Kinect 介紹:聲音
1.來自於四個麥克風所構成的麥克
風陣列
2.含數位訊號處理器可過濾背景
音並強化清晰度
3.可分析出聲音的發出方向(水
平) 、錄音、語音辨識
4.SoundSourceAngle:
屬較低階資訊，伴隨著介於0到1
的數值
Beamangle:
經過數學演算法處裡
Kinect 介紹:彩色影像
1.回傳影像長寬比4:3
2.RGB:
32bits彩色點陣圖
640x480 30FPS
1280x960 12FPS
YUV(較不秏記憶體):
16bits、使用Gamma校正的
線性UYVY格式點陣圖
640x480 15FPS
3.可結合Labview做影像處理
Kinect 介紹:深度影像
1. Light Coding技術利用連續光
（近紅外線）對測量空間進行編
碼，經感應器讀取編碼的光線，交
由晶片運算進行解碼後，產生成一
張具有深度的圖像。
2. 當雷射光照射到粗糙物體、或是
穿透毛玻璃後，會形成隨機的反射
斑點，稱之為散斑。散斑會隨著距離
而變換圖案，空間中任何兩處散
斑都會是不同的圖案，等於是將整
個空間加上了標記，所以任何物體
進入該空間、以及移動時，都可確
切紀錄物體的位置
Kinect就是以紅外線發出人眼看不見的雷射光，透過鏡
頭前光柵、擴散片將雷射光均勻分佈投射在測量空間中，
再透過紅外線攝影機記錄下空間中的每個散斑，擷取原
始資料後，再透過晶片計算成具有3D深度的圖像。
儲存方式可分為:
1.唯一表示深度值
2.既有深度值又含有遊戲ID(一次能夠識別多達 6 個遊戲者。
SDK 為每一個追蹤到的遊戲者編號作為索引)
應用程式可以使用深度數據串流中的深度數據來支援各種各
樣的用戶特性，如追蹤用戶的運動並在程序中識別和忽略背
景物體的資訊等。
Kinect 介紹:骨架追蹤
1. 將偵測到的3D深度圖像
轉換到骨架追蹤系統
2. 該系統最多可同時偵測
到6個人，包含同時辨識
2個人的動作；每個人共
可記錄20組細節
3. 用上機器學習技術
（machinelearning），
建立出龐大的圖像資料
庫，形成智慧辨識能力
4. 配備了追焦系統
應用
1.
2.
3.
4.
5.
6.
7.
8.
醫療復建應用
Kinect 3D 試衣間
機械控制
虛擬樂器
虛擬娛樂
電腦相關應用
Kinect 多點觸控
虛擬實驗
資料來源
1.
2.
3.
4.
5.
http://www.techbang.com/posts/2936-get-to-know-how-itworks-kinect
http://www.ni.com/labview/zht/
http://www.cs.nccu.edu.tw/~whliao/hci2012/Kinect_Note_
for_Windows_SDK.pdf
http://zh.wikipedia.org/wiki/Kinect
http://zh.wikipedia.org/wiki/.NET%E6%A1%86%E6%9E%B6