Transcript Human Computer Interaction: Overview

人機介面: 課程簡介
Human Computer Interaction
開課單位: 政大資科系
授課教師: 廖文宏 [email protected]
教學目標
介紹人機介面最新技術，並將藉由數項人
機互動技術之原理簡介與實作演練，強化
修課同學之核心能力。
四大教學模組：
– 人機互動基礎概念
– 以視覺為基礎的人機互動
– 實體運算互動系統
– 高階嵌入式平台應用
課程模組
模組A：人機互動基礎概念
– 介紹人機互動與使用者體驗的基本概念。
– 透過實際體驗的方式，讓學生熟悉新型的人機介面。
– 介紹新型態的人機介面技術
模組B：以視覺為基礎的人機互動。
– 介紹基於電腦視覺技術的人機互動模式。
– 透過實作與應用展示，強化修習同學之基礎能力。
模組C：實體運算互動系統 (Physical Computing)
– 介紹實體運算的概念及互動裝置之應用。
– 透過Arduino平台，動手開發基於實體運算的互動裝置。
模組D：高階嵌入式平台應用
– 介紹高階嵌入式平台之應用。
– 選定Android系統，介紹其架構與開發工具，並藉由實作與
展示提升修課同學之實務經驗。
模組A：人機互動基礎概念
教學目標:介紹人機互動與使用者體驗的基
本概念，除回顧人機互動發展歷程與重要
里程碑，及簡要說明人類的視覺與記憶系
統外，更強調透過實際體驗的方式，讓學
生熟悉新型的人機介面，如體感操控裝置、
多點觸控、語音介面、手寫辨識、手勢辨
識、視覺軌跡介面等，並以使用者角度評
估這些介面的優缺點，以作為後續模組進
行特定人機互動介面開發的基礎。
單元主題
人機互動概念簡介
人機互動發展歷程
視覺與記憶系統
各式人機介面探討
模組B：以視覺為基礎的人機互動
教學目標:介紹基於電腦視覺技術的人機互
動模式，包含動作偵測、光流追蹤、人臉
偵測、手勢辨識與視覺軌跡介面，除簡介
其運作原理外，並透過實作與應用展示，
強化修習同學之基礎能力。
單元主題
電腦視覺基礎概念
OpenCV 簡介
手勢辨識
視覺軌跡介面(eye tracking)
基於Kinect+ OpenCV 之人機互動
模組C：實體運算互動系統
教學目標:介紹實體運算的概念及互動裝置
之應用，除介紹感測裝置的基本原理，也
將透過Arduino平台，搭配Processing語言，
教導同學如何動手製作與開發基於實體運
算的互動裝置。
單元主題
實體運算簡介
感測裝置
Arduino 平台簡介
Processing 語言
專題製作與展示
模組D：高階嵌入式平台應用
教學目標:介紹高階嵌入式平台之應用，選
定Android系統，介紹其架構與開發工具，
以適地性服務(location-based service,
LBS)與 OSC協定為例，藉由實作與展示，
提升修課同學之實務經驗。
單元主題
智慧型手機平台簡介
Android 架構
Android 平台應用程式開發
適地性服務
OSC協定
專題製作與展示。
實習課程設計
1. 第一次接觸體感裝置
2. 自己做手寫辨識
3. 用 OpenCV 玩人機介面
4. OpenCV + Kinect 於 人機介面應用
5. Arduino 基礎應用
6. Arduino 高階感測器應用
7. Android 初階入門
8. Android 人機介面的進階應用
課程實驗所需設備
設備項目
用途說明
單價
Kinect 感測器
擷取主動式立體視覺影像，
即時建構環境深度資訊
5,000
Android 平板電腦
Android系統載具，用於開發
Android-based互動應用程式
15,000
Arduino 實驗基板
Arduino基礎實驗板，用於連
接周邊裝置
500
Arduino 周邊感測器
各種感測裝置，用於接收或
回饋環境訊息
9,500
實驗課程
模組A：人機互動基礎概念
– 人機互動發展歷程
– 視覺與記憶系統與各式人機介面探討
輔助實驗：
– 1. 第一次接觸體感裝置
– 2. 自己做手寫辨識
模組C：實體運算互動系統
(Physical Computing)
–
–
–
–
實體運算簡介
各種感測裝置
Arduino 平台簡介
專題製作與展示
輔助實驗：
– 5. Arduino 基礎應用
– 6. Arduino 高階感測器應用
模組B：以視覺為基礎的人機互動
–
–
–
–
電腦視覺基礎概念
OpenCV 簡介
人臉偵測與表情識別
手勢辨識與視覺軌跡介面
輔助實驗：
– 3. 用 OpenCV 玩人機介面
– 4. OpenCV + Kinect 於 人機介面應用
模組D：高階嵌入式平台應用
–
–
–
–
智慧型手機平台簡介
Android 架構
Android 平台應用程式開發
專題製作與展示
輔助實驗：
– 7. Android 初階入門
– 8. Android 人機介面的進階應用
1. 第一次接觸體感裝置(一)
1. 第一次接觸體感裝置(二)
2. 自己做手寫辨識(一)
• $1 Unistroke Recognition in JavaScript
Result :Ｘ
Result :Array
2. 自己做手寫辨識(二)
Step 1: Resample the Point Path
Step 2: Rotate Once Based on the “Indicative Angle
Step 3: Scale and Translate
Step 4: Find the Optimal Angle for the Best Score
3. 用 OpenCV 玩人機介面(一)
3. 用 OpenCV 玩人機介面(二)
4. 基於OpenCV + Kinect 之
人機介面(一)
Powerful Sensor
Powerful Library
Diverse Application
4. 基於OpenCV + Kinect 之
人機介面 (二)
5. Arduino 基礎應用(一)
5. Arduino 基礎應用(二)
6. Arduino 高階感測器應用
7. Android 初階入門
8. Android 人機介面的進階應用
Interactive Interface
Powerful Platform
Fascinating Application
修課規定及須知
須有電腦程式語言基礎 (Java, C. C++) 。
Arduino部分會用到一些簡單的電路接線。
評分以各實驗之作業與期末專題為主。
實驗份量頗重，上課時僅講解原理與重要
步驟或流程，細節部分須於課後自行動手
實作。
儀器設備請妥善保管。
若干開發平台由於版本變動頻繁，請務必
確認平台之相容性。
關於未來人機介面的一些想像(一)
Microsoft in 2019
關鍵人機互動技術: 手寫辨識、機器翻譯、
觸控介面、擴增實境、可撓式顯示裝置等。
關於未來人機介面的一些想像(二)
Microsoft Productivity Future Vision
關鍵人機互動技術:圖形與文字辨識、觸控
螢幕、擴增實境、語音辨識、資料視覺化
等。
關於未來人機介面的一些想像(三)
Nokia Future Vision
關鍵人機互動技術:視線軌跡(gaze-based
UI)、擴增實境、觸感介面(Haptic UI) 、3D
音效
關於未來人機介面的一些想像(四)
Sixth Sense Technology by Pranav
Mistry :虛實整合的互動體驗
關鍵人機互動技術:手勢辨識( gesture
recognition),物件追蹤與定位、微投影裝
置、擴增實境
關於未來人機介面的一些想像(五)
A day made of class
顯示技術
更多展示影片
Gaze-based UI
Brain-computer interface
Pen-based UI
Multi-touch UI
Gesture-based UI
Tangible UI
Muscle-computer interface
Gazed-based UI
VIPL video
包含以下影片
– 以視覺軌跡為基礎的瀏覽器
– 能紀錄視覺焦點之相片瀏覽程式
– 互動式媒體
– 井字遊戲等。
Brain Computer Interface
BBCI Pinball Video
NeuroSky MindSet
Pen-based UI
Swype
$1 Gesture Recognizer on Mobile
Phone
Multi-touch UI
Multi-touch table at NCCU
Microsoft Surface
Microsoft Surface 2.0
Apple Multi-touch trackpad
Gesture-based UI
Sign language: Sign Language
Recognition
Body gesture: Microsoft Project Natal
Hand gesture: Toshiba Gesture
Interface Demo
Tangible UI
Multi-Display Map Touring with Tangible
Widget
故宮雍正展互動桌(一)
DEMO VIDEO 轉盤
TUIC: Enabling Tangible Interaction on
Capacitive Multi-touch Displays
Muscle Computer Interface
Video Figure from UIST 2009 paper on
Muscle-Computer Interfaces (wmv,
30MB)
Papers
– Making Muscle-Computer Interfaces More Practical
T. Scott Saponas , Desney Tan , Dan Morris , Jim Turner
and James A. Landay , Conference on Human Factors in
Computing Systems, 2010. CHI Note (PDF)
– Enhancing Input On and Above the Interactive Surface with
Muscle SensingHrvoje Benko , T. Scott Saponas , Dan Morris
and Desney Tan , ACM International Conference on
Interactive Tabletops and Surfaces, 2009. Full Paper (PDF)
習題
請至網路上搜尋未來人機介面技術之相關
資訊，並找出其中使用之關鍵技術。
思考問題:
– 哪些技術目前已經達實用階段?
– 哪些技術仍待開發或改善?
– 技術的瓶頸何在?
參考資料
Human-Computer Interaction
Resources : HCI Bibliography
Interaction Design: Beyond HumanComputer Interaction, 3rd edition.
Designing the User Interface:
Strategies for Effective HumanComputer Interaction, 5th Edition.
The Design of Everyday Things
相關研討會
詳細列表:請參閱http://hcibib.org/hcisites/CONFERENCES.html
重要會議:
– ACM CHI (since 1983): SIGCHI Conference
on Human Factors in Computing Systems
– UIST (since 1986): User Interface Software
Technology (Conference)
– MobileHCI (since 1998):
www.mobilehci.org/
國外大學相關課程
U.C. Berkeley CS 160
Stanford University CS 147
Carnegie Mellon University HCI
Institute Courses
University of Washington (Seattle) CSE
440