Transcript Document
以互動體感裝置結合文化創意 各式各樣的資訊科技產品帶來了很多便利，資訊科技 對人文、社會的影響也更加快速，使用科技的力量與 人文結合，將藝文相關的海報、型錄、圖片等全部數 位化，匯集前人所見，使文化藝術更具創造力，也更 有價值，使文化活出嶄新的現代面貌。數位化的廣泛 應用引發的技術革命，在數位化之前各種人文藝術皆 受到技術規格的限制，但隨著數位化技術的發展日漸 成熟後，幾乎沒有一種傳統的媒介不能轉變為數位電 子型態，如何以創新的技術替文化創意產生新價值是 最重要的關鍵。 外部設備應用 智慧型裝置與外部設備的結合越來越多樣化, 在許多產業裡頭,像是傳統玩具的銷售正出現 滑坡趨勢,這讓許多玩具公司透過這一個熱門 的領域,順應這一趨勢,使傳統玩具趨勢上升, 智慧裝置與外部設備的結合不僅僅只在於玩 具上,在各式各樣的外部裝置上,都漸漸有這 樣趨勢出現,搭載智慧型手持裝置之APP控制 數位家電、遙控音響、操作絢麗的LED燈光設 施,都可以透過App的廣大曝光,使硬體周邊產 品在市場上取得先機。 前言 傳統的輸入設備如鍵盤滑鼠等，只能做到二維XY座標 的控制，如果要製作模型的話，一次只能處理一面， 想要處理其他面則需要先轉動角度再接著處理。 Holz David 並不喜歡滑鼠、鍵盤的輸入方式，他覺 得現實中只需要花數秒鐘製作的3D 模型，到了電腦上 需要半小時，這是很低效的。 …於是Leap就這樣被開發出來 Leap Motion體感裝置 Leap是一個約隨身碟大小的裝置，內建IR(紅外線)攝影機與CCD(感光)攝影機 他將帶來除了鍵盤與滑鼠之外，另一種全新的電腦操作方式 當Leap啟動時會在裝置上方形成一個3716立方公分的空間 在此空間內的手指動作都會被捕捉到並且追蹤 Leap主要是透過精密演算法來執行，所以硬體只是取得必要資料的設備 不需要太精密的儀器即可完成，由兩個攝影機交叉取得手的位置及距離 Leap的眼光看世界 April_rain -testController: Controller -testFrame: Frame -testPointable: Pointable -cd_num: int = 1 -play_state: string = "play" -sec: float = 0 +mumu: GameObject +phonograph: GameObject +cd: GameObject +lyrics: GameObject -state: string = "menu" +cd_1: Texture +cd_2: Texture +cd_3: Texture +cd_4: Texture +music: AudioSource +music_1: AudioClip +music_2: AudioClip +musoc_3: AudioClip +music_4: AudioClip -cd_rotation: bool = false +Start(): Controller +music_play(): bool +music_pause(): bool +music_stop(): bool +Update(): Frame,Pointable,float,GameObject,string,Texture,AudioSource,AudioClip,bool state +Hand.IsValid: bool +testPointable: float Hand.IsValid +testPointable: float +state: string = "menu" +cd_rum(): int testPointable Updade +testFrame: Frame +testPointable: Hand.Pointable +sec: float = Time.deltaTime cd_num +pindead: GameObject +lyrics: Texture +music: AudioSource +state: string = "phonograph" +play_state: string = "play" +state(): string +testFrame(): bool +testPointable(): float +Gesture(): Gesture +testPointabe: float +cd_num: int +cd_?: GameObject TYPESWIPE Hand.IsValid +testPointable: float +state: string = "menu" +cd_rum(): int testPointable +testFrame: Frame +testPointable: Hand.Pointable +sec: float = Time.deltaTime cd_num +pindead: GameObject +lyrics: Texture +music: AudioSource +state: string = "phonograph" +play_state: string = "play" +state(): string +testFrame(): bool +testPointable(): float +Gesture(): Gesture +testPointabe: float +cd_num: int +cd_?: GameObject TYPESWIPE Gestures +Gesture: GustureType +play_state: string = "pause" +testPointable: float +state: string = "phonograph" +testPointable: float +pindead: GameObject +music_stop(): float +Application.LoadLevel(): int case1 +cd: Texture +lyrics: Texture +pindead: GameObject +music: AudioSource +music_1: AudioClip music_play +state: string = "menu" +sec: float>1 +cd_num: int +state: string = "phonograph" +play_state: string = "play" +cd_rotation: bool = true case2 +cd: Texture +lyrics: Texture +pindead: GameObject +music: AudioSource +music_2: AudioClip +cd: Texture +lyrics: Texture +pindead: GameObject +music: AudioSource +music_3: AudioClip +play_state: string = "pause" +cd_rotation: bool = false TYPEKEYTAP +switch(): int case3 music_stop case4 +cd: Texture +lyrics: Texture +pindead: GameObject +music: AudioSource +music_4: AudioClip music_pause +cd_rotation: bool = false 偵測方式 手掌Palm 手指Finger 工具Tool 比手指長、直、細薄 A tool is longer, thinner, and straighter than a finger. Palm手掌控制 PalmPosition PalmVelocity PalmNormal Direction SphereCenter SphereRadius 手掌的三維座標 手掌的移動速度 手掌主軸位置(掌心向下) 手掌主軸位置(手背向上) 手的球體曲線中心 雙手球體曲線中心 手勢(Gesture)判斷 Circle Swipe KeyTap SceenTap 商用價值 已經有廠商看好Leap的操作模式 HP推出內建Leap的筆記型電腦Envy 17 Leap Motion SE 其相關應用除了可以取代滑鼠及觸控螢幕 3D場景的遊戲也是其賣點之一 體感筆電 未來電腦的發展重在人機交互的方式，觸控已經逐漸在取代鍵盤鼠標的 操作，而觸控腳跟還未站穩，很快又被更新的Leap Motion功能所取代。 Leap Motion是Leap公司開發的一個體感操作配件，類似一個攝像頭， 之前我們都是在英特爾推廣超極本的實驗室裏面見到這款產品。而惠普 卻把這個外置的擴展設備集成在機身裏面，推出了首款擁有Leap Motion功能的筆記本電腦。 想像「現實版鋼鐵人」馬斯克(Elon Musk)一樣，隔空操作你的電腦， 除了自己買台Leap Motion DIY之外，上週惠普(HP)於台灣連假期間發 表的HP ENVY 17 Leap Motion SE「體感」筆電，也許是更輕鬆的一種 選擇。 四月望雨 以leap控制 轉動台灣歌謠-虛擬互動體感留聲機 創作動機與背景 藝術是永恆的，此話道盡藝術對於生活的重要性，讓科技 與藝術進行結合，推動鄧雨賢的經典歌曲，讓台灣人民重 新認識經典的台灣歌謠。 作品中將蟲膠唱片的數位音檔，搭配實體拍攝的復古留聲 機，將留聲機的各個原件重現，讓在台灣生活的人們重新 認識了解鄧雨賢。 圖為鄧雨賢相片，由鄧雨賢音樂文化協會提供 創作過程與成果 軟體需求分析 作品中透過leap motion骨架追隨的功能以及手勢判斷 的api來操作程式，將出現在leap motion上方的手做 定位追隨，抓取其座標後轉換所需的XY座標在螢幕上 使用，捨去了複雜的操作功能，特地將程式部分作成 選取到的唱片會放大1.3倍，將手掌向下揮動或著手指 點擊即可觸發手勢功能進行播放，方便操作的特性是 作品最大的特色，任何人經過leap motion體感操作裝 置的前方都能輕鬆上手。 軟體設計 系統介面子系統 簡單清楚的目錄選單，一目瞭然的歌曲名稱，方便使 用者選取聆聽。選取想要播放的唱片之後，手掌向下 揮動或著手指點擊即可進入撥放畫面，成功選取進入 撥放畫面後將會自動撥放選取的曲目。 虛擬留聲機子系統 實體拍攝的復古留聲機，將留聲機的各個原件像：唱 針、音箱、唱臂、轉盤一一重現。唱臂會計算歌曲的 撥放進度，隨著歌曲的撥放向唱盤圓心旋入，每分鐘 78轉的唱盤轉速也真實的重現留聲機的樣貌。 選歌目錄 虛擬留聲機子系統 實體留聲機拍攝的各部份元件 跨平台整合開發 開發工具 產學效益或後續發展 本作品我們和鄧雨賢音樂文化協會合作，本系統可支援 Kinect體感互動裝置操作以及leap motion手指感應控制 版本， 使用Unity3D軟體製作跨平台版本，可於行動裝置、 網頁、電腦上執行。 鄧雨賢文化音樂協會使用本作品進行多次展覽，先前於新 瓦屋客家文化保存區展覽完畢，目前正在台南市新營文化 中心展出。