Fall 2013

Haptics & Virtual Reality 햅틱스와 가상현실

MeeYoung Sung Marvel Lab.

(Multimedia Advanced Real Virtual Environment Laboratory) Computer Science & Engineering Department University of Incheon http://marvel.incheon.ac.kr/~mysung [email protected]

1

Haptics & VR Syllabus

Week (date) Week1 (9.4) Week2 (9.11) Week3 (9.18) Week4 (9.25) Week5 (10.2) Week6 (10.9) Week7 (10.16) Week8 (10.23) Week9 (10.30) Week10 (11.6) Week11 (11.13) Week12 (11.20) Week13 (11.27) Week14 (12.4) Week15 (12.11) Week16 (12.18) Lecture Overview 1. Introduction 추석 2. Input Devices 3. Output Devices 4. Computing Architecture for VR 5. Modeling 6. VR Programming project day 7. Human Factors in VR 8. Traditional VR Applications 9. Emerging Applications of VR Seminar1 Seminar2 Seminar3 Haptic VR project presentation Presenter SMY ?

?

?

?

SMY SMY ?

?

? Readings At Home Exam Assignment Readings proposal Haptic VR project proposal Haptic VR project code & document 2

Course Objectives

• 가상현실에서 촉감과 힘을 통해 더욱 구체적이고 실제적인 정보를 전달하는 방법인 햅틱스 기술을 컴퓨터 그래픽스와 컴퓨터 네트워크 기술에 기반하여 깊이 있게 학습하고 연 구하여, 응용분야가 무한한 촉감가상현실 분야의 전문 능 력을 갖춘 유능한 인재를 양성한다 • • 첫째로, 가상환경을 만들기 위한 입출력장치, 컴퓨터 아키텍쳐, 모 델링 및 프로그래밍에 대한 기초 개념들을 실제 시스템을 다루고 활용함을 통하여 햅틱스 기술의 기초를 이해한다. • 둘째로, 인간의 촉감 감지과정, 촉감처리 및 제어, 촉각의 제시에 대한 기술들을 학습한다. 셋째로, 실제 프로그램 언어를 이용하여 가상환경을 개발하고 햅틱 스 기술을 실험, 실습하여 촉감가상현실 시스템의 전문 능력을 갖 춘다.

3

Course Information

• • • • 강의, 세미나, 토론, 실습을 병행 Seminar • • Textbook 또는 ebook 2회 http://logbookresearch.com/ Paper 1회 Haptic VR Project 수행 • 지정 과제 중 택 1 또는 더 좋은 과제 제안 가능 • • 제 1 과제: 햅틱 속성 제어기 (Tactual Haptic Controller) 제 2 과제: 햅틱 원격 제어기 (Tele-Haptic Operator) Exam (textbook review) • • At Home Exam 1회 Final Exam 1회 4

Grading Criteria (420666002)

•

Seminar

•

Exam (textbook)

•

Haptic VR Project

•

Attendance 30% 30% 20% 20%

5

Haptic VR Project

• • 지정 과제 중 택 1 또는 더 좋은 과제 제안 가능 • 제 1 과제: 햅틱 속성 제어기 (Tactual Haptic Controller) • 햅틱 속성들을 사용자 입력에 의해 설정하고 설정된 4개 속성 (Stiffness, Damping, Static friction, Dynamic friction) 값에 해당 하는 촉감을 테스트 할 수 있는 간단한 제어기 제작 • 제 2 과제: 햅틱 원격 제어기 (Tele-Haptic Operator) • 햅틱 장치로 원격 객체를 실시간 원격 햅틱 탐침(probe) 할 수 있도 록 서버의 햅틱 장치 제어가 원격의 햅틱 장치에 동일하게 실시간 으로 적용되게 하는 응용 제작 (원격의 햅틱 피드백을 서버로 전송 하는 기능 포함 권장) CHAI3D 기반 코드 제공 6

Course Topics

• • • • • • Introduction to Computer Haptics Computer Graphics for Haptics Computer Network for Haptics Collision Detection in Computer Haptics Haptic Rendering of Computer Haptics (Object Shapes, Surface Details, Deformable Objects) Selected Applications in Computer Haptics • • Virtual Reality Networked Virtual Reality 7

Textbook & Materials

• Virtual Reality Technology , Second Edition, Grigore C, Burdea, Phillippe Coiffet, Wiley Interscience, 2003.

• http://www.ebooksdownloadfree.com/download/Virtual-Reality-Technology-2nd Edition-free-download-1.html

• http://www.intechopen.com/books/virtual-reality • Fundamentals of Computer Graphics , Second Edition, Peter Shirley et al. AK Peters, 2005.

• • • • • Exploiting Perception in High-Fidelity Virtual Environments, 2006 SIGGRAPH Course24, 2006.

M. McLaughlin, J. P. Hespanha, and G. S. Sukhatme, " Introduction to Haptics ", Chapter 1 in Touch in Virtual Environments, MISC Press Multimedia Series (Prentice Hall), Upper Saddle River, NJ, 2002, pp. 1-31.

L. A. Jones, " Kinesthetic Sensing MIT Press, 2000.

", hypothetically to appear in Human and Machine Haptics, M. Cutkosky, R. Howe, K. Salisbury, and M. Srinivasan, eds., 햅틱스 기술개발 동향 및 연구 전망, 경기욱, 박준석, 전자통신동향분석, 제 21권, 제 5호, pp93-108, 2006년 10월.

Selected papers 8

Textbook: Burdea and Coiffet, Virtual Reality Technology, 2 nd Edition, Wiley, 2003 http://www.vrtechnology.org

9

Papers (to be added)

• • • • • • • • • • • • • • Abdulmotaleb El Saddik, “The Potential of Haptics Technologies,” IEEE Instrumentation & Measurement Magazine , IEEE, pp. 10-17, February 2007.

Gabriel Robles-De-La-Torre, “The Importance of the Sense of Touch in Virtual and Real Environments,” IEEE Multimedia Vol. 13, Issue 3, Special issue on Haptic User Interfaces for Multimedia Systems, July September 2006.

K. Salisbury, F. Conti, and F. Barbagli, "Haptic Rendering: Introductory Concepts," IEEE Computer Graphics and Applications, vol. 24, pp. 24-32, 2004. M. A. Srinivasan and C. Basdogan, "Haptics in Virtual Environments: Taxonomy, Research Status, and Challenges," Computer & Graphics, vol. 21, pp. 393-404, 1997. V. Hayward, O. R. Astley, M. Cruz-Hernandez, D. Grant, and G. Robles-De-La-Torre, "Haptic Interfaces and Devices," Sensor Review, vol. 24, pp. 16-29, 2004. R. L. Klatzky and S. J. Lederman, "Touch," in Handbook of Psychology, vol. 4, I. B. Weiner, Ed. New York, USA: Wiley, 2002, pp. 147-176 D. A. Lawrence, "Stability and Transparency in Bilateral Teleoperation," IEEE Transactions on Robotics and Automation, vol. 9, pp. 624-637, 1993.

C. Basdogan and C.-H. Ho, "Principles of Haptic Rendering for Virtual Environments," http://network.ku.edu.tr/%7Ecbasdogan/Tutorials/haptic_tutorial.html

. Haptic Rendering in Shared/Collaborative Environments - Transatlantic Touch Haptic Rendering in Shared/Collaborative Environments - Latency C. Basdogan, C.-h. Ho, M. A. Srinivasan, and M. Slater, "An Experimental Study on the Role of Touch in Shared Virtual Environments," ACM Transactions on Computer-Human Interaction, vol. 7, pp. 443 - 460, 2000. J. Kim, H. Kim, B. K. Tay, M. Muniyandi, M. A. Srinivasan, J. Jordan, J. Mortensen, M. Oliveira, and M. Slater, "Transatlantic Touch: A Study of Haptic Collaboration over Long Distance," Presence: Teleoperators and Virtual Environments, vol. 13, pp. 328 - 337, 2004. C. Gunn, M. Hutchins, and M. Adcock, "Combating Latency in Haptic Collaborative Virtual Environments," Presence: Teleoperators and Virtual Environments , vol. 14, pp. 313-328, 2005. N. Nitzsche, U. D. Hanebeck, and G. Schmidt, "Design Issues of Mobile Haptic Interfaces," Journal of Robotic Systems, vol. 20, pp. 549 - 556, 2003. N. Nitzsche and G. Schmidt, "A Mobile Haptic Interface Mastering a Mobile Teleoperator," in the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2004, pp. 3912 - 3917.

10

Links

• • • • Community • The Haptics Community • • Haptics-L The International Society for Haptics Conferences • Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems • Eurohaptics Journals • Presence: Teleoperators and Virtual Environments • • • • Haptics-e IEEE Transactions on Robotics ACM Transactions on Applied Perception Note: Much more journals regarding virtual reality, computer graphics, robotics, human-computer interaction and perception publish haptics articles Companies • Sensable Technology • • • • Immersion Corporation Force Dimension Novint Technology Reachin 11

햅틱스란

• 햅틱스는 촉감을 재현하는 것을 목적으로 다양한 학문의 분야가 모여서 탄생한 새로운 학문 • • 햅틱(haptic)이라는 단어는 그리스어로 ‘만지다’라는 뜻의 ‘haptesthai’에서 유래한 영어 단어로 ‘촉각의, 만지는’이라는 형 용사적 의미로 사용된다.

사람의 촉각을 구체적으로 표현하는 단어로는 손가락과 팔 등의 근감각을 통해서 만지고 있는 환경을 느끼는 과정을 가리키는 ‘kinesthetic’과 • 피부의 직접적인 접촉을 통해 접촉 환경을 느끼는 과정을 가리키 는 ‘tactile’이라는 단어가 있는데, • ‘haptic’은 햅틱스 연구분야에서는 사전적 의미와는 별개로 위의 두 단어의 의미를 포함하여 촉각과 관련된 모든 감각을 합쳐서 부르는 일반적인 용어로 사용되고 있다.

12

What is haptics?

• Comes from the Greek haptesthai, meaning to touchTactual sensory information conveyed to the brain: • 1-Tactile information:The responses of receptors of the skin in contact with an object(texture information about an object) • 2-Kinesthetic information: Net forces applied to limbs (coarse information about an object) 13

14

Haptic Research

15

10 Things That Will Change The Way We Live

http://www.forbes.com/2006/02/16/cx_cd_0217featslide_print.html

1.

2.

3.

4.

5.

6.

Fuel Cells Gene Therapy Haptics Internet2 LifeStraw MRAM 7.

8.

$100 Laptop $200 Barrel Of Oil 9.

VoIP 10.

WiMAX 16

Haptics Research

• • • • Haptic Interface: 촉각을 전달하기 위한 물리적 환경을 일컫는 햅틱 인터페이스 개발 및 제어 Behavioral Neuroscience and Biological Psychology(행동신경과학과 생물심리학): 사람이 느끼 는 촉감의 메커니즘을 연구하는 신경과학 및 심리학 Haptic Rendering: 물리적 특성을 결정하고 하드웨어와 소프트웨어를 연동시켜 촉감을 모델링하는 햅틱 렌더링 Haptics Application: 햅틱스 기술을 적용한 햅틱 응용 시스템 17

Haptic Research

18

Haptic Research

http://robot.kaist.ac.kr/haptics/ 19

Haptics Interface

• • • 사용자에게 촉감을 전달하는 시스템 전체 구성요소 • • • 햅틱 디바이스(haptic device) 원격접촉환경(teleaction environment)/가상환경(virtual environment) 제어기(controller) F E (가상대리자가 가상의 물체에 부딪쳐서 발생하는 힘) 와 F M (사람 이 햅틱 디바이스를 통해 느끼는 힘)이 똑 같도록 제어 20

Haptics Interface

• • • • • • • SensAble(사) PHANToM TM • 1993년 MIT 인공지능연구실의 K. Salisbury의 지도를 받고 있던 Thomas Massie가 개발 및 창업 Haptic Master • 1994년 일본의 츠쿠바 대학의 Iwata 교수 연구 실에서 개발 Delta와 Omega Haptic Device • 2002년 스위스 EPFL에서는 병렬형 구조인 • • • 를 개발하여 Force Dimension (사)를 통해 상품화 3자유도, 6자유도 PERCRO, Virtual Technologies • 외골격형(exoskeleton type) 장치가 동경 공과대학의 SPIDAR • 와이어를 직접 손가락 혼을 손으로 쥐는 부분 에 연결하여 촉감을 재현 국내에서는 KAIST, KIST, 한양대학교, GIST 등에서 force feedback device 연구 중 미국 Immersion(사)가 가장 많은 특허 보유 http://www.immersion.com/mobility/ 21

Tactile Display

http://haptic.mech.northwestern.edu/intro/gallery/index.html

22

•

Behavioral Neuroscience and Biological Psychology (행동신경과학과 생물심리학)

사람의 지각(perception) 및 인식(cognition)과 관련된 현상을 해석 하기 위하여 생물학(신경과학), 인지과학, 물리학, 인간공학을 망라 한 심리학적 연구 방법 23

• • • •

Behavioral Neuroscience and Biological Psychology (행동신경과학과 생물심리학)

메르켈 디스크(Merkel ’ s Disk) • • Pain 0.4~3Hz의 피부 자극에 반응하고 0.4~1Hz에 민감하며, 주로 표면의 미세한 압력분포에 반 응하며 무늬나 모양을 지각하는 과정과 연관 마이스너 소체(Meissner Corpuscle) • Touch • 3~100Hz의 자극에 반응하고 25~40Hz에서 민감하며 주로 표면 위의 돌출된 부분이나 미 세한 모양의 가장자리를 지날 때 반응하며 표 면의 무늬를 지각하는 과정에 보조적으로 연관 파치니언 소체(Pacinian Corpuscle) • Vibration • 35~500Hz 범위의 자극에 반응하고 250~300Hz에 민감하며, 진동을 지각하는 것 과 연관 • 특히 역치(threshold)가 기계적 수용기 중에서 가장 낮아 사람이 250Hz 진동에서 가장 민감 루피니 말단(Ruffini ’ s Ending) • • Stretch 0.5~400Hz의 자극에 반응을 나타내긴 하지만 실제로는 표면을 문지른다든지 할 때 피부가 늘어나는 현상(skin stretch)이 발생할 경우 전 기 신호를 발생 24

Haptic Rendering

• • • 1995년 K. Salisbury에 의해 처음 제안된 용어 햅틱스 기술이 적용된 환경에서 사용자가 가상의 물체에 접촉하는 동안 가상 물체와의 상호작용을 위해 햅틱 디바이스로 전달되는 힘 (force)을 계산하는 일련의 모든 과정 • • • • • • 컴퓨터 그래픽, 물리학, 재료역학, 동역학, 모델링 알고리듬 등을 망 라하여 컴퓨터 그래픽으로 렌더링을 하듯 촉감정보가 표현될 수 있 도록 가상의 환경을 모델링하는 프로그래밍 과정 전반 • 충돌 검출(collision detection) • 접촉 저항력 계산(contact impedance) 형상 표현(shape representation) 마찰력(surface friction) 동역학 계산(dynamics) 표면 무늬 및 굴곡 표현(surface curvature) 질감표현(texture modeling) 물리적 제약상태(physical constraints) 25

Haptics Standardization

26

Haptics Application

• • • • • 차세대 컴퓨터용 HCI 인터페이스 네트워크 기반 상호작용 체감형/체험형 시뮬레이터 오감 상호작용(Multi-modal Interaction) 직관력을 높이는 장치(Intuitive Interface) 27