Transcript ppsx - Université Laval
Slide 1
Composantes
matérielles/logicielles
en RV
Branzan-Albu et D. Laurendeau
Dép. de génie électrique
et de génie informatique
Université Laval
1
Slide 2
Plan
Introduction
Architecture d’un système de VR
Systèmes d’interaction avec le monde
de réalité virtuelle/augmentée
Entrées
Sorties
2
Slide 3
Plan (suite)
1
Entrées
Interaction avec l’utilisateur
Tracking de la position
Critères de choix d’un système de tracking
Types de systèmes de tracking
Tracking du corps
Commandes physiques
Interaction avec le monde
Capteurs
3
Slide 4
Plan (suite)
2
Sorties
Affichages visuels
Indices visuels d’information 3D
Propriétés des types d’affichage
Types
Stationnaires
Mobiles (« head-mounted »)
Transportables (« hand-based »)
Affichages auditifs
Indices auditifs de positionnement spatial
Propriétés des types d’affichage auditif
4
Slide 5
Plan (suite)
3
Sorties (suite)
Affichages haptiques
Propriétés
Types
Tactiles
End-effectors
Robotiques
3D
Autres affichages
5
Slide 6
Schéma d’un système de RV/A
Monde réel
Auditive
Auditif
Haptique
Autres
Haptique
Autres
Visuel
Affichage
Visuel
Rendu
Visuelle
Auditif
Haptique
Autres
Tracking du corps
Représentation
Monde virtuel
6
Slide 7
Remarques préliminaires
L’immersion et l’interaction sont deux
des éléments les plus importants en RV
L’immersion dépend des informations
sensorielles expérimentées par
l’utilisateur dans l’environnement
7
Slide 8
Remarques préliminaires (2)
L’environnement doit également
connaître les actions de l’utilisateur
afin de moduler les informations qui
lui sont transmises pour maximiser la
sensation d’immersion
Pour atteindre cet objectif, il faut
1.
2.
Détecter les actions de l’utilisateur
Détecter les actions du monde virtuel
8
Slide 9
Remarques préliminaires (3)
La détection des actions de l’utilisateur
s’obtient par:
La détection de la position de l’utilisateur
dans l’EV
La détection et l’interprétation des actions
de l’utilisateur dans l’EV
Ces deux activités sont par
conséquent reliées aux entrées
fournies à l’EV
9
Slide 10
Entrées-sorties dans les EV
ENTREES
Détection des actions de
l’utilisateur (user monitoring)
10
Slide 11
Détection des actions de l’utilisateur
Il existe trois moyens principaux de
détection des actions de l’utilisateur
dans l’EV:
Tracking de sa position
Tête
Corps
Actions sur des dispositifs physiques
(physical controls)
11
Slide 12
Détection des actions de l’utilisateur (2)
Tracking de la position:
Cette activité consiste à utiliser un capteur qui
retourne à l’EV la position et/ou l’orientation de
l’utilisateur dans l’espace
Le capteur de position/orientation est le
dispositif le PLUS IMPORTANT dans un système
de RV car c’est celui qui affecte le plus la qualité
de l’immersion
Le tracking de la tête est spécialement important
12
Slide 13
Détection des actions de l’utilisateur (2)
Tracking de la position – critères à
considérer lors du choix d’une
technologie:
1.
2.
3.
Exactitude, précision et rapidité
Encombrement (câbles, etc.)
Interférences entre le capteur et
l’environnement physique (matériaux de
construction, etc.)
13
Slide 14
Détection des actions de l’utilisateur (3)
Tracking de la position – technologies
disponibles:
1.
2.
3.
4.
5.
6.
7.
Électromagnétique
Mécanique
Ultrasonique
Optique
Vidéométrique
Inertiel
Neuronique
14
Slide 15
Détection des actions de l’utilisateur (4)
Tracking de la position – capteurs
électromagnétiques
Combinaison émetteur –
récepteur
Avantages:
Simples et faciles à interfacer
Peuvent êtres utilisés à la fois
pour la tête et les mains
Relativement peu coûteux
Désavantages:
Interférences
électromagnétiques
Faible distance de travail
Encombrement causé par les
câbles (bien que des solutions
wireless existent)
15
Slide 16
Détection des actions de l’utilisateur (5)
Tracking de la position – capteurs
mécaniques
Calcul de cinématique de
l’organe terminal d’un bras
robotisé
Avantages:
Option « mains libres »!
Compense la gravité
Désavantages:
Limite l’enveloppe d’autonomie
de l’utilisateur
L’inertie du système n’est pas si
facile à compenser
Ne peuvent être utilisés
simultanément pour la tête et les
mains à cause des interférences
mécaniques
16
Slide 17
Détection des actions de l’utilisateur (6)
Tracking de la position – capteurs
ultrasoniques
Principe de triangulation par
temps de vol
3 émetteurs et trois détecteurs
sont suffisants pour estimer 6
degrés de liberté (position et
orientation)
Avantages:
Peu coûteux pour la RV desktop
Désavantages:
Émetteur
Tprop1
Tprop2
Détecteur
Détecteur
Sensibles au bruit et aux
occlusions
Peuvent être encombrants (car
une certaine distance entre les
émetteurs doit exister pour
garantir un niveau de précision
acceptable dans l’estimation de la
position)
17
Slide 18
Détection des actions de l’utilisateur (7)
Tracking de la position – capteurs optiques
Principe exploitant la vision artificielle
(caméras-marqueurs) et la triangulation pour
estimer la position et l’orientation (au moins
deux caméra sont nécessaires pour obtenir de
l’information en 3D)
Avantages:
Permettent de suivre plusieurs utilisateurs
simultanément (à condition de pouvoir les
identifier sans erreur à chaque instant)
Plus précis que les capteurs ultrasoniques
Désavantages:
Peuvent être coûteux (pour systèmes
temps réel)
Sensibles aux occlusions des marqueurs
Nécessitent que les marqueurs demeurent
continuellement dans le champ de vision
des caméras
18
Slide 19
Détection des actions de l’utilisateur (8)
Tracking de la position – capteurs
Marqueurs dont la position est connue par rapport à un référentiel de
coordonnées
vidéométriques
Principe exploitant la vision artificielle
(caméras-marqueurs) et la triangulation pour
estimer la position et l’orientation. La caméra
est posée sur l’utilisateur…
Avantages:
Permettent de suivre plusieurs utilisateurs
simultanément (à condition de pouvoir les
identifier sans erreur à chaque instant)
Plus précis que les capteurs ultrasoniques
Désavantages:
Peuvent être coûteux (pour systèmes
temps réel)
Sensibles aux occlusions des marqueurs
Nécessitent que les marqueurs demeurent
continuellement dans le champ de vision
des caméras
Caméra
19
Slide 20
Détection des actions de l’utilisateur (9)
Tracking de la position – inertiels
Inclinomètres, accéléromètres, gyroscopes
Avantages:
Désavantages:
En principe, on peut obtenir l’information sur les 6 ddl (du
moins avec les gyros et les accéléromètres)
Auto-suffisants (ne requièrent aucune autre composante)
Offrent une grande rapidité de mesure (et donc peu de «
lag » avec le display)
Prix peu élevés
Comme ces dispositifs enregistrent la position et
l’orientation de manière relative, les erreurs s’accumulent
en cours d’expérience
En général, on ne se sert donc de ceux-ci que pour des
mesures d’orientation seulement
20
Slide 21
Détection des actions de l’utilisateur (10)
Tracking de la position – neuroniques
Servent à mesurer la position de certaines parties du
corps par rapport à d’autres
Par exemple, avec des senseurs sur les muscles du
bras de l’utilisateur, il est possible d’estimer la
position des doigts (par des modèles calibrés ou avec
des réseaux de neurones)
Ces technologies sont encores peu répandues
et ne sont pas fréquemment utilisées dans les
systèmes courants
21
Slide 22
Détection des actions de l’utilisateur (11)
Tracking du corps:
Tête
Tracking effectué dans presque tous les systèmes
Mains et doigts
Notamment pour les systèmes d’affichage dits « head-based »
Le tracking s’effectue grâce à un gant (sur lequel est monté l’un
des dispositifs de tracking vus précédemment) et permet
d’interagir (potentiellement via la reconnaissance des gestes) avec
l’EV et parfois de naviguer dans celui-ci.
Limitations: il y a généralement un petit nombre de gants dans un
EV…et les gants de qualité sont généralement coûteux
Yeux
Peu répandu
Systèmes généralement basés sur la détection de radiation IR
22
Slide 23
Détection des actions de l’utilisateur (12)
Tracking du corps:
Torse
Pour le guidage d’avatars dans les EV.
Intéressant pour les EV immersifs d’entraînement
pour les sportifs
Pieds
Utile pour estimer la vitesse de marche d’un
utilisateur se déplacant dans un EV
Nécessite d’inclure une interface de locomotion dans
l’EV:
Tapis roulant, ou autre (vélo stationnaire, etc.)
23
Slide 24
Détection des actions de l’utilisateur (13)
Tracking – approches pour améliorer la performance des
dispositifs
Chaque méthode de tracking a ses avantages et ses
inconvénients
Certains de ces inconvénients peuvent être réduits et même
éliminés grâce à plusieurs techniques:
1.
2.
3.
Analyse prédictive: l’ordinateur utilise les valeurs passées
fournies par le dispositif de tracking pour prédire les prochaines
valeurs entre deux lectures.
Calibrage: on peut par exemple construire des tables de look-up
pour corriger les lectures de systèmes électromagnétiques dont les
lectures sont affectées par les structures avoisinantes
Fusion multicapteurs: combiner les lectures de position et
d’orientation fournies par plusieurs capteurs différents
24
Slide 25
Détection des actions de l’utilisateur (14)
Actions sur des dispositifs
physiques
25
Slide 26
Détection des actions de l’utilisateur (15)
On compte divers types de dispositifs
permettant à l’utilisateur d’interagir
avec l’EV:
Contrôles physiques:
Boîtiers de commande (« props »):
Boutons, interrupteurs, ascenseurs
Souris (2D et 3D), télécommandes
Plates-formes
« Affichage audio »
26
Slide 27
Détection des actions de l’utilisateur (16)
Contrôles physiques:
Boutons, interrupteurs, ascenseurs
Ce sont des éléments simples servant pour la
plupart à choisir entre deux options ( dispositifs
binaires tels les boutons et les interrupteurs),
ou à faire défiler un ensmble de choix
(ascenseurs)
27
Slide 28
Détection des actions de l’utilisateur (17)
Boîtiers de commande (props):
Ce sont des objets qui manipulés par l’utilisateur,
ils permettent de transmettre des informations à
l’environnement (par exemple, une télécommande
de télé, une souris 3D)
Ces objets peuvent être représentés par des
composantes de commande dans l’EV lui-même
Ils peuvent être dotés de contrôles physiques (par
exemples, des boutons et des interrupteurs)
Ils permettent une interaction plus riche avec l’EV
que les contrôles physiques
28
Slide 29
Détection des actions de l’utilisateur (18)
Plates-formes:
Ces dispositifs permettent de recréer (du
moins partiellement) l’environnement
physique dans lequel l’expérience virtuelle
se déroule:
Anneaux
Véhicule (voiture, tank, tracteur, chaiseroulante, etc.)
Cockpit d’avion dans les simulateurs de vol
29
Slide 30
Détection des actions de l’utilisateur (19)
Affichage audio:
Système de reconnaissance de la parole
Ils permettent de transmettre des commandes
à l’EV sans l’utilisation des mains
Avantages:
Libère les mains pour utiliser des boîtiers de
commande et ainsi contrôler plusieurs éléments
de l’EV
Favorise une interaction “naturelle” entre
l’utilisateur et l’EV
30
Slide 31
Détection des actions de l’utilisateur (20)
Affichage audio:
Dévantages:
Demande un traitement important de l’information si le
système doit accepter des commandes de n’importe quel
utilisateur (i.e. sans entraînement)
Si l’EV est muni d’un système de son (soit avec écouteurs
ou hauts-parleurs), ou que plusieurs utilisateurs
partagent le même EV, le système doit être en mesure
de décider s’il reçoit une commande ou si le son est
simplement une sortie ou un échange entre les
utilisateurs
31
Slide 32
Détection des actions de l’utilisateur (21)
Affichage audio:
Façons de contourner ces dévantages:
Dispositifs “Push to Talk”: le système n’accepte
une commande que lorsque l’utilisateur appuie
sur un bouton
Dispositifs “Name to Talk”: le système
n’accepte une commande que lorsque
l’utilisateur prononce un mot précis (ex. Stop,
Go, etc.)
32
Slide 33
Entrées-sorties dans les EV
Sorties
Visuelles, audio, haptiques, autres
33
Slide 34
Sorties – Introduction (1)
Un élément clé en RV est la qualité de
l’expérience à laquelle l’utilisateur est
soumis
La qualité de cette expérience dépend
grandement de la perception qu’a
l’utilisateur de l’EV
Le niveau de qualité de l’expérience est
d’autant plus élevé que les divers sens de
l’utilisateur sont stimulés par les composantes
de l’EV
34
Slide 35
Sorties – Introduction (2)
L’EV doit donc offrir le spectre le plus
large possible d’affichages (displays):
Visuel
Auditif
Haptique (mécanique et tactile)
Autre (vestibulaire, etc.)
35
Slide 36
Sorties – Introduction (3)
Dans ce qui suit, nous allons aborder
les principaux types d’affichages de
même que les principes de base
pertinents à chacun:
1.
2.
3.
4.
Affichages visuels
Affichages auditifs
Affichages haptiques
Autres
36
Slide 37
Sorties
Affichages visuels
(Visual Displays)
37
Slide 38
Affichages visuels (1)
L’affichage visuel est très important
pour la qualité de l’immersion de
l’utilisateur dans l’EV
La qualité de cette immersion est
grandement accrue si l’affichage des
composantes de l’EV est effectué en
trois dimensions
38
Slide 39
Affichages visuels (2)
On retrouve trois principales
approches d’affichage visuel 3D en
RV:
1.
Les affichages stationnaires:
1.
2.
2.
3.
Aquariums (fishtank VR)
Par projection
Les casques (Head-Based Displays
(HBD))
Les dispositifs tenus en main (Palm VR)
39
Slide 40
Affichages visuels (3)
Pour transmettre à l’utilisateur qu’il
perçoit son environnement en 3D,
plusieurs principes sont utilisés par les
approches d’affichage:
Principes
Principes
Principes
Principes
monoculaires
stéréoscopiques
basés sur le mouvement
physiologiques
40
Slide 41
Affichages visuels (4)
Principes monoculaires:
Occlusion: un objet en masquant
partiellement (ou complètement) un autre
est forcément plus près de l’observateur
Ombrage: les ombres projetées sur le sol
par les objets peuvent fournir un indice sur
la localisation d’un objet dans l’espace
(notamment par rapport à l’éclairage)
41
Slide 42
Affichages visuels (5)
Principes monoculaires (2):
Perspective: dans un système monoculaire, des droites
parallèles dans l’espace 3D se croisent au point de fuite
dans une image de celles-ci
42
Slide 43
Affichages visuels (6)
Principes monoculaires (3):
Perspective: dans un système
monoculaire, des droites parallèles dans
l’espace 3D se croisent au point de fuite
dans une image de celles-ci
Texture: l’apparence de la texture d’une
surface peut donner l’illusion de la
profondeur (ex. mur de briques)
43
Slide 44
Affichages visuels (7)
Principes monoculaires (4):
Effets atmosphériques: la présence de
brouillard peut fournir une information sur la
distance des objets (les objets lointains étant
plus masqués par le brouillard que ceux qui sont
plus rapprochés de l’observateur
Illuminance des objets: les objets plus clairs
donnent l’impression d’être plus rapprochés que
les objets lointains
44
Slide 45
Affichages visuels (8)
Principe
stéréoscopique (1):
La différence de position entre
les images du même objet
observé de deux points de vue
différents fournit la plus forte
information visuelle de distance
Sténopé
non-inverseur
Image gauche
Image droite
Plan image
Baseline
Oeil gauche
Oeil droit
45
Slide 46
Affichages visuels (9)
Principes basés sur le mouvement (1)
Les objets situés plus près de l’observateur
ont l’air de se déplacer plus vite que les
objets éloignés fournissant ainsi une
information très riche sur la distance des
objets
Le mouvement apporte presque autant
d’information sur le caractère 3D d’une scène
que la stéréoscopie
46
Slide 47
Affichages visuels (10)
Principes physiologiques:
Ils fournissent des informations 3D, mais à un degré
moindre que les principes précédents
On en compte deux principaux:
Accommodation: information de profondeur fournie par
les muscles oculaires lors de la mise au foyer de l’image de
chaque œil
Convergence: information fournie par les muscles
oculaires lors du déplacement des yeux pour l’observation
d’une scène
47
Slide 48
Sorties
Propriétés des affichages visuels
Pour la RV
48
Slide 49
Propiétés physiques des affichages visuels (1)
Plusieurs propriétés physiques doivent être
prises en compte pour décrire les affichages
visuels:
Couleur: deux approches principales
1.
2.
Trichromie: 3 faisceaux simultanés balaient la surface
d’affichage à la même cadence
Champs séquentiels (« field sequential »): 3
faisceaux sont surimposés successivement à chaque
point de la surface d’affichage. Cela exige donc une
cadence trois fois plus rapide que les systèmes
trichromiques, mais offre une meilleure résolution (i.e.
plus de pixels au mm carré)
49
Slide 50
Propiétés physiques des affichages visuels (2)
Illustration des deux principes
Observateur
Observateur
Surface d’affichage
Surface d’affichage
Pixel
Pixel
Trichromie
Champs séquentiels
50
Slide 51
Propiétés physiques des affichages visuels (3)
Résolution spatiale:
Exprimée par le nombre de pixels
affichés sur les lignes et les colonnes de
la surface d’affichage (dot per inch (DPI))
L’aire de la surface d’affichage influence
aussi la perception des scènes (et leur
netteté)
Le type d’affichage a finalement une
infuence: LCD, CRT, Plasma, DLP.
51
Slide 52
Propiétés physiques des affichages visuels (4)
Contraste:
Exprimée par la différence entre les
zones claires et les zones sombres d’une
scène (ou d’une image de celle-ci)
Les CRT offrent par exemple un meilleur
contraste, c’est-à-dire une coupure plus
abrupte entre les zones claires et les
zones sombres, que les LCD.
52
Slide 53
Propiétés physiques des affichages visuels (5)
Nombre de canaux d’affichage:
Pour la représentation en 3D des scènes,
deux canaux d’affichage sont requis (un
pour l’œil gauche et un pour l’œil droit)
53
Slide 54
Propiétés physiques des affichages visuels (6)
Nombre de canaux d’affichage:
Plusieurs approches sont proposées pour
générer ces deux canaux:
Multiplexage spatial: deux images décalées et affichées
simultanément sur la surface d’affichage. Cette
approche nécessite l’utilisation de lunettes spéciales
(shutter glasses)
Polarisation: deux images de polarisations différentes
sont affichées simultanément
Multiplexage spectral: deux images de couleurs
différentes sont affichées simultanément
54
Slide 55
Propiétés physiques des affichages visuels (7)
Nombre de canaux d’affichage:
Affichages autostéréoscopiques:
Deux images simultanées observées d’un
point de vue donné par l’observateur sans la
nécessité de porter des lunettes
Système autostéréoscopique de SeaReal
55
Slide 56
Propiétés physiques des affichages visuels (8)
Nombre de canaux d’affichage:
Affichages volumétriques:
Permettent de visualiser un VOLUME et non
pas seulement la surface englobant un
volume
Holovizio
par Holographika
Perspectra
par Actuality Systems
Holoscope
par Holodesk
56
Slide 57
Propiétés physiques des affichages visuels (9)
Longueur focale:
Définie par la distance apparente des
objets par rapport à l’observateur
Un mauvais choix de longueur focale peut
causer des problèmes de perception 3D
et provoquer le VR sickness
57
Slide 58
Propiétés physiques des affichages visuels (10)
Masquage:
L’affichage peut être masqué par les objets
réels ou non.
Cela est acceptable si l’objet masquant est
situé devant l’objet virtuel
Cela pose un problème si l’objet virtuel est
situé devant l’objet réel car il n’y a aucun
moyen d’accomplir cette occlusion
58
Slide 59
Propiétés physiques des affichages visuels (11)
Champ de vision (field-of-view):
C’est la portion de l’espace qui est visible en 3D
par l’observateur
59
Slide 60
Propiétés physiques des affichages visuels (12)
Champ d’observation (field of regard):
C’est la portion de l’espace occupée par le monde
virtuel
60
Slide 61
Propiétés physiques des affichages visuels (13)
Remarque:
Le FOR est indépendant du FOV: on peut par
exemple avoir un FOV restreint, mais un FOR de
360 degrés (pour les casques)
On peut aussi avoir un FOV large, mais un FOR
étroit (avec les écrans de projection)
61
Slide 62
Propiétés physiques des affichages visuels (14)
Information sur la position de la tête de
l’observateur
Voir les systèmes de tracking traités
précédemment
62
Slide 63
Propiétés physiques des affichages visuels (15)
Latence de l’affichage graphique
Cela s’exprime par le délai existant entre
un mouvement de l’observateur et la prise
en compte de ce changement par
l’affichage
Un délai trop long peut désorienter
l’observateur et nuire à la qualité de
l’immersion
Ce paramètre est particulièrement
important pour les casques
63
Slide 64
Propiétés physiques des affichages visuels (16)
Résolution temporelle (frame rate):
Elle s’exprime par le nombre de fois par
seconde que la scène est réaffichée à
l’observateur
Un taux de 24 images par seconde est suffisant
Un taux de 30 images par seconde est
satisfaisant
Un taux de 15 images par seconde est
insuffisant (ou marginalement acceptable) car
l’utilisateur perçoit la répétition de l’affichage et
non pas un affichage fluide.
64
Slide 65
Propiétés physiques des affichages visuels (17)
Autres paramètres de nature logistique
Mobilité de l’utilisateur
Interfacage entre l’affichage et le système de
tracking
Facteurs environnementaux (éclairage ambient,
bruit, température, etc.)
Compatibilité avec d’autres types d’affichage
comme les affichages sonores
Portabilité
Nombre de participants (throughput)
Encombrement
Sécurité
Coût
65
Slide 66
Sorties
Types d’affichages visuels
66
Slide 67
Types d’affichages visuels (1)
Nous considérerons 3 types d’affichages
visuels:
Fishtanks (écrans d’ordinateurs personnels)
Systèmes de projection
Casques occlusifs (Head-Based-Displays) et
Casques non-occlusifs
67
Slide 68
Types d’affichages visuels (2)
Fishtanks:
Utilise un moniteur d’ordinateur standard
Possiblement avec un système de tracking
de tête
Et des lunettes de visualisation stéréo
(shutter glasses, lunettes avec verres
polarisés, anaglyphes (lunettes de
couleur))
68
Slide 69
Types d’affichages visuels (3)
Caractéristiques des Fishtanks:
Le monde réel reste visible (problème d’occlusion
possible)
Le système d’affichage est stationnaire (i.e. fixe)
Les périphériques de l’ordinateur personnel sont
disponibles pour intéragir avec l’EV
Le FOR est limité, ce qui impose des contraintes
sur la qualité de la visualisation stéréo près des
bords de l’écran
Peu coûteux
Performances moyennes
69
Slide 70
Types d’affichages visuels (4)
Systèmes de projection (écrans):
Composés d’écrans généralement plus grands que ceux des
fishtanks et offrant un plus grand FOR
Nécessitent également un système de tracking de la tête de
l’utilisateur
La stéréo est généralement synthétisée grâce à des shutter
glasses ou des lunettes avec filtres polarisés
On peut retrouver des systèmes avec deux projecteurs (un
par canal vidéo) permettant une meilleure luminosité à coût
plus élevé
Dispositifs stationnaires
Peuvent être construits par des « murs » de CRT, mais aussi
d’écrans plus grands sans frontières artificielles grâce à la
projection-arrière
70
Slide 71
Types d’affichages visuels (5)
Systèmes de projection (écrans) –
quelques exemples
VideoWall
Ecrans (projection LCD ou DLP)
71
Slide 72
Types d’affichages visuels (6)
Systèmes de projection (écrans) –
quelques exemples
Immersadesk (de Fakespace)
CAVE (de Barco)
72
Slide 73
Types d’affichages visuels (7)
Systèmes de projection (écrans) –
quelques exemples
V-Dome (par Trimension)
VisionStation (par Elumen)
Panascope
73
Slide 74
Types d’affichages visuels (8)
Systèmes de projection (écrans) –
quelques exemples
Cybersphere
(par VR-Systems)
74
Slide 75
Types d’affichages visuels (9)
Casques:
Ils sont associés naturellement à la RV
Dispositifs mobiles nécessitant obligatoirement un
système de tracking
L’EV est entièrement affiché car les casques sont
obstrusifs (i.e. masquent le monde réel, ce qui peut être
un problème pour l’utilisation de « props »)
Ils sont souvent lourds et sont soumis aux problèmes de
latence
Ils ont un FOR de 360 degrés
Ils permettent à plusieurs utilisateurs de partager le
même EV sans problème
Ils sont généralement chers
75
Slide 76
Types d’affichages visuels (10)
Casques – Quelques exemples:
Bas de gamme (< 1K$)
Cy-Visor (par Daeyang)
FMD 250W (par Olympus)
76
Slide 77
Types d’affichages visuels (11)
Casques – Quelques exemples:
Professionnels (> 1 K$, < 10K$)
Cybermind Hi-Res
(par Daeyang) V-8 (Par Visual Research)
Micro-Vision
77
Slide 78
Types d’affichages visuels (12)
Casques – Quelques exemples:
Haut de gamme (> 10 K$, < 50K$)
ProView (par KEO)
Datavisor (par nVision)
78
Slide 79
Types d’affichages visuels (13)
Casques – Quelques exemples:
Haute performance (> 50 K$)
Sim Eye
(par KEO)
Gemin-Eye
(par CAE)
79
Slide 80
Sorties
Méthodes de rendu graphique
Aspects relatifs à la représentation
80
Slide 81
Approches de rendu graphique (1)
Les approches de rendu génèrent les
signaux qui sont fournis aux dispositifs
hardware décrits précédemment
Ces approches sont très liées au
graphique par ordinateur (très
utilisé dans les jeux)
81
Slide 82
Approches de rendu graphique (2)
Le système logiciel de rendu consiste en un
ensemble de fonctions et de formats sur
lesquels l’EV repose du point de vue
graphique
Le système logiciel de rendu est capable de
parcourir une représentation graphique
de l’EV et une description des instructions
requises pour générer les formes
représentant les composantes de l’EV
82
Slide 83
Approches de rendu graphique (3)
Il y a plusieurs approches pour
décrire un environnement pour
ensuite le transformer en code
permettant de l’afficher:
1.
2.
Approches géométriques
Approches non-géométriques
83
Slide 84
Approches de rendu graphique (4)
Approche géométriques:
Polygonale: utilisation de polygones
(triangles principalement) pour
représenter la surface des objets dans
l’EV. Plusieurs outils de rendu reposent
sur les polygones.
NURBS (Non-Uniform-Rational-BSplines): courbes paramétriques
permettant de représenter une scène
84
Slide 85
Approches de rendu graphique (5)
Approche géométriques:
CSG (Constructive-Solid-Geometry):
représentation des surfaces par algèbre
géométrique
85
Slide 86
Approches de rendu graphique (6)
-
Polygones
NURBS
=
CSG
86
Slide 87
Approches de rendu graphique (7)
Approche non-géométriques:
Ray-tracing / ray-casting (volume
rendering): pour représenter les
volumes (objets avec transparence, très
fréquent en médecine)
Particle rendering: pour représenter
des scènes avec dynamisme et
déformations non-rigides (fumée,
liquides, etc)
87
Slide 88
Approches de rendu graphique (8)
Video Particle Systems
par Karl Sims
Ray tracing
88
Slide 89
Approches de rendu graphique (9)
Rendu de scènes complexes:
Shading (ombrage): les cartes
graphiques peuvent prendre en charge
les dégradés de couleurs causés par les
changements d’éclairage dans
l’environnement. Par contre, la prise en
compte des ombres projetées doit être
encore implantée en software
89
Slide 90
Approches de rendu graphique (10)
Rendu de scènes complexes:
Texture mapping: des propriétés de surface
(couleur, transparence, réflectivité) peuvent être
surimposées sur les polygones décrivant la
géométrie de surface des objets
Le texture mapping permet d’utiliser une
description géométrique grossière (i.e. avec
peu de polygones) sans affecter l’apparence
visuelle des objets (il en va évidemment
autrement de leur apparence « haptique »
comme nous le verrons plus loin)
90
Slide 91
Approches de rendu graphique (11)
Rendu de scènes complexes:
Culling: pour accélérer le refresh rate du
rendu graphique, seuls les polygones
visibles du point de vue de l’observateur
sont rendus sur l’écran. Cette méthode
de rendu s’appelle le « culling »
91
Slide 92
Sorties
Méthodes de rendu graphique
Organisation de la structure d’un
EV
92
Slide 93
Organisation de la structure(1)
Quelque soit la méthode adoptée pour la
représentation des composantes d’un EV
(polygones, NURBS, etc.), il est nécessaire
d’organiser celle-ci à un niveau
d’abstraction plus élevé permettant de
représenter les relations géométriques dans
la scène
Un outil est alors requis pour accomplir cette
tâche de modélisation
93
Slide 94
Organisation de la structure(2)
On rencontre deux types d’outils de
modélisation:
1.
Les outils de création de formes
(polygonales ou autres):
Alias-Wavefront
Softimage
3D Studio Max
Maya
AutoCAD
94
Slide 95
Organisation de la structure(3)
2.
Les outils d’organisation de formes
(polygonales ou autres):
La plupart de ces outils permettent
d’importer les descriptions générées par
les outils de création
95
Slide 96
Organisation de la structure(4)
OpenGL (par SGI) est
une librairie
graphique (multi
plates-formes) de bas
niveau qui offre une
API entre l’application
et le hardware de
rendu pour
« dessiner » des
primitives graphiques
simples telles les:
Points
Lignes
Polygones
Images
bitmaps
États:
Couleur
Texture
Opérations
matricielles
Direct3D est un outil de
Microsoft qui implante des
fonctionalités similaires
à OpenGL
96
Slide 97
Organisation de la structure(5)
Cependant, les zones cachées de la
scène demandent un temps de calcul
considérable pour finir par ne pas être
dessinées à l’écran
OpenGL (ou Direct3D) ne permet pas:
D’optimiser le management de la
géométrie de la scène pour augmenter
les performances du rendu effectué par
les cartes graphiques
97
Slide 98
Organisation de la structure(6)
Or, les scènes graphiques sont
organisées de manière hiérarchique
(par exemple, les portes d’une voiture
sont solidaire de la carosserie)
Si la carosserie est invisible parce que
cachée, il ne sert à rien de calculer les
paramètres de rendu des portes…
98
Slide 99
Organisation de la structure(7)
Une structure en arbre permet d’organiser
les scènes de façon hiérarchique et permet
d’optimiser le processus de rendu par le
hardware
En RV, ces arbres sont appelés « scene
graphs »
On parle de graphe plutôt que d’arbre parce
que des liens cycliques peuvent être ajoutés
dans un arbre de rendu pour ajouter des
fonctionnalités (en simulation par exemple)
99
Slide 100
Organisation de la structure(8)
Il n’existe pas un seul type d’arbre de
rendu, chaque outil de gestion de scènes
graphiques adoptant sa propre structure.
Une chose est commune cependant: ces
outils de gestion des scènes reposent sur
une librairie de rendu comme OpenGl ou
Direct3D offrant une API pour exploiter le
hardware graphique
100
Slide 101
Organisation de la structure(9)
Quelques exemples d’outils de management de
scènes graphiques:
Performer
(http://www.sgi.com/products/software/performer/)
Inventor (http://oss.sgi.com/projects/inventor/)
Open SceneGraph (http://www.openscenegraph.org/)
OpenSG (http://www.opensg.org/)
X3D (http://www.thex3dxperience.com/)
Java3D (http://java.sun.com/products/java-media/3D/)
Renderware (http://www.csl.com/)
Etc…
101
Slide 102
Organisation de la structure(10)
Les graphes de rendu organisent les
descriptions en termes de
groupements de structures
polygonales et en termes des
transformations que celles-ci
subissent les-unes par rapport aux
autres dans la scène
102
Slide 103
Organisation de la structure(11)
Scene
Description
(3DS)
Comptoir
TC
Organisation
(Performer)
TC
Verre
Table
Rendu
(OpenGL)
TC
TC
TC
TC
Chaise
Chaise
Chaise
Chaise
103
Slide 104
Organisation de la structure(12)
Quelques outils logiciels d’organisation
de structure pour la RV:
OpenGL: ensemble d’algorithmes de
rendu graphique (polygones) multi
plates-formes. S’interface aisément avec
plusieurs engins de rendu graphique
hardware pour en faciliter l’utilisation
OpenGL est un outil de bas niveau
104
Slide 105
Organisation de la structure(13)
Quelques outils logiciels d’organisation
de structure pour la RV:
Performer: offre une interface de
programmation de haut niveau et des
fonctionnalités pour la manipulation des
arbres de rendu
Utilise OpenGL pour le rendu de bas niveau
105
Slide 106
Organisation de la structure(14)
Quelques outils logiciels d’organisation de
structure pour la RV:
WorldToolkit (WTK de Engineering Animation):
offre une interface pour l’utilisation de hardware
de VR (notamment des dispositifs de tracking,
gants, souris, dispositifs 6-ddl) et des
commandes d’organisation hiérarchique
polygonale.
Utilise OpenGL comme plate-forme de rendu de
bas niveau.
WTK est portable sur différentes plates-formes.
106
Slide 107
Organisation de la structure(15)
Quelques outils logiciels d’organisation
de structure pour la RV:
Minimal Reality Toolkit (MRT, Univ. Of
Alberta): environnement minimum pour
l’interfaçage avec le hardware (gants,
trackers), la description de
comportements simples et le partage
d’EV distribués.
MRT est aussi indépendant de la plate-forme.
107
Slide 108
Organisation de la structure(16)
Quelques outils logiciels d’organisation de
structure pour la RV:
Librairie CAVE (U. Illinois):
Librairie pour faciliter l’interfaçage de hardware de VR:
Gants, props, wands, trackers,
Synchronisation des projecteurs sur des dispositifs à
plusieurs murs
Laisse le choix de la librairie graphique au développeur
(OpenGL, WTK, Inventor, Performer, etc.)
108
Slide 109
Organisation de la structure(17)
Quelques outils logiciels d’organisation
de structure pour la RV:
Toute une panoplie d’outils open-source
sont également disponibles:
Ogre
Irrlicht
VR Juggler
FreeVR
Diverse
109
Slide 110
Quelques mots sur le hardware
de rendu
Il y a trop de produits hardware de
rendu graphique sur le marché pour
les traiter dans le cadre de ce cours
Il est cependant important d’aborder
le concept de latence de rendu
commun à tous ces produits
110
Slide 111
Quelques mots sur le hardware
de rendu (2)
La latence porte sur deux points:
Retard entre ce qui est affiché et perçu
par l’utilisateur et ce qui est réel
Retard entre ce qui est affiché et les
actions de l’utilisateur
Un moyen de réduire la latence est
d’utiliser plusieurs canaux de rendu
(« pipelines »)
111
Slide 112
Quelques mots sur le hardware
de rendu (3)
Latence de perception
1 pipeline
1
Durée
de rendu
Durée
de rendu
1
1
3 pipelines
2
3
Durée
d’affichage
Durée
de rendu
Durée
d’affichage
Durée
d’aff.
Durée
de rendu
Durée
d’aff.
Durée
de rendu
Durée
d’aff.
112
Slide 113
Quelques mots sur le hardware
de rendu (4)
Cas à une pipeline:
Temps de rendu: 48 ms
Latence « onset »: 48 ms
Latence « offset »: 96 ms
Display rate: 20.8 fps
Cas à 3 pipelines:
Temps de rendu: 48 ms
Latence onset: 16 ms
Latence offset: 64 ms
Display rate: 62.5 fps
113
Slide 114
Quelques mots sur le hardware
de rendu (5)
Latence de réaction
A
B
1 pipeline
3 pipelines
114
Slide 115
Notions sur les pipelines de rendu
Sans aller dans les détails il est pertinent de
présenter quelques notions de base des
étapes de traitement implantées dans les
pipelines de rendu graphique
Nous commençons d’abord par un bref
historique des cartes graphiques suivi par la
présentation des étapes de traitement du
pipeline graphique
115
Slide 116
Notions sur les pipelines de rendu (3)
Génération de cartes graphiques
Commentaires
Époque antérieure aux GPU (Graphics Processing Unit)
SGI a été la première à offrir des produits avec rendu graphique
de haute qualité, mais à des coûts très élevés
Première génération de GPU
(1990-1998)
7M transistors, 6M polygones/s
NVIDIA, ATI, VooDoo3. Fonctionnalités: fragmentation de
triangles en pixels et application d’une ou deux textures
Deuxième génération de GPU
(1999-2000)
25M transistors, 25 M polygones/s. NVIDIA GeForce, ATI Radeon,
S3. Fonctionnalités: transformation des sommets et éclairage.
Introduction du pipeline graphique tel que nous le connaissons
aujourd’hui.
Troisième génération de GPU
(2001-2002)
63M transistors, 60 M polygones/s. NVIDIA GeForce3/4, ATI
Radeon 8500, XBox. Fonctionnalités: apparition de fonctions de
programmation au niveau du sommet.
Quatrième génération de GPU
(2002-maintenant)
125M transistors, 200 M polygones/s Cartes NVIDIA, ATI.
Fonctionnalités actuelles. Fonctionnalités: apparition de langages
de haut niveau (Cg, GLSL (gl), HLSL (Direct3D).
116
Slide 117
Notions sur les pipelines de rendu (4)
Vertices
Pipeline de
rendu classique
Transformation per vertex
Texturing
Lighting
Color Sum
Texture coordinates
generation
Fog
Per fragment
operations:
Primitive Assembly
Clipping,
Rasterization
Pixel ownership,
scissor test, alpha
test, stencil test,
blending,
framebuffer writes
Affichage
117
Slide 118
Notions sur les pipelines de rendu (5)
Vertices
Pipeline de
rendu moderne
avec programmation
du GPU
Transformation per vertex
Texturing
Lighting
Color Sum
Texture coordinates
generation
Fog
Programmable
Programmable
Per fragment
operations:
Primitive Assembly
Clipping,
Rasterization
Pixel ownership,
scissor test, alpha
test, stencil test,
blending,
framebuffer writes
Affichage
118
Slide 119
Sorties
Affichages auditifs
(Aural Displays)
119
Slide 120
Principes généraux
Malgré des différences fondamentales, les
affichages auditifs partagent des points
communs avec les affichages visuels
1.
On compte deux types principaux d’affichages
1.
2.
2.
Les écouteurs qui, comme les HMD masquent
l’environnement à l’utilisateur
Les caisses de son qui, comme les écrans de
projection, permettent à l’utilisateur de percevoir les
sons de son environnement en plus de ceux qui lui
sont véhiculés par l’EV
Le tracking de l’utilisateur est aussi très
important pour lui fournir un environnement
sonore réaliste
120
Slide 121
Indices de localisation auditive
La localisation est le principe par
lequel un auditeur peut estimer la
provenance d’un signal sonore dans
son environnement
Le terme spatialisation décrit la
façon de créer l’illusion chez l’auditeur
qu’un son provient d’une direction
donnée
121
Slide 122
Fonction de transfert de la tête
(Head-Related Transfer Function (HRTF))
Source sonore
• la HRTF permet de mesurer
comment le son est filtré
par la tête d’un sujet
• en utilisant cette information
il est par la suite possible de
recréer l’environnement
sonore de cet utilisateur
• le Convolvotron utilise cette
approche
Microphones
122
Slide 123
Effet du ventriloque
L’effet du ventriloque exploite le
phénomène psycho-acoustique selon
lequel un auditeur perçoit le son de la
direction d’où il devrait venir
Par conséquent, si l’auditeur voit un
avatar qui semble parler, il est porté à
croire que le son provient de ce dernier
123
Slide 124
Sorties
Affichages auditifs
Propriétés importantes
124
Slide 125
Propriétés importantes (1)
Nombre de canaux d’affichage
Il faut de préférence utiliser deux canaux
stéréophoniques avec tracking de la tête
(surtout avec des écouteurs)
Source sonore (sound stage)
C’est l’endroit d’où le son semble provenir
La référence de cette provenance peut être
centrée sur le monde (hauts-parleurs) ou
centrée sur l’utilisateur (écouteurs)
125
Slide 126
Propriétés importantes (2)
Localisation
Plus facile à implanter avec des écouteurs
qu’avec des hauts-parleurs
Les écouteurs permettent aussi de créer
des effets sonores impossibles à rencontrer
dans le monde réel (comme par exemple
donner l’illusion que les sons proviennent
de l’intérieur de la tête de l’auditeur)
126
Slide 127
Propriétés importantes (3)
Masquage
Les hauts-parleurs ne masquent pas les sons
provenant d’autres sources que l’EV. Cela permet
notamment à plusieurs utilisateurs de se parler en
cours d’expérience virtuelle
Les écouteurs (fermés) masquent totalement les
sons extérieurs
L’utilisation d’amplificateurs peut s’avérer
importante dans certaines applications
127
Slide 128
Propriétés importantes (4)
Niveau sonore:
Il faut tenir compte de la pollution sonore
dans les EV et éviter d’agresser les
utilisateurs
Mobilité de l’utilisateur:
Il est souhaitable d’utiliser des écouteurs
sans fil pour ne pas restreindre les
mouvements de l’utilisateur
128
Slide 129
Propriétés importantes (5)
Interfacage avec les systèmes de tracking
Les hauts-parleurs et les écouteurs utilisent
souvent des aimants qui peuvent être
incompatibles avec les systèmes de tracking
électromagnétiques
Perturbations provenant de l’environnement
Les échos créés dans les CAVEs peuvent nuire à la
qualité de l’immersion
129
Slide 130
Propriétés importantes (6)
Portabilité et throughput
Les écouteurs sont plus faciles à
transporter que les hauts-parleurs
Il faut cependant une paire d’écouteurs par
utilisateur…
Encombrement
Les écouteurs peuvent devenir fatiguants à
porter sur de longues périodes
130
Slide 131
Propriétés importantes (7)
Sécurité
L’utilisateur ne doit pas être soumis à des
niveaux sonores dangereux pour son ouïe
Coût
Les écouteurs de bonne qualité sont
généralement moins chers que les hautsparleurs…sauf s’il faut utiliser un grand
nombre d’écouteurs
131
Slide 132
Sorties
Affichages haptiques
Concepts principaux
132
Slide 133
Concepts importants (1)
En RV, le sens du toucher est celui qui
permet à l’utilisateur d’avoir l’impression
que l’EV est « réel »
Haptique signifie « toucher » ou «
contact »
133
Slide 134
Concepts importants (2)
La perception haptique se compose de deux
éléments principaux:
1.
2.
La proprioception: capacité (interne) qu’ont
les êtres humains de percevoir la position
qu’occupe leur corps dans l’espace, même en
l’absence de force externe
La taction: sens du toucher provenant des
récepteurs nerveux situés à la surface de la
peau
134
Slide 135
Concepts importants (3)
Les affichages haptiques en RV sont
généralement plus difficiles à implanter que
les affichages visuels et auditifs parce qu’ils
sont bidirectionnels: ils permettent de
percevoir le monde, mais peuvent
également d’affecter celui-ci.
Les affichages haptiques exigent finalement
un contact entre l’utilisateur et l’EV,
contrairement à l’image et au son
135
Slide 136
Concepts importants (4)
Les affichages haptiques implantent
rarement à la fois proprioception et
taction dans un même dispositif
La plupart des affichages haptiques en
RV sont conçus pour la main
136
Slide 137
Concepts importants (5)
Les affichages haptiques sont généralement
subdivisés en 4 catégories principales:
1.
2.
3.
4.
Dispositifs tactiles: toucher, saisie, texture de
surface, température
Dispositifs effecteurs: permettent la saisie et la
manipulation grâce à la résistance et à la
pression
Dispositifs robotiques d’affichage de forme:
présentent de vrais objets à l’utilisateur grâce à
un manipulateur robotique
Copie 3D (3D hardcopy): modèles réels
d’objets conçus par des outils de CAO
137
Slide 138
Sorties
Affichages haptiques
Propriétés importantes
138
Slide 139
Propriétés importantes (1)
Indices de proprioception: il y a 75
articulations dans le corps humain (dont 44
dans la main seulement). Une interface
haptique doit en stimuler un maximum, ce
qui est très difficile
Indices tactiles: trois types de stimulation
des récepteurs de la peau sont possibles:
1.
2.
3.
Thermique
Mécanique
Électrique
139
Slide 140
Propriétés importantes (2)
Ancrage (grounding):
Self-grounded: le dispositif haptique
s’applique par rapport au corps de
l’utilisateur
World-grounded: le dispositif haptique
s’applique par rapport à l’environnement
dans lequel se trouve l’utilisateur
140
Slide 141
Propriétés importantes (3)
Nombre de canaux d’affichage:
nombre de canaux de feedback
fournis à l’utilisateur. Par exemple à
une seule main (haptique) ou un seul
doigt (tactile)
141
Slide 142
Propriétés importantes (4)
Nombre de degrés de liberté
Dans le monde réel, 6 ddl sont requis
Parfois 3 sont suffisants (identique à
l’exploration du monde avec la pointe d’un
crayon
Forme: forme du dispositif avec lequel
l’utilisateur interagit
Prop de forme usuelle: balle, poignée, etc.
Prop ayant la forme d’un objet réel comme une
arme, un outil chirurgical
142
Slide 143
Propriétés importantes (5)
Fidélité: qualité avec laquelle les
forces sont rendues par le dispositif.
Parfois, la fidélité doit être sacrifiée à
la sécurité (dans le cas de dispositifs
rendant des forces très grandes)
143
Slide 144
Propriétés importantes (6)
Résolution spatiale: capacité d’un
système d’atteindre des performances
qui sont perceptibles par l’humain
(just noticeable difference). Cette
performance change avec la partie du
corps (doigt, avant-bras, main)
144
Slide 145
Propriétés importantes (7)
Résolution temporelle: capacité d’un
système de rafraîchir le retour de force (par
exemple) ou la sensation tactile avec un
taux suffisamment élevé pour que
l’utilisateur ne sente pas de saccades ou de
discontinuité ou d’instabilité dans l’affichage
1000Hz est un ordre de grandeur de refresh
rate souhaitable en haptique (à comparer
avec le refresh rate de 30 Hz pour la vue)
145
Slide 146
Propriétés importantes (8)
Latence: retard entre une action de
l’utilisateur et une réponse du système
haptique
La réponse doit aussi tenir compte de la
participation des autres sens (vue, ouïe) à
l’expérience virtuelle
Taille du dispositif: il faut prendre en
compte que les dispositifs haptiques doivent
être contenus dans des espaces restreints
(comme un CAVE par exemple)
146
Slide 147
Sorties
Affichages haptiques
Quelques exemples
147
Slide 148
Quelques exemples (1)
Aladin (Interval Research Corp):
-retour d’effort sur la rotation
-feedback thermique
Feelex (University of Tsukuba):
-feedback tactile fourni par
des actionneurs appliqués sur
une surface de faible aire)
148
Slide 149
Quelques exemples (2)
DELTA (Force Dimensions):
-interface haptique à 3 ou 6 ddl
CyberTouch-CyberGrasp-CyberForce
(Immersion)
149
Slide 150
Quelques exemples (3)
Phantom (Sensable Tech):
-interface haptique à 3 ou 6 ddl
CyberGlove (Immersion):
-18 ou 24 capteurs
150
Composantes
matérielles/logicielles
en RV
Branzan-Albu et D. Laurendeau
Dép. de génie électrique
et de génie informatique
Université Laval
1
Slide 2
Plan
Introduction
Architecture d’un système de VR
Systèmes d’interaction avec le monde
de réalité virtuelle/augmentée
Entrées
Sorties
2
Slide 3
Plan (suite)
1
Entrées
Interaction avec l’utilisateur
Tracking de la position
Critères de choix d’un système de tracking
Types de systèmes de tracking
Tracking du corps
Commandes physiques
Interaction avec le monde
Capteurs
3
Slide 4
Plan (suite)
2
Sorties
Affichages visuels
Indices visuels d’information 3D
Propriétés des types d’affichage
Types
Stationnaires
Mobiles (« head-mounted »)
Transportables (« hand-based »)
Affichages auditifs
Indices auditifs de positionnement spatial
Propriétés des types d’affichage auditif
4
Slide 5
Plan (suite)
3
Sorties (suite)
Affichages haptiques
Propriétés
Types
Tactiles
End-effectors
Robotiques
3D
Autres affichages
5
Slide 6
Schéma d’un système de RV/A
Monde réel
Auditive
Auditif
Haptique
Autres
Haptique
Autres
Visuel
Affichage
Visuel
Rendu
Visuelle
Auditif
Haptique
Autres
Tracking du corps
Représentation
Monde virtuel
6
Slide 7
Remarques préliminaires
L’immersion et l’interaction sont deux
des éléments les plus importants en RV
L’immersion dépend des informations
sensorielles expérimentées par
l’utilisateur dans l’environnement
7
Slide 8
Remarques préliminaires (2)
L’environnement doit également
connaître les actions de l’utilisateur
afin de moduler les informations qui
lui sont transmises pour maximiser la
sensation d’immersion
Pour atteindre cet objectif, il faut
1.
2.
Détecter les actions de l’utilisateur
Détecter les actions du monde virtuel
8
Slide 9
Remarques préliminaires (3)
La détection des actions de l’utilisateur
s’obtient par:
La détection de la position de l’utilisateur
dans l’EV
La détection et l’interprétation des actions
de l’utilisateur dans l’EV
Ces deux activités sont par
conséquent reliées aux entrées
fournies à l’EV
9
Slide 10
Entrées-sorties dans les EV
ENTREES
Détection des actions de
l’utilisateur (user monitoring)
10
Slide 11
Détection des actions de l’utilisateur
Il existe trois moyens principaux de
détection des actions de l’utilisateur
dans l’EV:
Tracking de sa position
Tête
Corps
Actions sur des dispositifs physiques
(physical controls)
11
Slide 12
Détection des actions de l’utilisateur (2)
Tracking de la position:
Cette activité consiste à utiliser un capteur qui
retourne à l’EV la position et/ou l’orientation de
l’utilisateur dans l’espace
Le capteur de position/orientation est le
dispositif le PLUS IMPORTANT dans un système
de RV car c’est celui qui affecte le plus la qualité
de l’immersion
Le tracking de la tête est spécialement important
12
Slide 13
Détection des actions de l’utilisateur (2)
Tracking de la position – critères à
considérer lors du choix d’une
technologie:
1.
2.
3.
Exactitude, précision et rapidité
Encombrement (câbles, etc.)
Interférences entre le capteur et
l’environnement physique (matériaux de
construction, etc.)
13
Slide 14
Détection des actions de l’utilisateur (3)
Tracking de la position – technologies
disponibles:
1.
2.
3.
4.
5.
6.
7.
Électromagnétique
Mécanique
Ultrasonique
Optique
Vidéométrique
Inertiel
Neuronique
14
Slide 15
Détection des actions de l’utilisateur (4)
Tracking de la position – capteurs
électromagnétiques
Combinaison émetteur –
récepteur
Avantages:
Simples et faciles à interfacer
Peuvent êtres utilisés à la fois
pour la tête et les mains
Relativement peu coûteux
Désavantages:
Interférences
électromagnétiques
Faible distance de travail
Encombrement causé par les
câbles (bien que des solutions
wireless existent)
15
Slide 16
Détection des actions de l’utilisateur (5)
Tracking de la position – capteurs
mécaniques
Calcul de cinématique de
l’organe terminal d’un bras
robotisé
Avantages:
Option « mains libres »!
Compense la gravité
Désavantages:
Limite l’enveloppe d’autonomie
de l’utilisateur
L’inertie du système n’est pas si
facile à compenser
Ne peuvent être utilisés
simultanément pour la tête et les
mains à cause des interférences
mécaniques
16
Slide 17
Détection des actions de l’utilisateur (6)
Tracking de la position – capteurs
ultrasoniques
Principe de triangulation par
temps de vol
3 émetteurs et trois détecteurs
sont suffisants pour estimer 6
degrés de liberté (position et
orientation)
Avantages:
Peu coûteux pour la RV desktop
Désavantages:
Émetteur
Tprop1
Tprop2
Détecteur
Détecteur
Sensibles au bruit et aux
occlusions
Peuvent être encombrants (car
une certaine distance entre les
émetteurs doit exister pour
garantir un niveau de précision
acceptable dans l’estimation de la
position)
17
Slide 18
Détection des actions de l’utilisateur (7)
Tracking de la position – capteurs optiques
Principe exploitant la vision artificielle
(caméras-marqueurs) et la triangulation pour
estimer la position et l’orientation (au moins
deux caméra sont nécessaires pour obtenir de
l’information en 3D)
Avantages:
Permettent de suivre plusieurs utilisateurs
simultanément (à condition de pouvoir les
identifier sans erreur à chaque instant)
Plus précis que les capteurs ultrasoniques
Désavantages:
Peuvent être coûteux (pour systèmes
temps réel)
Sensibles aux occlusions des marqueurs
Nécessitent que les marqueurs demeurent
continuellement dans le champ de vision
des caméras
18
Slide 19
Détection des actions de l’utilisateur (8)
Tracking de la position – capteurs
Marqueurs dont la position est connue par rapport à un référentiel de
coordonnées
vidéométriques
Principe exploitant la vision artificielle
(caméras-marqueurs) et la triangulation pour
estimer la position et l’orientation. La caméra
est posée sur l’utilisateur…
Avantages:
Permettent de suivre plusieurs utilisateurs
simultanément (à condition de pouvoir les
identifier sans erreur à chaque instant)
Plus précis que les capteurs ultrasoniques
Désavantages:
Peuvent être coûteux (pour systèmes
temps réel)
Sensibles aux occlusions des marqueurs
Nécessitent que les marqueurs demeurent
continuellement dans le champ de vision
des caméras
Caméra
19
Slide 20
Détection des actions de l’utilisateur (9)
Tracking de la position – inertiels
Inclinomètres, accéléromètres, gyroscopes
Avantages:
Désavantages:
En principe, on peut obtenir l’information sur les 6 ddl (du
moins avec les gyros et les accéléromètres)
Auto-suffisants (ne requièrent aucune autre composante)
Offrent une grande rapidité de mesure (et donc peu de «
lag » avec le display)
Prix peu élevés
Comme ces dispositifs enregistrent la position et
l’orientation de manière relative, les erreurs s’accumulent
en cours d’expérience
En général, on ne se sert donc de ceux-ci que pour des
mesures d’orientation seulement
20
Slide 21
Détection des actions de l’utilisateur (10)
Tracking de la position – neuroniques
Servent à mesurer la position de certaines parties du
corps par rapport à d’autres
Par exemple, avec des senseurs sur les muscles du
bras de l’utilisateur, il est possible d’estimer la
position des doigts (par des modèles calibrés ou avec
des réseaux de neurones)
Ces technologies sont encores peu répandues
et ne sont pas fréquemment utilisées dans les
systèmes courants
21
Slide 22
Détection des actions de l’utilisateur (11)
Tracking du corps:
Tête
Tracking effectué dans presque tous les systèmes
Mains et doigts
Notamment pour les systèmes d’affichage dits « head-based »
Le tracking s’effectue grâce à un gant (sur lequel est monté l’un
des dispositifs de tracking vus précédemment) et permet
d’interagir (potentiellement via la reconnaissance des gestes) avec
l’EV et parfois de naviguer dans celui-ci.
Limitations: il y a généralement un petit nombre de gants dans un
EV…et les gants de qualité sont généralement coûteux
Yeux
Peu répandu
Systèmes généralement basés sur la détection de radiation IR
22
Slide 23
Détection des actions de l’utilisateur (12)
Tracking du corps:
Torse
Pour le guidage d’avatars dans les EV.
Intéressant pour les EV immersifs d’entraînement
pour les sportifs
Pieds
Utile pour estimer la vitesse de marche d’un
utilisateur se déplacant dans un EV
Nécessite d’inclure une interface de locomotion dans
l’EV:
Tapis roulant, ou autre (vélo stationnaire, etc.)
23
Slide 24
Détection des actions de l’utilisateur (13)
Tracking – approches pour améliorer la performance des
dispositifs
Chaque méthode de tracking a ses avantages et ses
inconvénients
Certains de ces inconvénients peuvent être réduits et même
éliminés grâce à plusieurs techniques:
1.
2.
3.
Analyse prédictive: l’ordinateur utilise les valeurs passées
fournies par le dispositif de tracking pour prédire les prochaines
valeurs entre deux lectures.
Calibrage: on peut par exemple construire des tables de look-up
pour corriger les lectures de systèmes électromagnétiques dont les
lectures sont affectées par les structures avoisinantes
Fusion multicapteurs: combiner les lectures de position et
d’orientation fournies par plusieurs capteurs différents
24
Slide 25
Détection des actions de l’utilisateur (14)
Actions sur des dispositifs
physiques
25
Slide 26
Détection des actions de l’utilisateur (15)
On compte divers types de dispositifs
permettant à l’utilisateur d’interagir
avec l’EV:
Contrôles physiques:
Boîtiers de commande (« props »):
Boutons, interrupteurs, ascenseurs
Souris (2D et 3D), télécommandes
Plates-formes
« Affichage audio »
26
Slide 27
Détection des actions de l’utilisateur (16)
Contrôles physiques:
Boutons, interrupteurs, ascenseurs
Ce sont des éléments simples servant pour la
plupart à choisir entre deux options ( dispositifs
binaires tels les boutons et les interrupteurs),
ou à faire défiler un ensmble de choix
(ascenseurs)
27
Slide 28
Détection des actions de l’utilisateur (17)
Boîtiers de commande (props):
Ce sont des objets qui manipulés par l’utilisateur,
ils permettent de transmettre des informations à
l’environnement (par exemple, une télécommande
de télé, une souris 3D)
Ces objets peuvent être représentés par des
composantes de commande dans l’EV lui-même
Ils peuvent être dotés de contrôles physiques (par
exemples, des boutons et des interrupteurs)
Ils permettent une interaction plus riche avec l’EV
que les contrôles physiques
28
Slide 29
Détection des actions de l’utilisateur (18)
Plates-formes:
Ces dispositifs permettent de recréer (du
moins partiellement) l’environnement
physique dans lequel l’expérience virtuelle
se déroule:
Anneaux
Véhicule (voiture, tank, tracteur, chaiseroulante, etc.)
Cockpit d’avion dans les simulateurs de vol
29
Slide 30
Détection des actions de l’utilisateur (19)
Affichage audio:
Système de reconnaissance de la parole
Ils permettent de transmettre des commandes
à l’EV sans l’utilisation des mains
Avantages:
Libère les mains pour utiliser des boîtiers de
commande et ainsi contrôler plusieurs éléments
de l’EV
Favorise une interaction “naturelle” entre
l’utilisateur et l’EV
30
Slide 31
Détection des actions de l’utilisateur (20)
Affichage audio:
Dévantages:
Demande un traitement important de l’information si le
système doit accepter des commandes de n’importe quel
utilisateur (i.e. sans entraînement)
Si l’EV est muni d’un système de son (soit avec écouteurs
ou hauts-parleurs), ou que plusieurs utilisateurs
partagent le même EV, le système doit être en mesure
de décider s’il reçoit une commande ou si le son est
simplement une sortie ou un échange entre les
utilisateurs
31
Slide 32
Détection des actions de l’utilisateur (21)
Affichage audio:
Façons de contourner ces dévantages:
Dispositifs “Push to Talk”: le système n’accepte
une commande que lorsque l’utilisateur appuie
sur un bouton
Dispositifs “Name to Talk”: le système
n’accepte une commande que lorsque
l’utilisateur prononce un mot précis (ex. Stop,
Go, etc.)
32
Slide 33
Entrées-sorties dans les EV
Sorties
Visuelles, audio, haptiques, autres
33
Slide 34
Sorties – Introduction (1)
Un élément clé en RV est la qualité de
l’expérience à laquelle l’utilisateur est
soumis
La qualité de cette expérience dépend
grandement de la perception qu’a
l’utilisateur de l’EV
Le niveau de qualité de l’expérience est
d’autant plus élevé que les divers sens de
l’utilisateur sont stimulés par les composantes
de l’EV
34
Slide 35
Sorties – Introduction (2)
L’EV doit donc offrir le spectre le plus
large possible d’affichages (displays):
Visuel
Auditif
Haptique (mécanique et tactile)
Autre (vestibulaire, etc.)
35
Slide 36
Sorties – Introduction (3)
Dans ce qui suit, nous allons aborder
les principaux types d’affichages de
même que les principes de base
pertinents à chacun:
1.
2.
3.
4.
Affichages visuels
Affichages auditifs
Affichages haptiques
Autres
36
Slide 37
Sorties
Affichages visuels
(Visual Displays)
37
Slide 38
Affichages visuels (1)
L’affichage visuel est très important
pour la qualité de l’immersion de
l’utilisateur dans l’EV
La qualité de cette immersion est
grandement accrue si l’affichage des
composantes de l’EV est effectué en
trois dimensions
38
Slide 39
Affichages visuels (2)
On retrouve trois principales
approches d’affichage visuel 3D en
RV:
1.
Les affichages stationnaires:
1.
2.
2.
3.
Aquariums (fishtank VR)
Par projection
Les casques (Head-Based Displays
(HBD))
Les dispositifs tenus en main (Palm VR)
39
Slide 40
Affichages visuels (3)
Pour transmettre à l’utilisateur qu’il
perçoit son environnement en 3D,
plusieurs principes sont utilisés par les
approches d’affichage:
Principes
Principes
Principes
Principes
monoculaires
stéréoscopiques
basés sur le mouvement
physiologiques
40
Slide 41
Affichages visuels (4)
Principes monoculaires:
Occlusion: un objet en masquant
partiellement (ou complètement) un autre
est forcément plus près de l’observateur
Ombrage: les ombres projetées sur le sol
par les objets peuvent fournir un indice sur
la localisation d’un objet dans l’espace
(notamment par rapport à l’éclairage)
41
Slide 42
Affichages visuels (5)
Principes monoculaires (2):
Perspective: dans un système monoculaire, des droites
parallèles dans l’espace 3D se croisent au point de fuite
dans une image de celles-ci
42
Slide 43
Affichages visuels (6)
Principes monoculaires (3):
Perspective: dans un système
monoculaire, des droites parallèles dans
l’espace 3D se croisent au point de fuite
dans une image de celles-ci
Texture: l’apparence de la texture d’une
surface peut donner l’illusion de la
profondeur (ex. mur de briques)
43
Slide 44
Affichages visuels (7)
Principes monoculaires (4):
Effets atmosphériques: la présence de
brouillard peut fournir une information sur la
distance des objets (les objets lointains étant
plus masqués par le brouillard que ceux qui sont
plus rapprochés de l’observateur
Illuminance des objets: les objets plus clairs
donnent l’impression d’être plus rapprochés que
les objets lointains
44
Slide 45
Affichages visuels (8)
Principe
stéréoscopique (1):
La différence de position entre
les images du même objet
observé de deux points de vue
différents fournit la plus forte
information visuelle de distance
Sténopé
non-inverseur
Image gauche
Image droite
Plan image
Baseline
Oeil gauche
Oeil droit
45
Slide 46
Affichages visuels (9)
Principes basés sur le mouvement (1)
Les objets situés plus près de l’observateur
ont l’air de se déplacer plus vite que les
objets éloignés fournissant ainsi une
information très riche sur la distance des
objets
Le mouvement apporte presque autant
d’information sur le caractère 3D d’une scène
que la stéréoscopie
46
Slide 47
Affichages visuels (10)
Principes physiologiques:
Ils fournissent des informations 3D, mais à un degré
moindre que les principes précédents
On en compte deux principaux:
Accommodation: information de profondeur fournie par
les muscles oculaires lors de la mise au foyer de l’image de
chaque œil
Convergence: information fournie par les muscles
oculaires lors du déplacement des yeux pour l’observation
d’une scène
47
Slide 48
Sorties
Propriétés des affichages visuels
Pour la RV
48
Slide 49
Propiétés physiques des affichages visuels (1)
Plusieurs propriétés physiques doivent être
prises en compte pour décrire les affichages
visuels:
Couleur: deux approches principales
1.
2.
Trichromie: 3 faisceaux simultanés balaient la surface
d’affichage à la même cadence
Champs séquentiels (« field sequential »): 3
faisceaux sont surimposés successivement à chaque
point de la surface d’affichage. Cela exige donc une
cadence trois fois plus rapide que les systèmes
trichromiques, mais offre une meilleure résolution (i.e.
plus de pixels au mm carré)
49
Slide 50
Propiétés physiques des affichages visuels (2)
Illustration des deux principes
Observateur
Observateur
Surface d’affichage
Surface d’affichage
Pixel
Pixel
Trichromie
Champs séquentiels
50
Slide 51
Propiétés physiques des affichages visuels (3)
Résolution spatiale:
Exprimée par le nombre de pixels
affichés sur les lignes et les colonnes de
la surface d’affichage (dot per inch (DPI))
L’aire de la surface d’affichage influence
aussi la perception des scènes (et leur
netteté)
Le type d’affichage a finalement une
infuence: LCD, CRT, Plasma, DLP.
51
Slide 52
Propiétés physiques des affichages visuels (4)
Contraste:
Exprimée par la différence entre les
zones claires et les zones sombres d’une
scène (ou d’une image de celle-ci)
Les CRT offrent par exemple un meilleur
contraste, c’est-à-dire une coupure plus
abrupte entre les zones claires et les
zones sombres, que les LCD.
52
Slide 53
Propiétés physiques des affichages visuels (5)
Nombre de canaux d’affichage:
Pour la représentation en 3D des scènes,
deux canaux d’affichage sont requis (un
pour l’œil gauche et un pour l’œil droit)
53
Slide 54
Propiétés physiques des affichages visuels (6)
Nombre de canaux d’affichage:
Plusieurs approches sont proposées pour
générer ces deux canaux:
Multiplexage spatial: deux images décalées et affichées
simultanément sur la surface d’affichage. Cette
approche nécessite l’utilisation de lunettes spéciales
(shutter glasses)
Polarisation: deux images de polarisations différentes
sont affichées simultanément
Multiplexage spectral: deux images de couleurs
différentes sont affichées simultanément
54
Slide 55
Propiétés physiques des affichages visuels (7)
Nombre de canaux d’affichage:
Affichages autostéréoscopiques:
Deux images simultanées observées d’un
point de vue donné par l’observateur sans la
nécessité de porter des lunettes
Système autostéréoscopique de SeaReal
55
Slide 56
Propiétés physiques des affichages visuels (8)
Nombre de canaux d’affichage:
Affichages volumétriques:
Permettent de visualiser un VOLUME et non
pas seulement la surface englobant un
volume
Holovizio
par Holographika
Perspectra
par Actuality Systems
Holoscope
par Holodesk
56
Slide 57
Propiétés physiques des affichages visuels (9)
Longueur focale:
Définie par la distance apparente des
objets par rapport à l’observateur
Un mauvais choix de longueur focale peut
causer des problèmes de perception 3D
et provoquer le VR sickness
57
Slide 58
Propiétés physiques des affichages visuels (10)
Masquage:
L’affichage peut être masqué par les objets
réels ou non.
Cela est acceptable si l’objet masquant est
situé devant l’objet virtuel
Cela pose un problème si l’objet virtuel est
situé devant l’objet réel car il n’y a aucun
moyen d’accomplir cette occlusion
58
Slide 59
Propiétés physiques des affichages visuels (11)
Champ de vision (field-of-view):
C’est la portion de l’espace qui est visible en 3D
par l’observateur
59
Slide 60
Propiétés physiques des affichages visuels (12)
Champ d’observation (field of regard):
C’est la portion de l’espace occupée par le monde
virtuel
60
Slide 61
Propiétés physiques des affichages visuels (13)
Remarque:
Le FOR est indépendant du FOV: on peut par
exemple avoir un FOV restreint, mais un FOR de
360 degrés (pour les casques)
On peut aussi avoir un FOV large, mais un FOR
étroit (avec les écrans de projection)
61
Slide 62
Propiétés physiques des affichages visuels (14)
Information sur la position de la tête de
l’observateur
Voir les systèmes de tracking traités
précédemment
62
Slide 63
Propiétés physiques des affichages visuels (15)
Latence de l’affichage graphique
Cela s’exprime par le délai existant entre
un mouvement de l’observateur et la prise
en compte de ce changement par
l’affichage
Un délai trop long peut désorienter
l’observateur et nuire à la qualité de
l’immersion
Ce paramètre est particulièrement
important pour les casques
63
Slide 64
Propiétés physiques des affichages visuels (16)
Résolution temporelle (frame rate):
Elle s’exprime par le nombre de fois par
seconde que la scène est réaffichée à
l’observateur
Un taux de 24 images par seconde est suffisant
Un taux de 30 images par seconde est
satisfaisant
Un taux de 15 images par seconde est
insuffisant (ou marginalement acceptable) car
l’utilisateur perçoit la répétition de l’affichage et
non pas un affichage fluide.
64
Slide 65
Propiétés physiques des affichages visuels (17)
Autres paramètres de nature logistique
Mobilité de l’utilisateur
Interfacage entre l’affichage et le système de
tracking
Facteurs environnementaux (éclairage ambient,
bruit, température, etc.)
Compatibilité avec d’autres types d’affichage
comme les affichages sonores
Portabilité
Nombre de participants (throughput)
Encombrement
Sécurité
Coût
65
Slide 66
Sorties
Types d’affichages visuels
66
Slide 67
Types d’affichages visuels (1)
Nous considérerons 3 types d’affichages
visuels:
Fishtanks (écrans d’ordinateurs personnels)
Systèmes de projection
Casques occlusifs (Head-Based-Displays) et
Casques non-occlusifs
67
Slide 68
Types d’affichages visuels (2)
Fishtanks:
Utilise un moniteur d’ordinateur standard
Possiblement avec un système de tracking
de tête
Et des lunettes de visualisation stéréo
(shutter glasses, lunettes avec verres
polarisés, anaglyphes (lunettes de
couleur))
68
Slide 69
Types d’affichages visuels (3)
Caractéristiques des Fishtanks:
Le monde réel reste visible (problème d’occlusion
possible)
Le système d’affichage est stationnaire (i.e. fixe)
Les périphériques de l’ordinateur personnel sont
disponibles pour intéragir avec l’EV
Le FOR est limité, ce qui impose des contraintes
sur la qualité de la visualisation stéréo près des
bords de l’écran
Peu coûteux
Performances moyennes
69
Slide 70
Types d’affichages visuels (4)
Systèmes de projection (écrans):
Composés d’écrans généralement plus grands que ceux des
fishtanks et offrant un plus grand FOR
Nécessitent également un système de tracking de la tête de
l’utilisateur
La stéréo est généralement synthétisée grâce à des shutter
glasses ou des lunettes avec filtres polarisés
On peut retrouver des systèmes avec deux projecteurs (un
par canal vidéo) permettant une meilleure luminosité à coût
plus élevé
Dispositifs stationnaires
Peuvent être construits par des « murs » de CRT, mais aussi
d’écrans plus grands sans frontières artificielles grâce à la
projection-arrière
70
Slide 71
Types d’affichages visuels (5)
Systèmes de projection (écrans) –
quelques exemples
VideoWall
Ecrans (projection LCD ou DLP)
71
Slide 72
Types d’affichages visuels (6)
Systèmes de projection (écrans) –
quelques exemples
Immersadesk (de Fakespace)
CAVE (de Barco)
72
Slide 73
Types d’affichages visuels (7)
Systèmes de projection (écrans) –
quelques exemples
V-Dome (par Trimension)
VisionStation (par Elumen)
Panascope
73
Slide 74
Types d’affichages visuels (8)
Systèmes de projection (écrans) –
quelques exemples
Cybersphere
(par VR-Systems)
74
Slide 75
Types d’affichages visuels (9)
Casques:
Ils sont associés naturellement à la RV
Dispositifs mobiles nécessitant obligatoirement un
système de tracking
L’EV est entièrement affiché car les casques sont
obstrusifs (i.e. masquent le monde réel, ce qui peut être
un problème pour l’utilisation de « props »)
Ils sont souvent lourds et sont soumis aux problèmes de
latence
Ils ont un FOR de 360 degrés
Ils permettent à plusieurs utilisateurs de partager le
même EV sans problème
Ils sont généralement chers
75
Slide 76
Types d’affichages visuels (10)
Casques – Quelques exemples:
Bas de gamme (< 1K$)
Cy-Visor (par Daeyang)
FMD 250W (par Olympus)
76
Slide 77
Types d’affichages visuels (11)
Casques – Quelques exemples:
Professionnels (> 1 K$, < 10K$)
Cybermind Hi-Res
(par Daeyang) V-8 (Par Visual Research)
Micro-Vision
77
Slide 78
Types d’affichages visuels (12)
Casques – Quelques exemples:
Haut de gamme (> 10 K$, < 50K$)
ProView (par KEO)
Datavisor (par nVision)
78
Slide 79
Types d’affichages visuels (13)
Casques – Quelques exemples:
Haute performance (> 50 K$)
Sim Eye
(par KEO)
Gemin-Eye
(par CAE)
79
Slide 80
Sorties
Méthodes de rendu graphique
Aspects relatifs à la représentation
80
Slide 81
Approches de rendu graphique (1)
Les approches de rendu génèrent les
signaux qui sont fournis aux dispositifs
hardware décrits précédemment
Ces approches sont très liées au
graphique par ordinateur (très
utilisé dans les jeux)
81
Slide 82
Approches de rendu graphique (2)
Le système logiciel de rendu consiste en un
ensemble de fonctions et de formats sur
lesquels l’EV repose du point de vue
graphique
Le système logiciel de rendu est capable de
parcourir une représentation graphique
de l’EV et une description des instructions
requises pour générer les formes
représentant les composantes de l’EV
82
Slide 83
Approches de rendu graphique (3)
Il y a plusieurs approches pour
décrire un environnement pour
ensuite le transformer en code
permettant de l’afficher:
1.
2.
Approches géométriques
Approches non-géométriques
83
Slide 84
Approches de rendu graphique (4)
Approche géométriques:
Polygonale: utilisation de polygones
(triangles principalement) pour
représenter la surface des objets dans
l’EV. Plusieurs outils de rendu reposent
sur les polygones.
NURBS (Non-Uniform-Rational-BSplines): courbes paramétriques
permettant de représenter une scène
84
Slide 85
Approches de rendu graphique (5)
Approche géométriques:
CSG (Constructive-Solid-Geometry):
représentation des surfaces par algèbre
géométrique
85
Slide 86
Approches de rendu graphique (6)
-
Polygones
NURBS
=
CSG
86
Slide 87
Approches de rendu graphique (7)
Approche non-géométriques:
Ray-tracing / ray-casting (volume
rendering): pour représenter les
volumes (objets avec transparence, très
fréquent en médecine)
Particle rendering: pour représenter
des scènes avec dynamisme et
déformations non-rigides (fumée,
liquides, etc)
87
Slide 88
Approches de rendu graphique (8)
Video Particle Systems
par Karl Sims
Ray tracing
88
Slide 89
Approches de rendu graphique (9)
Rendu de scènes complexes:
Shading (ombrage): les cartes
graphiques peuvent prendre en charge
les dégradés de couleurs causés par les
changements d’éclairage dans
l’environnement. Par contre, la prise en
compte des ombres projetées doit être
encore implantée en software
89
Slide 90
Approches de rendu graphique (10)
Rendu de scènes complexes:
Texture mapping: des propriétés de surface
(couleur, transparence, réflectivité) peuvent être
surimposées sur les polygones décrivant la
géométrie de surface des objets
Le texture mapping permet d’utiliser une
description géométrique grossière (i.e. avec
peu de polygones) sans affecter l’apparence
visuelle des objets (il en va évidemment
autrement de leur apparence « haptique »
comme nous le verrons plus loin)
90
Slide 91
Approches de rendu graphique (11)
Rendu de scènes complexes:
Culling: pour accélérer le refresh rate du
rendu graphique, seuls les polygones
visibles du point de vue de l’observateur
sont rendus sur l’écran. Cette méthode
de rendu s’appelle le « culling »
91
Slide 92
Sorties
Méthodes de rendu graphique
Organisation de la structure d’un
EV
92
Slide 93
Organisation de la structure(1)
Quelque soit la méthode adoptée pour la
représentation des composantes d’un EV
(polygones, NURBS, etc.), il est nécessaire
d’organiser celle-ci à un niveau
d’abstraction plus élevé permettant de
représenter les relations géométriques dans
la scène
Un outil est alors requis pour accomplir cette
tâche de modélisation
93
Slide 94
Organisation de la structure(2)
On rencontre deux types d’outils de
modélisation:
1.
Les outils de création de formes
(polygonales ou autres):
Alias-Wavefront
Softimage
3D Studio Max
Maya
AutoCAD
94
Slide 95
Organisation de la structure(3)
2.
Les outils d’organisation de formes
(polygonales ou autres):
La plupart de ces outils permettent
d’importer les descriptions générées par
les outils de création
95
Slide 96
Organisation de la structure(4)
OpenGL (par SGI) est
une librairie
graphique (multi
plates-formes) de bas
niveau qui offre une
API entre l’application
et le hardware de
rendu pour
« dessiner » des
primitives graphiques
simples telles les:
Points
Lignes
Polygones
Images
bitmaps
États:
Couleur
Texture
Opérations
matricielles
Direct3D est un outil de
Microsoft qui implante des
fonctionalités similaires
à OpenGL
96
Slide 97
Organisation de la structure(5)
Cependant, les zones cachées de la
scène demandent un temps de calcul
considérable pour finir par ne pas être
dessinées à l’écran
OpenGL (ou Direct3D) ne permet pas:
D’optimiser le management de la
géométrie de la scène pour augmenter
les performances du rendu effectué par
les cartes graphiques
97
Slide 98
Organisation de la structure(6)
Or, les scènes graphiques sont
organisées de manière hiérarchique
(par exemple, les portes d’une voiture
sont solidaire de la carosserie)
Si la carosserie est invisible parce que
cachée, il ne sert à rien de calculer les
paramètres de rendu des portes…
98
Slide 99
Organisation de la structure(7)
Une structure en arbre permet d’organiser
les scènes de façon hiérarchique et permet
d’optimiser le processus de rendu par le
hardware
En RV, ces arbres sont appelés « scene
graphs »
On parle de graphe plutôt que d’arbre parce
que des liens cycliques peuvent être ajoutés
dans un arbre de rendu pour ajouter des
fonctionnalités (en simulation par exemple)
99
Slide 100
Organisation de la structure(8)
Il n’existe pas un seul type d’arbre de
rendu, chaque outil de gestion de scènes
graphiques adoptant sa propre structure.
Une chose est commune cependant: ces
outils de gestion des scènes reposent sur
une librairie de rendu comme OpenGl ou
Direct3D offrant une API pour exploiter le
hardware graphique
100
Slide 101
Organisation de la structure(9)
Quelques exemples d’outils de management de
scènes graphiques:
Performer
(http://www.sgi.com/products/software/performer/)
Inventor (http://oss.sgi.com/projects/inventor/)
Open SceneGraph (http://www.openscenegraph.org/)
OpenSG (http://www.opensg.org/)
X3D (http://www.thex3dxperience.com/)
Java3D (http://java.sun.com/products/java-media/3D/)
Renderware (http://www.csl.com/)
Etc…
101
Slide 102
Organisation de la structure(10)
Les graphes de rendu organisent les
descriptions en termes de
groupements de structures
polygonales et en termes des
transformations que celles-ci
subissent les-unes par rapport aux
autres dans la scène
102
Slide 103
Organisation de la structure(11)
Scene
Description
(3DS)
Comptoir
TC
Organisation
(Performer)
TC
Verre
Table
Rendu
(OpenGL)
TC
TC
TC
TC
Chaise
Chaise
Chaise
Chaise
103
Slide 104
Organisation de la structure(12)
Quelques outils logiciels d’organisation
de structure pour la RV:
OpenGL: ensemble d’algorithmes de
rendu graphique (polygones) multi
plates-formes. S’interface aisément avec
plusieurs engins de rendu graphique
hardware pour en faciliter l’utilisation
OpenGL est un outil de bas niveau
104
Slide 105
Organisation de la structure(13)
Quelques outils logiciels d’organisation
de structure pour la RV:
Performer: offre une interface de
programmation de haut niveau et des
fonctionnalités pour la manipulation des
arbres de rendu
Utilise OpenGL pour le rendu de bas niveau
105
Slide 106
Organisation de la structure(14)
Quelques outils logiciels d’organisation de
structure pour la RV:
WorldToolkit (WTK de Engineering Animation):
offre une interface pour l’utilisation de hardware
de VR (notamment des dispositifs de tracking,
gants, souris, dispositifs 6-ddl) et des
commandes d’organisation hiérarchique
polygonale.
Utilise OpenGL comme plate-forme de rendu de
bas niveau.
WTK est portable sur différentes plates-formes.
106
Slide 107
Organisation de la structure(15)
Quelques outils logiciels d’organisation
de structure pour la RV:
Minimal Reality Toolkit (MRT, Univ. Of
Alberta): environnement minimum pour
l’interfaçage avec le hardware (gants,
trackers), la description de
comportements simples et le partage
d’EV distribués.
MRT est aussi indépendant de la plate-forme.
107
Slide 108
Organisation de la structure(16)
Quelques outils logiciels d’organisation de
structure pour la RV:
Librairie CAVE (U. Illinois):
Librairie pour faciliter l’interfaçage de hardware de VR:
Gants, props, wands, trackers,
Synchronisation des projecteurs sur des dispositifs à
plusieurs murs
Laisse le choix de la librairie graphique au développeur
(OpenGL, WTK, Inventor, Performer, etc.)
108
Slide 109
Organisation de la structure(17)
Quelques outils logiciels d’organisation
de structure pour la RV:
Toute une panoplie d’outils open-source
sont également disponibles:
Ogre
Irrlicht
VR Juggler
FreeVR
Diverse
109
Slide 110
Quelques mots sur le hardware
de rendu
Il y a trop de produits hardware de
rendu graphique sur le marché pour
les traiter dans le cadre de ce cours
Il est cependant important d’aborder
le concept de latence de rendu
commun à tous ces produits
110
Slide 111
Quelques mots sur le hardware
de rendu (2)
La latence porte sur deux points:
Retard entre ce qui est affiché et perçu
par l’utilisateur et ce qui est réel
Retard entre ce qui est affiché et les
actions de l’utilisateur
Un moyen de réduire la latence est
d’utiliser plusieurs canaux de rendu
(« pipelines »)
111
Slide 112
Quelques mots sur le hardware
de rendu (3)
Latence de perception
1 pipeline
1
Durée
de rendu
Durée
de rendu
1
1
3 pipelines
2
3
Durée
d’affichage
Durée
de rendu
Durée
d’affichage
Durée
d’aff.
Durée
de rendu
Durée
d’aff.
Durée
de rendu
Durée
d’aff.
112
Slide 113
Quelques mots sur le hardware
de rendu (4)
Cas à une pipeline:
Temps de rendu: 48 ms
Latence « onset »: 48 ms
Latence « offset »: 96 ms
Display rate: 20.8 fps
Cas à 3 pipelines:
Temps de rendu: 48 ms
Latence onset: 16 ms
Latence offset: 64 ms
Display rate: 62.5 fps
113
Slide 114
Quelques mots sur le hardware
de rendu (5)
Latence de réaction
A
B
1 pipeline
3 pipelines
114
Slide 115
Notions sur les pipelines de rendu
Sans aller dans les détails il est pertinent de
présenter quelques notions de base des
étapes de traitement implantées dans les
pipelines de rendu graphique
Nous commençons d’abord par un bref
historique des cartes graphiques suivi par la
présentation des étapes de traitement du
pipeline graphique
115
Slide 116
Notions sur les pipelines de rendu (3)
Génération de cartes graphiques
Commentaires
Époque antérieure aux GPU (Graphics Processing Unit)
SGI a été la première à offrir des produits avec rendu graphique
de haute qualité, mais à des coûts très élevés
Première génération de GPU
(1990-1998)
7M transistors, 6M polygones/s
NVIDIA, ATI, VooDoo3. Fonctionnalités: fragmentation de
triangles en pixels et application d’une ou deux textures
Deuxième génération de GPU
(1999-2000)
25M transistors, 25 M polygones/s. NVIDIA GeForce, ATI Radeon,
S3. Fonctionnalités: transformation des sommets et éclairage.
Introduction du pipeline graphique tel que nous le connaissons
aujourd’hui.
Troisième génération de GPU
(2001-2002)
63M transistors, 60 M polygones/s. NVIDIA GeForce3/4, ATI
Radeon 8500, XBox. Fonctionnalités: apparition de fonctions de
programmation au niveau du sommet.
Quatrième génération de GPU
(2002-maintenant)
125M transistors, 200 M polygones/s Cartes NVIDIA, ATI.
Fonctionnalités actuelles. Fonctionnalités: apparition de langages
de haut niveau (Cg, GLSL (gl), HLSL (Direct3D).
116
Slide 117
Notions sur les pipelines de rendu (4)
Vertices
Pipeline de
rendu classique
Transformation per vertex
Texturing
Lighting
Color Sum
Texture coordinates
generation
Fog
Per fragment
operations:
Primitive Assembly
Clipping,
Rasterization
Pixel ownership,
scissor test, alpha
test, stencil test,
blending,
framebuffer writes
Affichage
117
Slide 118
Notions sur les pipelines de rendu (5)
Vertices
Pipeline de
rendu moderne
avec programmation
du GPU
Transformation per vertex
Texturing
Lighting
Color Sum
Texture coordinates
generation
Fog
Programmable
Programmable
Per fragment
operations:
Primitive Assembly
Clipping,
Rasterization
Pixel ownership,
scissor test, alpha
test, stencil test,
blending,
framebuffer writes
Affichage
118
Slide 119
Sorties
Affichages auditifs
(Aural Displays)
119
Slide 120
Principes généraux
Malgré des différences fondamentales, les
affichages auditifs partagent des points
communs avec les affichages visuels
1.
On compte deux types principaux d’affichages
1.
2.
2.
Les écouteurs qui, comme les HMD masquent
l’environnement à l’utilisateur
Les caisses de son qui, comme les écrans de
projection, permettent à l’utilisateur de percevoir les
sons de son environnement en plus de ceux qui lui
sont véhiculés par l’EV
Le tracking de l’utilisateur est aussi très
important pour lui fournir un environnement
sonore réaliste
120
Slide 121
Indices de localisation auditive
La localisation est le principe par
lequel un auditeur peut estimer la
provenance d’un signal sonore dans
son environnement
Le terme spatialisation décrit la
façon de créer l’illusion chez l’auditeur
qu’un son provient d’une direction
donnée
121
Slide 122
Fonction de transfert de la tête
(Head-Related Transfer Function (HRTF))
Source sonore
• la HRTF permet de mesurer
comment le son est filtré
par la tête d’un sujet
• en utilisant cette information
il est par la suite possible de
recréer l’environnement
sonore de cet utilisateur
• le Convolvotron utilise cette
approche
Microphones
122
Slide 123
Effet du ventriloque
L’effet du ventriloque exploite le
phénomène psycho-acoustique selon
lequel un auditeur perçoit le son de la
direction d’où il devrait venir
Par conséquent, si l’auditeur voit un
avatar qui semble parler, il est porté à
croire que le son provient de ce dernier
123
Slide 124
Sorties
Affichages auditifs
Propriétés importantes
124
Slide 125
Propriétés importantes (1)
Nombre de canaux d’affichage
Il faut de préférence utiliser deux canaux
stéréophoniques avec tracking de la tête
(surtout avec des écouteurs)
Source sonore (sound stage)
C’est l’endroit d’où le son semble provenir
La référence de cette provenance peut être
centrée sur le monde (hauts-parleurs) ou
centrée sur l’utilisateur (écouteurs)
125
Slide 126
Propriétés importantes (2)
Localisation
Plus facile à implanter avec des écouteurs
qu’avec des hauts-parleurs
Les écouteurs permettent aussi de créer
des effets sonores impossibles à rencontrer
dans le monde réel (comme par exemple
donner l’illusion que les sons proviennent
de l’intérieur de la tête de l’auditeur)
126
Slide 127
Propriétés importantes (3)
Masquage
Les hauts-parleurs ne masquent pas les sons
provenant d’autres sources que l’EV. Cela permet
notamment à plusieurs utilisateurs de se parler en
cours d’expérience virtuelle
Les écouteurs (fermés) masquent totalement les
sons extérieurs
L’utilisation d’amplificateurs peut s’avérer
importante dans certaines applications
127
Slide 128
Propriétés importantes (4)
Niveau sonore:
Il faut tenir compte de la pollution sonore
dans les EV et éviter d’agresser les
utilisateurs
Mobilité de l’utilisateur:
Il est souhaitable d’utiliser des écouteurs
sans fil pour ne pas restreindre les
mouvements de l’utilisateur
128
Slide 129
Propriétés importantes (5)
Interfacage avec les systèmes de tracking
Les hauts-parleurs et les écouteurs utilisent
souvent des aimants qui peuvent être
incompatibles avec les systèmes de tracking
électromagnétiques
Perturbations provenant de l’environnement
Les échos créés dans les CAVEs peuvent nuire à la
qualité de l’immersion
129
Slide 130
Propriétés importantes (6)
Portabilité et throughput
Les écouteurs sont plus faciles à
transporter que les hauts-parleurs
Il faut cependant une paire d’écouteurs par
utilisateur…
Encombrement
Les écouteurs peuvent devenir fatiguants à
porter sur de longues périodes
130
Slide 131
Propriétés importantes (7)
Sécurité
L’utilisateur ne doit pas être soumis à des
niveaux sonores dangereux pour son ouïe
Coût
Les écouteurs de bonne qualité sont
généralement moins chers que les hautsparleurs…sauf s’il faut utiliser un grand
nombre d’écouteurs
131
Slide 132
Sorties
Affichages haptiques
Concepts principaux
132
Slide 133
Concepts importants (1)
En RV, le sens du toucher est celui qui
permet à l’utilisateur d’avoir l’impression
que l’EV est « réel »
Haptique signifie « toucher » ou «
contact »
133
Slide 134
Concepts importants (2)
La perception haptique se compose de deux
éléments principaux:
1.
2.
La proprioception: capacité (interne) qu’ont
les êtres humains de percevoir la position
qu’occupe leur corps dans l’espace, même en
l’absence de force externe
La taction: sens du toucher provenant des
récepteurs nerveux situés à la surface de la
peau
134
Slide 135
Concepts importants (3)
Les affichages haptiques en RV sont
généralement plus difficiles à implanter que
les affichages visuels et auditifs parce qu’ils
sont bidirectionnels: ils permettent de
percevoir le monde, mais peuvent
également d’affecter celui-ci.
Les affichages haptiques exigent finalement
un contact entre l’utilisateur et l’EV,
contrairement à l’image et au son
135
Slide 136
Concepts importants (4)
Les affichages haptiques implantent
rarement à la fois proprioception et
taction dans un même dispositif
La plupart des affichages haptiques en
RV sont conçus pour la main
136
Slide 137
Concepts importants (5)
Les affichages haptiques sont généralement
subdivisés en 4 catégories principales:
1.
2.
3.
4.
Dispositifs tactiles: toucher, saisie, texture de
surface, température
Dispositifs effecteurs: permettent la saisie et la
manipulation grâce à la résistance et à la
pression
Dispositifs robotiques d’affichage de forme:
présentent de vrais objets à l’utilisateur grâce à
un manipulateur robotique
Copie 3D (3D hardcopy): modèles réels
d’objets conçus par des outils de CAO
137
Slide 138
Sorties
Affichages haptiques
Propriétés importantes
138
Slide 139
Propriétés importantes (1)
Indices de proprioception: il y a 75
articulations dans le corps humain (dont 44
dans la main seulement). Une interface
haptique doit en stimuler un maximum, ce
qui est très difficile
Indices tactiles: trois types de stimulation
des récepteurs de la peau sont possibles:
1.
2.
3.
Thermique
Mécanique
Électrique
139
Slide 140
Propriétés importantes (2)
Ancrage (grounding):
Self-grounded: le dispositif haptique
s’applique par rapport au corps de
l’utilisateur
World-grounded: le dispositif haptique
s’applique par rapport à l’environnement
dans lequel se trouve l’utilisateur
140
Slide 141
Propriétés importantes (3)
Nombre de canaux d’affichage:
nombre de canaux de feedback
fournis à l’utilisateur. Par exemple à
une seule main (haptique) ou un seul
doigt (tactile)
141
Slide 142
Propriétés importantes (4)
Nombre de degrés de liberté
Dans le monde réel, 6 ddl sont requis
Parfois 3 sont suffisants (identique à
l’exploration du monde avec la pointe d’un
crayon
Forme: forme du dispositif avec lequel
l’utilisateur interagit
Prop de forme usuelle: balle, poignée, etc.
Prop ayant la forme d’un objet réel comme une
arme, un outil chirurgical
142
Slide 143
Propriétés importantes (5)
Fidélité: qualité avec laquelle les
forces sont rendues par le dispositif.
Parfois, la fidélité doit être sacrifiée à
la sécurité (dans le cas de dispositifs
rendant des forces très grandes)
143
Slide 144
Propriétés importantes (6)
Résolution spatiale: capacité d’un
système d’atteindre des performances
qui sont perceptibles par l’humain
(just noticeable difference). Cette
performance change avec la partie du
corps (doigt, avant-bras, main)
144
Slide 145
Propriétés importantes (7)
Résolution temporelle: capacité d’un
système de rafraîchir le retour de force (par
exemple) ou la sensation tactile avec un
taux suffisamment élevé pour que
l’utilisateur ne sente pas de saccades ou de
discontinuité ou d’instabilité dans l’affichage
1000Hz est un ordre de grandeur de refresh
rate souhaitable en haptique (à comparer
avec le refresh rate de 30 Hz pour la vue)
145
Slide 146
Propriétés importantes (8)
Latence: retard entre une action de
l’utilisateur et une réponse du système
haptique
La réponse doit aussi tenir compte de la
participation des autres sens (vue, ouïe) à
l’expérience virtuelle
Taille du dispositif: il faut prendre en
compte que les dispositifs haptiques doivent
être contenus dans des espaces restreints
(comme un CAVE par exemple)
146
Slide 147
Sorties
Affichages haptiques
Quelques exemples
147
Slide 148
Quelques exemples (1)
Aladin (Interval Research Corp):
-retour d’effort sur la rotation
-feedback thermique
Feelex (University of Tsukuba):
-feedback tactile fourni par
des actionneurs appliqués sur
une surface de faible aire)
148
Slide 149
Quelques exemples (2)
DELTA (Force Dimensions):
-interface haptique à 3 ou 6 ddl
CyberTouch-CyberGrasp-CyberForce
(Immersion)
149
Slide 150
Quelques exemples (3)
Phantom (Sensable Tech):
-interface haptique à 3 ou 6 ddl
CyberGlove (Immersion):
-18 ou 24 capteurs
150