Transcript PhDDefense MixedReality Coutrix

Systèmes de Réalité Mixte :
Conception et Prototypage
Céline Coutrix
Soutenance de thèse
7 mai 2009
Plan
•
•
•
•
•
Contexte, Problème et Approche
Réalisation d’ébauches d’objets
Contributions
Base conceptuelle
Évaluations
Conclusion et Perspectives
2
Contexte : Réalité mixte
• Faire disparaître la frontière entre mondes
physique et numérique
CASPER
DigitalDesk
3
Contexte : Réalité mixte
Réalité augmentée
Interfaces tangibles
Virtualité augmentée
Réalité mixte
Chirurgie augmentée
Systèmes mixtes
4
Contexte : Réalité mixte
• Diversité
5
Contexte : Réalité mixte
• Similitudes
DigitalDesk
Tangible Geospace
NAVRNA
PICO
6
Problème
• Conception mal maîtrisée
– Difficile d’utiliser des éléments de conception isolés
– Difficile d’explorer l’espace de conception
– Difficile de profiter des expériences précédentes
7
Problème
1. Fournir des outils pour une exploration
systématique de l’espace de conception
2. Fournir un guide ergonomique pour la
conception
8
Approche (1)
Analyse
Évaluation
Conception
Prototypage
9
Approche (1)
Analyse
Évaluation
Prototypage
[Lim et al., 2008]
10
Approche (1)
Analyse
Évaluation
11
Approche (2)
Analyse des besoins
Conception
Conception logicielle
Implémentation
12
Approche (2)
Conception de l’interaction
Analyse des
besoins
Conception
logicielle
…
13
Approche (3)
• Centrée sur l’objet
14
Approche (3)
Niveau supérieur : interface complète
ASUR
Niveau inférieur : technologie
Phidgets
15
Plan
•
•
•
•
•
Contexte, Problème et Approche
Réalisation d’ébauches d’objets
Base conceptuelle
Évaluations
Conclusion et Perspectives
16
Réalisation d’ébauches d’objets
• Prototypes statiques
17
Réalisation d’ébauches d’objets
• Prototypes interactifs
18
Réalisation d’ébauches d’objets
• Exemple d’utilisation de l’outil de prototypage
19
Réalisation d’ébauches d’objets
• Exploration concrète des alternatives
20
Réalisation d’une ébauche
• Alternatives de capteurs
– Phidgets
– Interface-Z
21
Réalisation d’une ébauche
• Capitalisation des outils du niveau inférieur
– Phidgets
– Interface-Z
– ARToolKit
22
Réalisation d’une ébauche
• Alternatives de transformation
– Seuil
– + Répétition
23
Réalisation d’une ébauche
• Alternatives de retour d’information
– Impulsion + Diode
24
Réalisation d’une ébauche
• Alternatives de retour d’information
– Impulsion + Son
25
Réalisation d’une ébauche
• Alternatives de retour d’information
– Répétition + Impulsion + Diode
26
Réalisation d’ébauches d’objets
• Prototypes d’objets interactifs
• Combinaison des éléments logiciels pour
explorer concrètement des alternatives
d’objets
• Capitalisation des outils du niveau inférieur à
l’objet
• Utilisation des objets dans des contextes
applicatifs
27
Plan
•
•
•
•
•
Contexte, Problème et Approche
Réalisation d’ébauches d’objets
Base conceptuelle
Évaluations
Conclusion et Perspectives
28
Modèle d’interaction mixte
• Niveau objet
29
Plan
• Contexte, Problème et Approche
• Réalisation d’ébauches d’objets
• Base conceptuelle
• Objet mixte
• Interaction avec un objet mixte
• Évaluations
• Conclusion et Perspectives
30
Plan
• Contexte, Problème et Approche
• Réalisation d’ébauches d’objets
• Base conceptuelle
• Objet mixte
– Définition
– Caractérisation intrinsèque
• Interaction avec un objet mixte
– Définition
– Caractérisation extrinsèque
• Évaluations
• Conclusion et Perspectives
31
Modèle d’interaction mixte
Objet physique
Objet numérique
Propriétés
physiques
Propriétés
numériques
Objet mixte
Propriétés
physiques
?
Propriétés
numériques
32
Modèle d’interaction mixte
Objet mixte
Propriétés
physiques
?
Propriétés
numériques
• Modalité d’interaction m = (dispositif, langage)
• geste =
(gant, langage de gestes de commande)
33
Modèle d’interaction mixte
• Modalité de Liaison
Propriétés
physiques
Disposit
if de
liaison
en
entrée
Langage
de
liaison
en entrée
Disposit
if de
liaison
en
sortie
Langage
de
liaison
en sortie
Propriétés
numériques
34
Exemple
PICO
35
Objet mixte : exemple
caméra
vision par
ordinateur
[x, y]
projecteur
carré jaune
table
aimantée
activation
36
Plan
• Contexte, Problème et Approche
• Réalisation d’ébauches d’objets
• Base conceptuelle
• Objet mixte
– Définition
– Caractérisation intrinsèque
• Interaction avec un objet mixte
– Définition
– Caractérisation extrinsèque
• Évaluations
• Conclusion et Perspectives
37
Caractérisation intrinsèque
Propriétés
physiques
Disposit
if de
liaison
en
entrée
Langage
de
liaison
en entrée
Disposit
if de
liaison
en
sortie
Langage
de
liaison
en sortie
Propriétés
numériques
38
Caractéristiques intrinsèques
• 4 niveaux d’abstraction
dispositif
d’entrée
langage
d’entrée
propriétés
physiques
propriétés
numériques
dispositif
de sortie
langage
de sortie
39
Caractéristiques intrinsèques
Acquises
Non matérialisées
Acquises
Matérialisées
Non acquises
Non matérialisées
Non acquises
Matérialisées
40
Caractéristiques intrinsèques
Est exposé
41
Caractéristiques intrinsèques
Captées
Non générées
Non captées
Non générées
Captées
Générées
Non captées
Générées
42
Objet mixte : exemple
caméra
vision par
ordinateur
[x, y]
Positio
n
projecteur
carré jaune
table
aimantée
activation
43
Caractéristiques intrinsèques
Forme
Couleurs
…
Lumière
44
Caractéristiques intrinsèques
Captées
Acquises
Non matérialisées
Acquises
Matérialisées
Non acquises
Non matérialisées
Non acquises
Matérialisées
[Benford et al., 2005]
[Fitzmaurice et al., 1995]
45
Caractéristiques intrinsèques
Capitalisation de caractéristiques existantes
dispositif
d’entrée
langage
d’entrée
propriétés
physiques
propriétés
numériques
dispositif
de sortie
langage
de sortie
46
Caractéristiques intrinsèques
taille
résolution
• Penser à des solutions de conception non envisagées
47
Caractéristiques intrinsèques
Capteur
de
luminosité
Seuiller
Est exposé
Diode
Clignoter
HautParleur
Bip
• Penser à des solutions de conception non envisagées
48
Caractéristiques intrinsèques
• Définition et caractérisation selon 4 niveaux
d’abstraction
dispositif
d’entrée
langage
d’entrée
propriétés
physiques
propriétés
numériques
dispositif
de sortie
langage
de sortie
49
Caractéristiques intrinsèques
• Lien avec l’outil de prototypage
50
Plan
• Contexte, Problème et Approche
• Réalisation d’ébauches d’objets
• Base conceptuelle
• Objet mixte
• Interaction avec un objet mixte
– Définition
– Caractérisation extrinsèque
• Évaluations
• Conclusion
51
Interaction instrumentale
Outil
Objet de
la tâche
52
Interaction instrumentale
DigitalDesk
Outil
Objet de
la tâche
53
Interaction instrumentale
Outil
Tâche élémentaire
Action
Réponse
Réaction
Retour d’information
Objet de
la tâche
54
Modalité d’interaction
• m = (dispositif, langage)
• geste =
(gant, langage de gestes de commande)
Dispositif
d’interaction
Langage
d’interaction
Système
55
Modalité d’interaction
Dispositif
d’interaction
Langage
d’interaction
Système
56
Interaction instrumentale enrichie
Outil
Tâche élémentaire
Action
Réponse
Réaction
Retour d’information
Objet de
la tâche
57
Interaction instrumentale enrichie
Langage
d’interaction
en entrée
Outil
Dispositif
d’interaction
Langage
Réponse
d’interaction
en sortie
Action
Tâche
élémentaire
Réponse
Réaction
Retour d’information
Objet de
la tâche
58
Plan
• Contexte, Problème et Approche
• Réalisation d’ébauches d’objets
• Base conceptuelle
• Objet mixte
• Interaction avec un objet mixte
– Définition
– Caractérisation extrinsèque
• Évaluations
• Conclusion
59
Caractérisation extrinsèque
Langage
d’interaction
en entrée
Outil
Dispositif
d’interaction
Langage
Réponse
d’interaction
en sortie
Action
Tâche
élémentaire
Réponse
Réaction
Retour d’information
Objet de
la tâche
60
Caractéristiques extrinsèques
• Métaphore de nom [Fishkin, 2004]
– Un <x> dans le système est comme un <x> dans le
monde réel
61
Exemple
Tangible Geospace
62
Caractéristiques extrinsèques
caméra
vision
langage
d’interaction
en entrée
[x, y]
déplacer le dôme en [x,y]
[x-dome,
y-dome]
proj.
transf.
63
Exemple
NAVRNA
64
Caractéristiques extrinsèques
caméra
vision
langage
d’interaction
en entrée
[x, y]
déplacer la base d’ARN en [x,y]
[x-base,
y-base]
proj.
transf.
65
Caractéristiques extrinsèques
• Extension de la métaphore de nom
Pratique
physique
Pratique
numérique
Commande
Paramètre
66
Caractéristiques extrinsèques
• Alternatives explorant les métaphores de nom
Pratique
physique
Pratique
numérique
Commande
Paramètre
67
Caractéristiques extrinsèques
• Métaphore de verbe [Fishkin, 2004]
– <X>-er dans le système est comme <x>-er dans le
monde réel
68
Caractéristiques extrinsèques
caméra
vision
Mouvements
reconnus
langage
d’interaction
en entrée
gommer
proj.
transf.
69
Caractéristiques extrinsèques
caméra
vision
langage
d’interaction
en entrée
[x,y]
gommer
formes
proj.
transf.
70
Caractéristiques extrinsèques
• Alternatives explorant les métaphores de verbe
Métaphore
Pas de
métaphore
Est tourné
Angle de rotation
Est exposé
71
Caractéristiques extrinsèques
propriétés
physiques
propriétés
numériques
72
Plan
• Contexte, Problème et Approche
• Réalisation d’ébauches d’objets
• Base conceptuelle
• Caractéristiques intrinsèques à l’objet
• Caractéristiques extrinsèques à l’objet
• Évaluations
• Conclusion et Perspectives
73
Plan
•
•
•
•
Contexte, Problème et Approche
Réalisation d’ébauches d’objets
Base conceptuelle
Évaluations
– Évaluation du pouvoir génératif
– Évaluation exploratoire de la compréhensibilité
– Évaluation exploratoire de l’outil de prototypage
• Conclusion et Perspectives
74
Évaluations du pouvoir génératif
• Systèmes conçus et prototypés
Playground
ORBIS
RAZZLE
Yubi
Snap2Play
Roam
75
Évaluations du pouvoir génératif
• Systèmes conçus et prototypés
– Utilité du modèle d’interaction mixte
– Problèmes de compréhension
76
Évaluation du pouvoir génératif
• Groupe focalisé de concepteurs
– Utilisation du modèle d’interaction mixte stimulée
par l’expert
– Confirmation du problème de compréhension
77
Évaluation exploratoire de la
compréhensibilité
• Enquête auprès de concepteurs
– Exactitude de l’explication d’une description
bien identifiés
non précis
mal identifiés
non identifiés
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
78
Évaluation exploratoire de la
compréhensibilité
• Enquête auprès de concepteurs
Ergonomes
bien identifiés
non précis
Designers
mal identifiés
non identifiés
informaticiens
0%
20%
40%
60%
80%
100%
79
Évaluation exploratoire de la
compréhensibilité
• Enquête auprès de concepteurs
80
Évaluation exploratoire de l’outil de
prototypage
• Groupe focalisé de développeurs
– Identification des éléments de l’outil de
prototypage à améliorer
81
Plan
•
•
•
•
•
Contexte, Problème et Approche
Réalisation d’ébauches d’objets
Base conceptuelle
Évaluations
Conclusion et Perspectives
82
Conclusion
• Ébauches d’objets
• Base conceptuelle
– Définition
– Caractérisation
• Pouvoirs descriptif, comparatif, génératif
83
Conclusion
• Systèmes conçus et prototypés
Playground
ORBIS
RAZZLE
Yubi
Snap2Play
Roam
84
Conclusion
• Utiliser des éléments de conception existants
dans un cadre cohérent
• Étendre des éléments de conception existants
• Associer conception et prototypage
→ Fournir des outils pour une exploration
systématique de l’espace de conception
85
Perspectives
• À court terme :
– Pour confirmer les évaluations exploratoires :
• Évaluations avancées
– Pour diffuser mon outil de prototypage :
• Insertion dans une plateforme de prototypage de
l’interaction
• À moyen terme :
– Pour faciliter l’utilisation du modèle :
• Jeu de conception
– Pour faciliter l’utilisation de l’outil de prototypage :
• Environnement de prototypage
86
Environnement de prototypage
• Environnement de prototypage tangible
– Éléments tangibles à assembler
– Éléments correspondants aux alternatives des
différents niveaux d’abstraction
87
Environnement de prototypage
• Environnement de prototypage graphique
88
Perspectives
• À court terme :
– Pour confirmer les évaluations exploratoires :
• Évaluations avancées
– Pour diffuser mon outil de prototypage :
• Insertion dans une plateforme de prototypage de
l’interaction
• À moyen terme :
– Pour faciliter l’utilisation du modèle :
• Jeu de conception
– Pour faciliter l’utilisation de l’outil de prototypage :
• Environnement de prototypage
89
Merci
Article de journaux internationaux, avec comité de lecture
• Chin, You, Coutrix, Lim, Chevallet, Nigay, Snap2Play, A Mixed-Reality Game based on Scene Identification, MMM’08 Special Issue of “The
Visual Computer” journal
Chapitres de livre
• Coutrix, Nigay, An Integrating Framework for Mixed Systems, The Engineering of Mixed Reality, Springer, 2009
• Nigay, Coutrix, Renevier, Systèmes interactifs mixtes : Fusion des mondes physique et numérique, Interfaces numériques (Collection
information, hypermédias et communication), Chapitre 3, Hermès Science, ISBN13 978-2-7462-1695-2, 18 pages, 2007.
Articles longs, conférences internationales avec comité de lecture
• Chin, You, Coutrix, Lim, Chevallet, Nigay, Snap2Play: A Mixed-Reality Game based on Scene Identification, Proceedings of the 14th
international multimedia modeling conference (MMM’08)
• Coutrix, Nigay, Mixed Reality: A Model of Mixed Interaction, Proceedings of the 8th International Conference on Advanced Visual
Interfaces (AVI’06)
Articles courts, conférences internationales avec comité de lecture
• Coutrix, Nigay, Balancing Physical and Digital Properties in Mixed Objects, Proceedings of the 9th International Conference on Advanced
Visual Interfaces (AVI’08)
• You, Chin, Lim, Chevallet, Coutrix, Nigay, Deploying and Evaluating a Mixed Reality Mobile Treasure Hunt: Snap2Play, Proceedings of the
10th International Conference on Human-Computer Interaction with Mobile Devices and Services (MobileHCI’08)
Articles longs, conférences nationales avec comité de lecture
• Coutrix, Nigay, Interagir avec un objet mixte : Propriétés physiques et numériques, Actes de la 19ème conférence en Interaction Homme
Machine (IHM'07)
• Coutrix, Nigay, Pasqualetti, Renevier, RAZZLE : de la conception à l’évaluation d’un système mobile et multimodal, Actes des Troisèmes
Journées Francophones : Mobilité et Ubiquité 2006 (UBIMOB’06)
• Coutrix, Nigay, Renevier, Modèle d’Interaction Mixte : la Réalité Mixte à la Lumière des Modalités d’Interaction, Actes des Deuxièmes
Journées Francophones: Mobilité et Ubiquité 2005 (UBIMOB’05)
92
Choix du niveau d’abstraction
• Niveau objet vs. Niveau dispositif ?
– Choix du concepteur
CASPER
White Snow
93
Choix du point de vue sur l’objet
• Objet vs. Environnement ?
– Point de vue environnement :
• Mur augmenté d’une pièce de puzzle
• Luminosité ambiante de l’environnement
– Point de vue objet :
• Pièce de puzzle augmentée
• Lumière à la surface de l’objet
94
Choix de la séparation (ou non) des objets
• Objet Unique vs. Objets Multiples
– Relations spatiales entre objets
– Rôles des objets dans l’interaction
95