Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002

1

Plan de l ’exposé

 Concepts sur le son  Usage de sons dans les IHM  Mon projet de recherche 2

De la vibration acoustique au signal sonore

• Son = sensation auditive engendrée par une vibration acoustique • Enregistrement de la vibration par un capteur de pression => pression en fonction du temps = signal sonore assimilé à la vibration acoustique pression temps 3

Mécanismes de la « sensation auditive » (1/3)

• Mécanismes mis en jeu dans la sensation auditive : • localisation de la source du son • azimut = direction dans un plan horizontal • élévation = direction dans un plan vertical • distance • diffusion, orientation, occlusion, dynamique des sources … => séparation de sources provenant d’endroits différents • processus actif : mouvements de la tête, « effet cocktail » 4

Mécanismes de la « sensation auditive » (2/3)

• Mécanismes mis en jeu dans la sensation auditive : • identification de la source • comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources => séparation des sources provenant du même endroit (« effet cocktail ») => classification des sources en catégories => assignation d’une sémantique aux sources • intervention des autres sens 5

Mécanismes de la « sensation auditive » (3/3)

• Mécanismes mis en jeu dans la sensation auditive : • analyse qualitative du son • hauteur • timbre = texture sonore • couleur • aspects dynamiques • intensité sonore • composition des sons (fréquence du signal sonore) (composition en fréquences) (attaque, extinction, évolution fréq.) (amplitude du signal sonore) (enchaînement temporel, consonance) 6

Apport du son par rapport à la vision (1/2)

• Canal supplémentaire : • plus d’informations à la fois • décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés • média d ’ambiance : • disponible en permanence • ne nécessite pas d ’action physique • zone de perception plus étendue que devant un écran par ex. • utile lorsque les autres canaux sont saturés ou indisponibles (ex : canal visuel : petits écrans, temps de brouillard, cockpits) 7

Apport du son par rapport à la vision (2/2)

• Outil d ’analyse • Timbre + localisation = information multidimensionnelle => analyse de données multidimensionnelles • Analyse de corrélations temporelles 8

Les limites du son

• Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs) • Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première) • Fatigue pour les sons fréquents ou répétitifs => à utiliser avec modération et à propos 9

Représentations du son (1/3)

• Représentation temporelle = signal sonore + représentation utilisable pour l’enregistrement et la synthèse accès à l’intensité et au temps pas d ’accès à la hauteur ni au timbre Solution : faire intervenir la fréquences amplitude temps 10

Représentations du son (2/3)

• Représentation fréquentielle + Représentation fidèle et réversible Opérations mathématiques facilitées Accès à la hauteur (= fréquence) amplitude (complexe) fréquence Disparition du temps Instabilité par rapport à la représentation temporelle Inadaptation au temps réel Solution : Faire intervenir à la fois le temps et la fréquence 11

Représentations du son (3/3)

• Représentation temps-fréquence + « Visualisation » du son (hauteur, timbre, intensité, temps) fréquence Représentations spécialisées : temps • en visualisation (non linéaires : WignerVille…) • en traitement du signal (linéaires : ondelettes…) Nécessité d ’un compromis dans les échelles temps-fréquence (Heisenberg) 12

Ex 1 : représentation temps fréquence de sons périodiques

Harmoniques = fréquences multiples de la fondamentale Fondamentale Son de clarinette La fondamentale de ce son Deux processus perceptifs concurrents pour la hauteur : • la fréquence de la fondamentale (ex : son de la fondamentale) • l’intervalle entre les harmoniques (ex : transistors) 13

Voyelles :

Ex 2 : représentation temps fréquence de sons voisés

Formants déterminent la voyelle (leur répartition dépend du sexe et du registre) Fondamentale = hauteur du son (partie voisée) i é è Consonnes : p t k Partie bruitée instable, étalée en fréquences => hauteur ambiguë 14

Ex 3 : représentation temps fréquence d’autres sons

Son de percussion : étalé en fréquence, pas de sensation nette de hauteur Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur 15

Plan de l ’exposé

 Concepts sur le son  Usage de sons dans les IHM  Mon projet de recherche 16

Usage du son dans les IHM

Son en entrée : information ou bruit • traitement de signaux sonores Son en sortie : [Pressing, 1997] • artistique • • environnemental informatif (informatique musicale) (jeux, réalité virtuelle) (monitoring, feedback, auralisation) Hors IHM : stockage d ’enregistrements, psycho-acoustique...

17

Classification des sons informatifs (1/4)

• L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information = sonification • Synthèse de parole 18

Classification des sons informatifs (2/4)

• L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information = sonification • Auditory Icons (Gaver) : sons

analogiques

+ intuitif difficile à réaliser techniquement, design 19

Classification des sons informatifs (3/4)

• L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information = sonification • Earcons (Blattner) : sons

arbitraires

organisés selon une grammaire arbitraire + simple à réaliser nécessité d’apprentissage, grammaire limitée 20

Classification des sons informatifs (4/4)

• L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information = sonification • Fonction de correspondance de paramètres : transfert de la structure de l’information vers la structure du son + sonification la plus proche de l ’information paramètres structurels significatifs dans l ’info et dans le son difficiles à trouver, au cas par cas 21

Le son 3D dans les IHM

La spatialisation de sons en IHM peut avoir pour but : • de présenter plusieurs sources grâce à l ’effet cocktail • de définir des sons réalistes (ex : réalité virtuelle) • de permettre une métaphore (ex : métaphore de l’horloge, Brewster) • de prolonger virtuellement le monde réel (ex : RA, systèmes pour aveugles) 22

Plan de l ’exposé

 Concepts sur le son  Usage de sons dans les IHM  Mon projet de recherche 23

Projet de recherche

• Earcons + Phicons = Phearcons • Définitions : • Earcons (Ear Icons, Blattner) : messages audio non parlés utilisés dans l’interface machine homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur • Phicons (Physical Icons) : objets physiques permettant la manipulation d ’objets virtuels 24

Projet de recherche : objectifs

• Concevoir et développer une plate-forme qui permet : • L’association entre un concept du domaine et un objet physique • Lien

dynamique et explicite

entre le monde numérique et le monde réel • L’association entre un concept du domaine et une “sonification” • Conception de l’interface en sortie • L’association entre un objet physique et une “sonification” = modification du rendu sonore par manipulation d’objets physiques • Conception de l ’interface en entrée 25

Exemples d’application

• Tâches de “monitoring” • Média d’ambiance Trafic sur l’A7 Niveau sonore chez Maman Niveau sonore cafet Queue d’impression 26

Exemples d’application

• Tâches de “monitoring” • Media d’ambiance + effet cocktail 27

Exemples d’application

• Tâches de “monitoring” • Intérêts : • Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café) • Mémorisation accrue car l’association est faite par l’utilisateur 28

Exemples d’application

• Jeu augmenté • Réalité augmentée • Spatialisation du son traduisant le déplacement effectué par l ’enfant 29

Exemples d’application

• Musique Objet physique = instrument de musique paramétrable 30

Plate-forme à concevoir

• Flexibilité • Choix des objets physiques • Reconnaissance de la position des objets dans l ’espace • Choix des sources d’informations • Liens avec des applications existantes • Choix des sonifications 31

Plate-forme à concevoir

• Définition des liens entre objets physiques, sonification et concept du domaine : • Lien (objet physique, concept du domaine) • Multimodalité : paradigme du mets çà là • Définition par parole = « cet objet est le niveau sonore dans la cafet » + geste de désignation de l ’objet • Lien (concept du domaine, sonification) : ???

• Lien (objet physique, sonification) : ???

32

Projet de recherche : étapes de travail

• Etat de l’art : applications, sonification etc.

• Expérimentations fréquentes magicien d’Oz dans le playground • Espace de conception : caractéristiques pertinentes • Lien avec le processus de visualisation (thèse Fred) • Conception et développement de la plate-forme 33

Projet de recherche : exemples de problèmes (1/2)

• Identifier des applications candidates • (e-mail, activité distante, cubes de jeu etc.) • Critères de correspondance entre source et sonification : • trouver les métaphores possibles par application • quelles caractéristiques ?

34

Projet de recherche : exemples de problèmes (2/2)

• Conception de la plate-forme • Comment spécifier une sonification ?

• Comment présenter une sonification ?

• Proposer un ensemble d ’objets prédéfinis 35

MERCI !

36

Annexe 1 : Vibration acoustique

Vibration acoustique = succession rapide d ’ondes de compression et de dépression Zone comprimée Décompression Nouvelle zone comprimée Source sonore Milieu ambiant (air, eau…) Dépression ...

Propagation de l’onde de compression Propagation de l ’onde de dépression ...

Nouvelle zone en dépression Recompression 37

Annexe 2 : Perception d ’une source en 3D

• Azimut : • déphasage interaural  intensité interaurale • Élévation :  timbre (source connue ou en mouvement) Distance : • atténuation intensité, BF, HF • taux son direct / réverbéré azimut source Autres propriétés : Autres indices : distance élévation orientation direction de propagation orientation (sources directives), diffusion (sources réparties), occlusion ; dynamique de la source, mouvements de tête, couplage avec le visuel 38

Annexe 3 : Son 3D : dispositifs de sortie

• 1 canal : distance,

élévation

; ex : hauts-parleurs directifs • 2 canaux : azimut • sur hauts-parleurs : • stéréo : son entre les hauts-parleurs • « décorrélation croisée » : son venant des côtés • sur écouteurs : • stéréo : son à l’intérieur de la tête • HRTF : filtrage des oreilles • BRIR : propriétés acoustiques de la salle • Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) : meilleure précision, meilleur réalisme, agrandissement de la zone de bonne écoute • Rares systèmes de vraie 3D (CNMAT) 39