corps fœtal - corps mental [ le corps amoureux / la poche humaine ]

environnement immersif enactif sous membrane

anika mignotte cicv pierre schaeffer

* enaction (francisco varela) : co générativité, co-émergence au sein d’un couplage structural organisme / environnement

FINALITE : DE L'AUTEUR AU VISITEUR

  synchronisation " au fil du temps présent " des fonctionnalités physiologiques et mentales   en relation empathique / enactive avec l'environnement rapport à soi-même ... à l'autre … naissance de soi à partir de l'autre    2nde poche foetale pour " états de conscience " … partage de " mondes " écriture

20 décembre 2001 CICV / FTR&D / anika mignotte 2

FINALITE : DE L'AUTEUR A L'INGENIEUR

INTERFACE HOMME-SYSTEME

 utiliser comme ihs membrane immersive à taille humaine “  une “  permettre au visiteur un suivi en biofeedback des variations physiologiques de sa réactivité corporelle intime  " scanner émotionnel "

NEUROINFORMATIQUE AFFECTIVE COMPUTING

  initier (archaïquement) un système informatique  à la détection des " états " de son visiteur en réponse à cette détection  envisager la réactivité du système par l'image et le son

20 décembre 2001 CICV / FTR&D / anika mignotte 3

DESCRIPTION ET PRINCIPES

  

interface membranaire

immersion physique du visiteur membranaire (gonflable)



à l'intérieur d'une structure forme torique ou ovoïde interactivité avec l'image et le son



par le biais des paramètres physiologiques de son corps et du toucher métaphore de l'interface

    œuf / matrice - ménage espace intime et protégé poche visiteur debout sous la membrane libre ovoïde = sphère individuelle (2 m de diamètre) interactivité par le toucher à bout de bras

20 décembre 2001 CICV / FTR&D / anika mignotte 4

DESCRIPTION ET PRINCIPES

20 décembre 2001 CICV / FTR&D / anika mignotte 5

DESCRIPTION ET PRINCIPES

  

interactivité par physiologie

visiteur équipé de capteurs physiologiques

 rythme cardiaque, tension artérielle, fréquence respiratoire, réponse électrodermale (sueur de la main), thermovasculaire,…

1

 

traitement multi-agents

en flux continu, imagerie dynamique temps réel des variabilités énergétiques de son corps  “ scanner émotionnel “ vidéoprojeté sur les parois

2

 

analyse combinatoire des mesures

en flux continu, traduction de la variabilité des paramètres physiologiques en termes de réactivité émotionnelle (activation / qualité d’état)

20 décembre 2001 CICV / FTR&D / anika mignotte 6

DESCRIPTION ET PRINCIPES



interactivité par toucher

visiteur environné dans / par une matière de type organique

 continuum plastique sur métaphore cellulaire  “ sensibilité cutanée ” de la membrane 

toucher de cette peau

 déclenchement de surgissements visuels et sonores à l'endroit du contact 

contenus

 architecturés autour d'une scénarisation de “ mondes ” (univers psychologiques du bardo & bribes sur êtres virtuels)  appel des séquences calé sur une conversation avec la détection de réactivité émotionnelle (phase ou anti-phase)

20 décembre 2001 CICV / FTR&D / anika mignotte 7

DESCRIPTION ET PRINCIPES

20 décembre 2001 CICV / FTR&D / anika mignotte 8

ENJEUX SCIENTIFIQUES

“ je me représente la perception des émotions à la manière de l'observation, depuis une fenêtre, d'un paysage continuellement changeant, dans lequel figure des objets en mouvement, plus ou moins lumineux et plus ou moins bruyants. ce paysage est, en fait, le corps : il présente une structure, constituée par la distribution dans l'espace de ces objets - qui sont les organes internes : cœur, poumons, intestins, muscles ; et il est caractérisé par un “ état ” : la luminosité et les bruits que ces objets émettent, signaux qui traduisent leur état de fonctionnement à chaque moment.

” antonio damasio – l'erreur de descartes 20 décembre 2001 CICV / FTR&D / anika mignotte 9

ENJEUX SCIENTIFIQUES

 

" scanner émotionnel " correspondance physiologie / émotion

enjeu



à partir d'une captation physiologique source initier deux types de feedbacks automatisés

 1 représentation)  • " scanner émotionnel " (simulation par multi-agents de  2 • automation de correspondance physiologie / émotion règles génératives de réactivité du système (affective computing) 

compétences

   en ia 

pluridisciplinaires en sciences cognitives

: systèmes multi-agents / réseaux de neurones en neurophysiologie de l'émotion en psychologie (intersubjectivité, empathie, imitation...)

20 décembre 2001 CICV / FTR&D / anika mignotte 10

ENJEUX SCIENTIFIQUES - PHYSIOLOGIE

captation physiologique traductibilité émotionnelle

  

que peut-on mesurer ? comment mesurer ? comment interpréter la combinatoire des mesures ? 2 équipes cnrs : lpm - université lyon1 (10 ans d'expérience)



microcapteurs microsystèmes biomédicaux

 

neurophysiologie sensorielle émotion vigilance

1999  de base correspondances mesures physiologiques /  prototype semi automatisé interprétation finale  intervention émotions expert pour  enjeu projet temps réel)  passer à automation totale (libre interactivité

20 décembre 2001 CICV / FTR&D / anika mignotte 11

ENJEUX SCIENTIFIQUES - IA : SCANNER

simulation systèmes complexes agents de représentation



adaptation du projet " le jardin des hasards "

  bernard gortais / guillaume hutzler (lip6 - ftr&d, 1999) version " physiologie humaine " sur métaphore cellulaire  

idem projet (virus 2.0)

  stéphane sikora (univ. paris 5) / joseph nechvatal (artiste) sma 1 agent / pixel - propagation sur mode viral

projet associé au projet en cours " mises-en-scène "

  bernard gortais / guillaume hutzler (univ. évry - ftr&d, 2001) interface multimodale dédiée au spectacle vivant  co générativité " grilles " entre elles (captation / interprétation / restitution images et sons / validation auteur)

20 décembre 2001 CICV / FTR&D / anika mignotte 12

ENJEUX SCIENTIFIQUES - IA : AUTOMATION

   

automation de détection physiologie / émotion réseau de neurones

détection d’émergences de patterns (réactivité physiologique & réactivité émotionnelle)



clustering & apprentissage R de passerelles



automatisation de correspondance interprétative entre les deux réitération des captations



sur des physiologies dirigées (vécus émotionnels dirigés par acteurs - secondés par monitoring visuel) apprentissage " initié / supervisé "

 à partir consignes préalables d'analyse combinatoire des mesures (lyon1)  par retour d'informations des expérimentateurs - acteurs

20 décembre 2001 CICV / FTR&D / anika mignotte 13

CONTEXTE SCIENTIFIQUE

recherches • émotion



neurologie / psychologie

 antonio damasio - university of iowa, us 

self-consciousness

 doctorant neurodynamique

neuronale

david rudrauf cnrs (ex-francisco paris, france varela)  équipe

synchronisation

 joseph ledoux - university of new-york, us

memory and emotion



emotional brain /

 jean decety - center for mind, brain, & learning, university of washington, seattle, us (ex-inserm lyon) 

empathie / imitation

 aaron ben-ze'ev - center for the interdisciplinary research of emotions, university of haifa, israël 

psychology / philosophy

20 décembre 2001 CICV / FTR&D / anika mignotte 14

CONTEXTE SCIENTIFIQUE

recherches • émotion



psychophysiologie / expressions faciales / voix

 paul ekman - university of california, san francisco, us

universalité des émotions de base

dégoût, peur, colère)  (joie, surprise, tristesse,   arvid kappas - research group for fundamental processes in cognition and emotion, university of hull, uk andré dittmar, évelyne vernet-maury - groupe de neurophysiologistes émotions et vigilance, université lyon1, france

20 décembre 2001 CICV / FTR&D / anika mignotte 15

CONTEXTE SCIENTIFIQUE

  

recherches interdisciplinaires france • cognition

cognition

 compréhension des rapports entre fonctionnement esprit et matière (cerveau, corps, ordinateur) : perception, mémoire, langage, raisonnement, action, émotions, conscience, ...

communauté multiple

 neurosciences, psychiatrie, psychologie, linguistique, philosophie, anthropologie, informatique, mathématiques, logique, intelligence artificielle, robotique, ...

applications

sociales  santé, éducation,... & technologiques  information, communication

20 décembre 2001 CICV / FTR&D / anika mignotte 16

CONTEXTE SCIENTIFIQUE

 

recherches interdisciplinaires france • cognition

appels à projets annuels aci cognitique (menrt)

 favoriser collaborations entre sciences humaines et sociales, sciences de la vie (neurosciences) et sciences de l'information (informatique, robotique)

atelier risc " apprentissage développement émotion "

 jacqueline nadel groupe développement & psychopathologie, hôpital salpétrière cnrs paris   philippe gaussier etis groupe neurocybernétique, ensea / université cergy pontoise pierre andry - doctorant  apprentissage du mouvement chez robot par synchronisation temporelle

20 décembre 2001 CICV / FTR&D / anika mignotte 17

CONTEXTE SCIENTIFIQUE ... INDUSTRIEL

recherches • neuroinformatique



programmes CE

 " initiative proactive neurosciences " commune à : qualité de la vie

: ligne brain theories / computational neurosciences and neuroinformatics

- ist

: ligne neuroinformatics for living arterfacts



recherche de passerelles entre neurophysiologie humaine et neuroinformatique naissante

 systèmes qui vivent se développent s'auto-adaptent évoluent au delà de la simple programmation - open-ended evolution & internal goals sur modèle morpho-neuro-genèse du vivant  évolution des systèmes informatiques vers conception de machines “ vivantes ” et “ émotionnelles ” 

20 décembre 2001 CICV / FTR&D / anika mignotte 18

CONTEXTE SCIENTIFIQUE ... INDUSTRIEL



observer et modéliser les comportements humains que l'artefact est lui même censé reproduire

  détection / qualification réactivité émotionnelle humaine synthétisation pseudo-émotionnelle dans attributs réactionnels machine  rosalind picard lab, boston, us

recherches • affective computing

- affective computing research group, mit media   aaron sloman - cognition and affect project, university of birmingham, uk klaus scherer genève, suisse geneva emotion research group, université de

20 décembre 2001 CICV / FTR&D / anika mignotte 19

ENJEUX INDUSTRIELS

 

débouchés industriels / usages



interaction homme(s) / machine(s) par l'affect maison du futur, éducation, santé, information, communication,...

 en robotique communautés mixtes hommes / ordinateurs / robots  concept d’interfaces “ sensibles et intelligentes “ ... “ empathiques “  en e-marketing  détermination de profils pour accès personnalisés aux contenus de l’internet  en conception de jeux vidéo évaluation des performances (en réseau)  prise en compte de la réactivité neuro-végétative dans stratégie des scénarii et

20 décembre 2001 CICV / FTR&D / anika mignotte 20

ENJEUX RECHERCHE INTERFACE

 

immersive, membranaire, organique, physiologiquement appareillée, visuelle, sonore, haptique, réactive à l'affect

 sollicitation  des sens et du plaisir (“ ventre de la mère ”  contact originel)  implication personnelle émotionnel introspectif   par processus interactif intime

contexte d'étude privilégié en ihs

 réactions de l'individu à l'appareillage technologique ? à l'immersion  aisance à interagir ?

 importance de la prise en compte de l'affect dans la conception des ihs ?  la membrane comme enveloppe sensorielle “ empathique “ pour enfants autistes 

20 décembre 2001 CICV / FTR&D / anika mignotte 21

ENJEUX RECHERCHE INTERFACE



… en cognition

 bouleversements cognitifs physiologique liés au couplage ++ ” / “ imagerie mentale ”  rôle de l’émotion dans processus cognitifs  perception, imagerie mentale, mémoire,...   “ réactivité impact sur psychologie cognitive  rôle de l’empathie (capacité de partage d’émotions, d’imitation) dans développement cognitif  cognition sociale  nouveau type d'approche sensorielle et cognitive processus de réception de l'œuvre artistique  dans

20 décembre 2001 CICV / FTR&D / anika mignotte 22

but de l'architecture



que l'émergence cartographique du monitoring informe les principes d'émergence dynamique du système capté = 1 physiologie humaine épousant en continu 1 continuum réactionnel émotionnel un être humain



1 émergence émotionnelle dynamique en perpétuel process corps / cerveau 1) physiologie



processus biologiques, neurologiques,... => répercussion sur rythme cardiaque, respiration, peau,... données captables avec appareillage externe 2) émotions



états réactionnels spontanés, non intentionnels avec effet feed-back sur physiologie et imagerie mentale favorisées dans contexte artistique 3) cognition



imagerie mentale / perceptions / évaluation / décision / action / mémoire i) enjeu



automatisation des conditions d'expérimentation " correspondance mesures physiologiques / réactivité émotionnelle "



psychophysiologie de l'émotion ii) enjeu



• étude sur rôle des émotions dans processus cognitifs : impact sur perception, imagerie mentale, mémoire,...



psychologie cognitive • étude sur rôle de l’empathie (capacité de partage d'émotions, d’imitation) dans développement cognitif



cognition sociale une ihs un ordinateur réactionnel à l'humain sur le calque d'un comportement d'auteur 1) membrane



immersion dans tunnel organique images sons haptique



fœtal i) enjeu artistique sonore acteur)



organique environnement 2) dispositif de captation / interprétation



physiologie corporelle / affect & toucher



scénographique, visuel et continuum • prédisposer à l'émotion, solliciter la plasticité humaine (travail 1) recevoir des signaux, les analyser, les interpréter



émergence d'une modélisation de correspondance émotion / physiologie • un sma



cartographie système complexe = physiologie du corps humain / combinatoire de paramètres de captation • un système neuronal



clustering / apprentissage à partir des lignes de force dégagées au terme de réitérations sur des physiologies dirigées



dégager des émergences d'états ? 2) initier une réponse



émettre image et son comme 1 " synthétisation " de réactivité émotionnelle d'auteur • problématique de réception de l'oeuvre / posture intime " spectateur - acteur " ii) enjeu lié à l'ihs



étude comportement de l'être humain en réaction à • l'appareillage technologique embarqué interagir ?

 

aisance à • un environnement impliquant notion de plaisir



importance i) enjeu neuro-informatique / " machine vivante "



vivent, se développent, s'auto-adaptent, évoluent au-delà de la simple programmation



open-ended evolution & internal goals sur le modèle de la morpho-neuro-genèse du vivant ii) enjeu affective computing / " machine émotionnelle "



• ? un système peut capter et comprendre le monde (social robots) • l'utiliser pour observer et modéliser les comportements humains que lui même est censé reproduire de la prise en compte de l'affect dans la conception des ihs iii) enjeu artistique



scénarisation écriture / pilotage de la ... la membrane comme enveloppe CICV / FTR&D / anika mignotte pour enfants autistes • choix de l'appel des mondes, des séquences, rythmes de navigation, traitements temps réel,...

20 décembre 2001 CICV / FTR&D / anika mignotte 24

POUR L'AUTEUR … POUR LE VISITEUR

l’être en contact par le corps … en enaction émotionnelle avec l’environnement

   continuum organique finalité immersive sensorielle / mentale  synchronie avec soi même bas niveau " physiologie / imagerie mentale "  réactivité corporelle rendue visuelle environnante : " effet miroir " conscience du langage du corps  s'oublier donc se rencontrer  sensorialité avivée comme dans rêve éveillé  surgissement de perceptions formes mentales nouvelles troublantes mystérieuses ? dialogue renouvelé ?

pour auteur comme pour visiteur  outil = corps / mental sein de l’environnement que lui-même contraint contraint au réception de l’oeuvre dans le champ actif de l’expérience  implique l’action  montée vers “ la conscience en action “ connaître

20 décembre 2001 CICV / FTR&D / anika mignotte 25

POUR L'AUTEUR … POUR LE VISITEUR

  renvoie à la " praxis " intime de l'acteur l'expérience  techniques de préparation liées à la relaxation la concentration la mémoire l'imagination … retrouver  " matière "  le réel sensoriel psychologique … l’écosystème du    moment à partir de lui  sans anticipation possible de sculpter une situation une relation  à partir de la seule " disponibilité " ... à l’émotion rendue vibrante  environnant  parce qu’incarnée en relation avec le contexte propre à déclencher l'empathie … à " celle " de l'être humain

20 décembre 2001 CICV / FTR&D / anika mignotte 26

POUR L'AUTEUR … POUR LE VISITEUR

  système nerveux, vidéos & sons finalité conversationnelle visiteur / environnement l’autre  stimulation  " action " - via   de part et d'autre boucles ré-itérées : détection  " internalisation " synchronie avec " perception " &   réaction émotionnelle enactive  on ne naît qu’avec l’autre le spectateur n'est plus passif  rien ne se passe sans lui  qualité de l'expérimentation artistique en prise directe avec générosité de l’implication cognitive  donner pour recevoir écrire   capacité du système à établir lien tension avec celui qui le visite contenus visuels sonores des " mondes " (6 émotions / 6 couleurs)  règles génératives de réponse du système  cumul de couches  articulation progressive d'1 histoire témoin (en 1ère personne) " au milieu “  " faire monde " par interpénétration sédimentation d'univers successifs mutuellement éclairés

20 décembre 2001 CICV / FTR&D / anika mignotte 27

TROIS MOTS

immersion émotion empathie placer l'acte artistique en un endroit qui associe fonctions biologiques et fonctions cognitives dans un même “ faire monde ” … maternel ou amoureux

20 décembre 2001 CICV / FTR&D / anika mignotte 28

MONDES

20 décembre 2001

le corps stade de vie primitive stade de l'énergie poussée originelle sensation d'être présent à la réalité du monde physique qui nous incorpore dedans liberté de prendre en soi de faire grandir en soi cette chose pour se libérer de là faire confiance à cette ébauche pour en contenir d'autres à venir

CICV / FTR&D / anika mignotte 29

éternité pas plus haut pour nous les hommes encore seulement des hommes viable encore point final perte de conscience la mort est claire et mate on devient le vent quelque chose ou rien naissance regarder un bébé dormir être attentif à un souffle quiétude à rêver ce qui est vierge encore qui va durer ce qui a le temps le temps est là lui apprendre à respirer 20 décembre 2001 passé la douleur commence expérience de perdre quelque chose un rêve enfoui fait notre présent dans l'inconscient on est ailleurs un autre temps quand on était enfant ce qui n'a pas duré qu'on nous a volé besoin une raison un nœud réalité de l'autre là sous les doigts plaisir d'embrasser manger sentir concrètement y revenir l'autre la peau l'odeur faire couler téter avaler CICV / FTR&D / anika mignotte 30

chemins monde du genre humain croisements monde de la route les hommes travaillent des lendemains qui tiennent des voyages au sol ferme mise en œuvre de sa liberté ont passé repasseront ont l'âme dedans ondes dilatation écartèlement poumons vibrations brûlure trop pleinement va-t-on tenir presque mal les muscles raidissent fassent hurler laisser passer ne pas bloquer laisser venir jusqu'à toucher la douleur une extase 20 décembre 2001 sommeil glisser plus loin enfoncer épais tout est velours se dérober se retourner s'isoler capitonné disparaître s'effondrer persévérer on rêve éveillé volet fermé on est là à côté milieu de nulle part intra-soi affaissement le monde dégouline la terre tire des couloirs comme des boyaux des ventres obscènes animaux on y est dedans imbibés flasques et spongieux langues grossies nous somme dans la terre elle est molle CICV / FTR&D / anika mignotte 31

tumultes là où rien ne dure tout jaillit fait gicler urgence densité pression température ne veut pas rester là essayer ailleurs autrement voir sans cesse différemment morceaux de vie seuil de la résistance ruptures monde de la distance du paradoxe on a perdu moment de silence de deuil pan de falaise arraché on y est comme des réfugiés on attend dans l'atmosphère cristallisée le halo du matin là où les blocs ont catapultés comme des hallucinés le monde s'est refermé peurs hantent la maison nos membres nos souvenirs les ancêtres guettent ceux de ma race leurs âmes suspendues dans la mienne mais je danse 20 décembre 2001 délivrance plus violent parce que dans l'action moment inconscient acte définitif coup de fusil attaque à mains armées peur à déformer à cracher sa tétanie mort de concentration les coups sont secs les brouillards raides comme des murs CICV / FTR&D / anika mignotte 32

20 décembre 2001 CICV / FTR&D / anika mignotte 33

ARTICULATION RECHERCHE - PARTENAIRES

producteur associé

 direction artistique   pierre bongiovanni conception / montage de projet  - cicv pierre schaeffer postproduction images et sons / expertise régie

phase 1 pré-expérimentale

   marie-claire busnel (psychobiologie du développement) préparation / repérage (avec capteurs physiologiques)

phase 2 - supervision informatique

 ia   alexis drogoul équipe myriad, lip6, université paris 6 dea iarfa intelligence artificielle distribuée & systèmes multi-agents    collaboration (direction de thèses) avec ftr&d studio créatif, i-les-m interaction multimodale avec système multi-agents apprentissage par réseaux de neurones

20 décembre 2001 CICV / FTR&D / anika mignotte 34

ARTICULATION RECHERCHE - PARTENAIRES

phase 2 - supervision cognition humaine

 neurophysiologie émotion microsystèmes biomédicaux & neurophysiologie sensorielle émotion vigilance, université lyon1  évelyne vernet-maury - groupe microcapteurs   matériel captation embarqué traductibilité réactivité physiologique en activation émotionnelle (émotions de base)

phase 2 & 3 - ? supervision & protocoles utilisant l'interface

 neurophysiologie de l'intentionnalité  jean decety - social cognitive neuroscience lab, cmbl, university of washington, seattle

(contact en cours)

  neurophysiologie / psychologie développementale empathie imitation chez l’enfant (enveloppe sensorielle pour enfants autistes)

20 décembre 2001 CICV / FTR&D / anika mignotte 35

20 décembre 2001 CICV / FTR&D / anika mignotte 36