Transcript PAO - BERNARDIN Benoit

UTILISATION DE LA KINECT
POUR LA DÉTECTION DE MOUVEMENTS INTEMPESTIFS
DANS UNE SALLE D’OPÉRATION
Benoit Bernardin et Paul Meyer
Encadrement : Jean-Christophe Lapayre
Projet 2012 / 2013
LE CONTEXTE / L’OBJECTIF


Pouvoir détecter des mouvements intempestifs afin de
prévenir des maladies nosocomiales.
Suscite de nombreuses
interrogations par
rapport à la
configuration d’un bloc
et des caractéristiques
du matériel.
BLOC OPERATOIRE
ZONE DE TRAVAIL
ENTREE
SOMMAIRE RAPIDE


La Kinect

Caractéristiques et limites

La Kinect et le bloc opératoire ?
L’application développée

Description

Démonstration

Améliorations et questions
SOMMAIRE RAPIDE


La Kinect

Caractéristiques et limites

La Kinect et le bloc opératoire ?
L’application développée

Description

Démonstrations

Améliorations et questions
Présentation de la Kinect



Origine : Périphérique destiné à la console de jeux
vidéo Xbox360 de Microsoft permettant de
contrôler le jeu sans manette
Deux types de Kinect :

Kinect pour la console Xbox360 de Microsoft

Kinect pour Windows
(jeux vidéo + développement)
(développement)
Libre de développement aujourd’hui (gratuit)
Caractéristiques de la Kinect

Capteur


Lentilles détectant
la couleur et la
profondeur de la
scène
Micro à
reconnaissance
vocale (français
disponible)

Capteur motorisé
pour s’adapter à la
scène (fonction limitée)
Vision de la scène
(1)
Champ de vision



57° à l’horizontale
43° à la verticale
Avec inclinaisons possibles de +27°/-27° en vertical grâce au moteur

Portée du capteur : deux modes
En mètres
MODE PAR
DEFAUT
MODE
RAPPROCHE
En pratique : de 1.2 à 3.5
INCONNU
TROP PRES
En pratique : de 0.8 à 2.5
TROP LOIN
VALEURS
NORMALES
Vision de la scène
(2)
EN METRES
MODE
RAPPROCHE
MODE PAR
DEFAUT


Le mode fait varié le champ de vision
La Kinect gère un espace 3D



X = A gauche ou à droite
Y = En haut ou en bas
Z = Près ou loin
Reconnaissance physique


6 personnes au maximum
Postures assis et debout
A NOTER
TRACKÉES
6 Personnes = 6 Squelettes
2 Personnes suivies totalement = 2 Squelettes trackés
4 Personnes suivies partiellement = 4 Squelettes non-trackés
NONTRACKÉES
Squelette tracké



Chaque point est
appelé « joint » et
possède une position
en X, Y et Z.
20 joints pour un
squelette tracké
Le joint « HIP_CENTER »
détermine la position
globale du squelette
Récupération des informations



Flux de données entre la Kinect (émettrice) et
l’ordinateur (récepteur)
La Kinect envoie 30 images par seconde de la scène
qu’elle détecte
Une image est composée de :




6 squelettes avec leur identifiant
La position globale de chacun des 6 squelettes
Toutes les positions des 20 joints des 2 squelettes trackés
Et encore beaucoup d’informations…
= Une quantité très importante de données !
SOMMAIRE RAPIDE


La Kinect

Caractéristiques et limites

La Kinect et le bloc opératoire ?
L’application développée

Description

Démonstrations

Améliorations et questions
L’application développée

Son rôle est actuellement de :
DETECTER DES MOUVEMENTS
ET LES INTERPRETER POUR AFFICHER
UN NIVEAU D’ALERTE
Comment ?
ORDINATEUR
1
KINECT
Envoi la position globale
des squelettes
2
3
30 fois par seconde
1
Je sauvegarde la
position reçue (X,Y,Z)
de chaque squelette
2
3
4
5
6
4
TABLEAU DE
SQUELETTES
(avec leur position)
5
6
UNE TABLE DE
SAUVEGARDE DES
POSITIONS PAR
SQUELETTE
-Toutes les 30 sauvegardes (donc chaque seconde), je calcule l’écart-type
des 30 valeurs en X et en Z et pour chaque squelette

Pas d’écart-type en Y
(sauter ou s’agenouiller dans un bloc ?)
- J’interprète l’écart-type pour savoir si un squelette BOUGE ou non.
- Je supprime toutes les valeurs pour recevoir le 2e échantillon de valeurs
Règles d’interprétation


Pour un squelette, on sait s’il bouge ou non
Pour plusieurs squelettes (mouvement général) :

NIVEAU 1
Aucun squelette détecté
 Les squelettes détectés ne bougent pas (immobiles)


NIVEAU 2
Moins de la moitié des squelettes bougent
 Les autres sont immobiles


NIVEAU 3


Tout le monde ou la majorité bouge
Règles modifiables et ajustables selon les besoins
Démonstration
Performances

Chaque seconde (en traitement de fond)
 Réception
de 30 positions X, Y et Z pour les 6 squelettes
 Calcul de l’écart-type en X, en Y et en Z
 Très
couteux : multiplications, divisions et racine-carrée
 Interprétations

des valeurs
Sans compter le démarrage, l’affichage de
l’interface graphique…
1
2
3
4
5
Etapes du programme avec un seul squelette
11 : Le programme n’est pas lancé
22 : Le programme se lance
33 : Un squelette est détecté mais ne bouge pas
- Les « écart-type » sont calculés mais varient très peu (25%)
44 : Le squelette bouge beaucoup
- Les « écart-type » varient beaucoup et le programme tourne à +50%
55 : Le programme est arrêté
UTILISATION DE LA KINECT
POUR LA DÉTECTION DE MOUVEMENTS INTEMPESTIFS
DANS UNE SALLE D’OPÉRATION
Benoit Bernardin et Paul Meyer
Encadrement : Jean-Christophe Lapayre
AMELIORATIONS
BESOINS - QUESTIONS ?
Projet 2012 / 2013
Questions diverses
Y a-t-il besoin de tous les flux de
données ?


Flux « profondeur » et
« squelettes »
obligatoires
« Couleur » facultatif ?
Permet de visualiser
la scène comme la
Kinect : la suppression
entrainerait juste
l’affichage des
squelettes
Quel mode utilisé ?

Pour rappel :
MODE PAR
DEFAUT
INCONNU
TROP PRES
TROP LOIN
VALEURS
NORMALES
MODE
RAPPROCHE
A noter que le mode utilisé fait varié forcément l’angle de vision

Un mode convient-il mieux pour un bloc opératoire
ou doit-on donner la possibilité de modifier le mode
dynamiquement ? (entraine le redémarrage de l’application)
Repères

Les coordonnées X, Y et Z d’un squelette sont-elles
toutes nécessaires ?
X
: Droite ou gauche
 Y : Haut ou bas (sauter, s’agenouiller, s’asseoir)
 Z : Loin ou près (profondeur)
Tracké ou non ?


Doit-on juste connaitre la position globale de
chaque squelette et savoir s’ils bougent ? (comme actuellement)
Ou détailler les mouvements de bras, de jambes… ?
(quand on peut : 2 squelettes max)
Règles d’interprétation à modifier ?


Pour un squelette, on sait s’il bouge ou non
Pour plusieurs squelettes (mouvement général) :

NIVEAU 1
 Aucun
squelette détecté
 Les squelettes détectés ne bougent pas (immobiles)

NIVEAU 2
 Moins
de la moitié des squelettes bougent
 Les autres sont immobiles

NIVEAU 3
 Tout
le monde ou la majorité bouge
UTILISATION DE LA KINECT
POUR LA DÉTECTION DE MOUVEMENTS INTEMPESTIFS
DANS UNE SALLE D’OPÉRATION
Benoit Bernardin et Paul Meyer
Encadrement : Jean-Christophe Lapayre
Projet 2012 / 2013