Transcript 30 AEU_FMC_3_Evalua..
Slide 1
Evaluation du choix de l’expert
(et du cahier des charges de son intervention)
Dr Pierre Wolf
AEU d’expertise en FMC et en pédagogie médicale
janvier 2007
Dr Pierre Wolf
Slide 2
Questionnaire Unaformec RA d’auto évaluation
10. Évaluer la formation
0,0
10.1. Une évaluation de la satisfaction des participants (formateurs, utilisateurs, expert) est faite à
chaque formation -[Jamais, Rarement, Souvent, Toujours]-
0
10.2. Les résultats des recueils d’opinion et de satisfaction (questionnaires de satisfaction, compilation
des opinions, autres informations recueillies) sont analysés pour chaque formation -[Jamais,
Rarement, Souvent, Toujours]-
10.3. L'Association tient compte de ces évaluations et analyses pour améliorer la réalisation de ses
formations -[Jamais, Rarement, Souvent, Toujours]-
0
10.4. Le résultat des évaluations de chaque formation est communiqué aux participants -[Jamais,
Rarement, Souvent, Toujours]-
0
10.5. Pour chaque formation toutes les évaluations prévues dans le dossier de conception sont
réalisées -[Jamais, Rarement, Souvent, Toujours]-
0
10.6.Vous mettez en œuvre une procédure d'évaluation de l'amélioration de la pratique, après un délai
à l'issue de la formation (cf. question 7.7) -[Jamais, Rarement, Souvent, Toujours]-
2
27/01/2007
0
0
Dr Pierre Wolf
Slide 3
Questionnaire Unaformec RA d’auto évaluation
13. Gérer les anomalies
0,0
13.1. Tout défaut de fonctionnement constaté ou modification de fonctionnement souhaitée par un
partenaire ou acteur de l’Association, est enregistré dans une fiche d'anomalie gérée par un
responsable de l'Association -[Jamais, Rarement, Souvent, Toujours]-
0
13.2. Ces fiches d'anomalies sont utilisées par les membres de l'Association et le Bureau pour apporter
les corrections ou améliorations nécessaires - [Jamais, Rarement, Souvent, Toujours]-
0
14. Mesurer et améliorer les performances de l'Association
14.1. La Bureau de l’Association évalue les performances globale de l’Association par revue de
direction ou Questionnaire d'auto évaluation -[Jamais, Rarement, Souvent, Toujours]-
0
14.2. L’Association évalue systématiquement les performances de chacun de ses processus à l’aide
d’audits et d'indicateurs définis dans les procédures. -[Mal; un Peu; Bien; Très bien]-
0
14.3. Les fiches d'anomalie sont enregistrées et suivies par un Responsable de l'Association jusqu'à ce
qu'une solution ou une réponse y soit donnée. -[Mal; un Peu; Bien; Très bien]-
0
14.4. La Bureau de l’Association utilise les résultats des évaluations des formations réalisées et des
processus ainsi que les fiches d'anomalie pour déterminer, au cours de revues de direction, les
améliorations à apporter aux processus de l’Association. -[Jamais, Rarement, Souvent, Toujours]-
3
0,0
27/01/2007
0
Dr Pierre Wolf
Slide 4
Introduction
1. évaluation du choix de
l’expert
2. évaluation du cahier des
charges de son
intervention
4
27/01/2007
Dr Pierre Wolf
Slide 5
Introduction
• L’évaluation est « une démarche
consistant fondamentalement à porter
un jugement de valeur sur une
intervention (une pratique, une
organisation, un programme, une
politique) dans le but d’aider à la
décision » Constandriopoulos, 1991).
5
27/01/2007
Dr Pierre Wolf
Slide 6
Introduction
• Aussi, toute démarche évaluative
associe :
– une phase d’observation et de mesure
– à une phase de jugement
• ce qui implique de définir :
– des critères
– des instruments de mesure (indicateurs)
– et des points de comparaison
(référentiel, norme).
6
27/01/2007
Dr Pierre Wolf
Slide 7
Principes
• principe 1 : définir des questions évaluatives
communes aux différents acteurs
• principe 2 : élaborer un dispositif d’évaluation
– commanditaire
– évaluateur(s)
• principe 3 : préciser les destinataires de
l’évaluation
– pour quoi et pour qui ?
• principe 4 : préciser les finalités : 3 dimensions
– dimension cognitive
– dimension normative
– dimension instrumentale
7
27/01/2007
Dr Pierre Wolf
Slide 8
1ère ligne de partage
• dimension cognitive
– produire de l’information
– permettre une meilleure connaissance
• dimension normative
– notion de jugement de valeur
– analyser et interpréter les résultats à l’aune de
référentiels
• dimension instrumentale
– objectif d’aide à la décision
– ses conclusions doivent avoir des conséquences
opérationnelles, en terme d’inflexion du résultat
8
27/01/2007
Dr Pierre Wolf
Slide 9
2ème ligne de partage
autre ligne de partage plus pertinente
• évaluation formative
–
–
–
–
partie intégrante du processus
processus continu (roue de Deming)
outil permanent de pilotage du projet
démarche qualité
• évaluation normative
– sanctionnante, certificative
– permet de faire le point, de façon périodique, sur
l’atteinte des objectifs
– assurance qualité
9
27/01/2007
Dr Pierre Wolf
Slide 10
Principes
• principe 5 : trouver le bon moment de l’évaluation
– avant
• pertinence, qualité, intérêt
– pendant
• évaluation formative
– après
• évaluation de résultat
• principe 6 : définir une grille d’analyse
– que va-t-on évaluer ?
– avec quels outils ?
10
27/01/2007
Dr Pierre Wolf
Slide 11
Evaluation des enseignants
• Une histoire ancienne…
• Les étudiants de l’ Université Harvard
auraient été les premiers en 1924 à évaluer
les professeurs et en à publier les
résultats.
• L’opération s’est rapidement répandue dans
la plupart des autres universités nordaméricaines.
NORMAND S., BERNARD H. Les professeurs cliniciens se prononcent sur
l’évaluation de l’enseignement. Pédagogie médicale, novembre 2002
11
27/01/2007
Dr Pierre Wolf
Slide 12
Evaluation des enseignants
• Au Canada et au Québec, on voit les
premières traces de cette opération
dans les années soixante.
• De nos jours, pratiquement toutes les
universités nord-américaines procèdent
à l’évaluation de l’enseignement, et les
résultats sont très souvent accessibles
sur Internet.
• Par contre, l’évaluation de l’enseignement
reste une démarche peu répandue dans
de nombreux pays francophones.
Koumaré AK, Barrier JH., Normand S. Enquête sur la politique institutionnelle de l’évaluation de
l’enseignement dans les facultés de médecine francophones. XV° Journées Universitaires Francophones
de Pédagogie Médicale, Nancy 22-25 avril 2003 [on line] Disponible sur : www.cidmef.u-bordeaux2.fr
12
27/01/2007
Dr Pierre Wolf
Slide 13
Questions critiques
• Qui doit décider d’évaluer l’enseignement ?
– le maître d’ouvrage (financeur, décideur) ?
– le maître d’œuvre (responsable de la réalisation) ?
• Evaluation des experts :
oui, mais par quoi commencer :
– évaluation des programmes,
– évaluation des modules d’enseignement,
– évaluation des enseignants ?
• Quelle périodicité ?
BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K,
Nawar J, Pottier P, Quinton A, Toure M, L’évaluation de l'enseignement : pour quelles
décisions ? Pédagogie Médicale, novembre 2006
13
27/01/2007
Dr Pierre Wolf
Slide 14
Questions critiques
• Comment évaluer l’éthique de l’évaluation de
l’enseignement, des enseignants ?
– respect de l’anonymat
– utilisation et confidentialité des résultats
– entreprise éthique pour l’association de FMC
• Quel est l’impact de la diffusion de l’évaluation ?
• Quelle diffusion de l’évaluation des enseignants :
– aux étudiants
– faite par les étudiants
BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K,
Nawar J, Pottier P, Quinton A, Toure M, L’évaluation de l'enseignement : pour quelles
décisions ? Pédagogie Médicale, novembre 2006
14
27/01/2007
Dr Pierre Wolf
Slide 15
Questions critiques
• Peut-on proposer des actions correctives
aux experts mal évalués ?
• Quelles pourraient être les actions
positives à mettre en œuvre pour les
experts bien évalués ?
• Comment prendre en compte les
spécificités régionales de l’évaluation ?
• Evaluation de pratiques : que souhaitent les
médecins ?
• Est-ce que nous évaluons trop ?
BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K,
Nawar J, Pottier P, Quinton A, Toure M, L’évaluation de l'enseignement : pour quelles
décisions ? Pédagogie Médicale, novembre 2006
15
27/01/2007
Dr Pierre Wolf
Slide 16
Que ou qui faut-il évaluer ?
• un acte
– l’enseignement
– la formation
– la pratique
• une personne
–
–
–
–
16
l’enseignant
l’expert
le formateur
le participant
27/01/2007
Dr Pierre Wolf
Slide 17
Que faut-il évaluer ?
L’évaluation des enseignements et évaluation des formations
sont le plus souvent prises l'une pour l'autre mais sont aussi
peu dissociables.
• L'évaluation des enseignements
– plutôt individuelle
– risque davantage de remettre en cause l'enseignant lui-même
dans sa pratique
• L'évaluation des formations
– concerne une filière ou un diplôme
– bien plus répandue dans les universités que l'évaluation de
l'enseignement
– elle est plus collective, et de ce fait mieux acceptée
– elle heurte moins de front les enseignants et est considérée par
certaines équipes comme un moyen de sensibiliser les collègues à
l'utilité de l'évaluation.
• De plus, les questionnaires utilisés pour recueillir l'avis des
participants se rapprochent plus d’un recueil du « niveau de
satisfaction »
17
27/01/2007
Dr Pierre Wolf
Slide 18
Qui faut-il évaluer ?
Même si l'on prend la précaution de dire
que l'évaluation de l'enseignement n'est
pas l'évaluation des enseignants, peutêtre faut-il en fait s'interroger sur le
bien-fondé de cette distinction et se
demander si en fin de compte,
l'évaluation des enseignements ne
conduit pas quand même à une évaluation
indirecte des enseignants qui assurent
l'enseignement.
18
27/01/2007
Dr Pierre Wolf
Slide 19
Que ou qui faut-il évaluer ?
Dans le rapport EVALUE publié en 1998,
les auteurs de la partie consacrée à
l'évaluation de l'enseignement
écrivaient ceci :
« évaluer l'enseignement, c'est évaluer
deux domaines :
– la pratique de l’enseignement (teaching).
– la capacité des étudiants à apprendre et
la façon dont l’enseignement est reçu
(learning). »
19
27/01/2007
Dr Pierre Wolf
Slide 20
Que peut-on évaluer ?
La cohérence des enseignements, en particulier :
• la cohérence des filières par rapport à leurs
objectifs
– formulation des objectifs de la filière,
– explication et adoption de ces objectifs par les
enseignants,
– affichage de ces objectifs auprès des étudiants,
– respect de ces objectifs
• la cohérence interne de chaque filière
–
–
–
–
–
–
20
dans le temps,
dans les différents types d'enseignement,
cohérence de la formation et de la documentation,
animation d'équipes pédagogiques,
réunion de jurys d'examen,
aptitude d'un enseignant à se coordonner avec ses
collègues
27/01/2007
Dr Pierre Wolf
Slide 21
Que peut-on évaluer ?
Les qualités pédagogiques, comprenant
– un noyau dur :
• ponctualité, respect des horaires,
• disponibilité…
– et au-delà :
•
•
•
•
•
la qualité des exposés,
la maîtrise de la matière enseignée,
le degré de préparation de l’exposé,
la clarté et l'intérêt des exposés,
en cas d’actions pérennes, l'effort de renouvellement
des exposés pour les adapter aux progrès de la
recherche et aux évolutions technologiques,
• l'ouverture de l'enseignant aux disciplines voisines
• le plaisir à le faire
– l'intérêt porté aux participants
– la qualité de l'aide méthodologique apportée.
21
27/01/2007
Dr Pierre Wolf
Slide 22
Comment évaluer ?
• résultats aux examens
– idéalement, une véritable évaluation d'un
enseignement devrait permettre d'en apprécier
les effets,
– c'est-à-dire
• non seulement ce que les étudiants ont effectivement
appris,
• mais aussi ce qu'ils ont compris et acquis comme
compétences ou capacités.
• questionnaires
– papier
– informatique
22
27/01/2007
Dr Pierre Wolf
Slide 23
Intérêts
Parmi d'autres, elle est un des
éléments utiles :
– d'une nécessaire politique
d'amélioration de la qualité de
notre enseignement supérieur et
continu
– et de l'indispensable valorisation
des fonctions d'enseignement.
Dejean J. Evaluation de l’enseignement. Rapport établi à la demande du Haut
conseil de l’évaluation de l’école. Février 2002
23
27/01/2007
Dr Pierre Wolf
Slide 24
Intérêts
• De nombreux travaux, provenant le plus souvent de
pays d'Amérique du Nord où les pratiques
d'évaluation des enseignements sont bien plus
développées que dans notre pays, ont essayé de
répondre à cette question.
• Deux ouvrages en langue française d'universitaires
québécoises en rendent compte (Bernard, 1992 ;
Poissant, 1996).
• Mais tous ces travaux sont centrés :
– surtout sur les actions réalisées par l'enseignant dans son
enseignement,
– peu sur les effets de l'enseignement ou sur la
participation des étudiants au cycle enseignementapprentissage.
Dejean J. Evaluation de l’enseignement. Rapport établi à la demande du Haut conseil de l’évaluation de l’école. Février 2002
24
27/01/2007
Dr Pierre Wolf
Slide 25
Frein 1 : l’Université
• L'Université est un lieu où l'on apprend en
principe à raisonner, mais c'est en fait un
lieu où règne en maître la pensée magique
pour ce qui est de la formation des
enseignants : on pense qu'en les formant
(longuement) à la recherche, on en fait des
enseignants…
• Pourquoi s'étonner de l'ignorance de
nombreux enseignants en matière
d'évaluation quand on sait qu'ils ne
bénéficient d'aucune formation à la
pédagogie ?
25
27/01/2007
Dr Pierre Wolf
Slide 26
Frein 2
• Toutes les expériences et tous les travaux
existant à l'étranger en matière
d'évaluation de l'enseignement soulignent
l'absolue nécessité de proposer des moyens
de formation aux enseignants quand on met
en place un dispositif d'évaluation des
enseignements.
• Ces moyens ont été mis en place dans des
pays comme la Belgique, le Québec ou la
Suisse.
• La France possède un retard considérable
sur ce plan.
26
27/01/2007
Dr Pierre Wolf
Slide 27
Autres freins
• la passation des questionnaires
– leur conception
– quand
– comment
• le dépouillement des questionnaires
– quand
– comment
– coût
• l’analyse des résultats
• la validité des résultats
27
27/01/2007
Dr Pierre Wolf
Slide 28
Conclusion 1
A l’instar des universitaires qui ne
savent pas, le plus souvent, ce qu'est
l'évaluation, il n'est pas très étonnant
de constater que les acteurs de FMC
manquent souvent de compétences
pour concevoir des démarches et des
outils en la matière.
28
27/01/2007
Dr Pierre Wolf
Slide 29
Conclusion 2
• L’évaluation de l’enseignement doit
être systématiquement intégrée à
tout processus de formation
• Quatre domaines doivent être
systématiquement pris en compte :
– les objectifs de l’enseignement
– les moyens et les méthodes
d’enseignement
– le système d’évaluation lui-même
– la gouvernance institutionnelle
29
27/01/2007
Dr Pierre Wolf
Slide 30
Exemple – DAQUAR 07/04/2006
Noter entre 0 et 10
Répondre par
Que vous a apporté cette intervention ?
« 10 correspond à excellent
oui ou non
(cochez la ou les réponses choisies)
QUALITE DE LA
PRESENTATION
PERTINENCE DU
SUJET
LA COMMUNICATION
A-T-ELLE REPONDU A
VOS ATTENTES ?
DE
NOUVELLES
CONNAISSA
NCES
UNE
REACTUALIS
ATION DES
CONNAISSA
NCES
DES
ELEMENTS
DE
REFLEXION
La transfusion sanguine au CHU de Lyon
C. NEGRIER
La transfusion sanguine en France et en Europe
Ph ROUGER
Exposé des problématiques
JM. CHABOT
Point de vue d’un Président de Collège de spécialité
B. DUREUIL
Modalités de l’EPP
C. COLIN
EPP et V2 de la certification des établissements de santé
L. BERNARD
L’EPP au sein d’un CHU
V. PIRIOU
Point de vue du Conseil de l’Ordre des Médecins
J. DERRIEN
Point de vue d’un anesthésiste-réanimateur de CHU
B. BALLY
Point de vue d’un anesthésiste-réanimateur du secteur privé
JP. LANCON
Exemple d’une action d’EPP réussie : audit clinique ciblé sur l’antibioprophylaxie
A. LEPAPE
Réunions de morbidité/mortalité
JJ. LEHOT
Représentation des patients dans le système de santé
L. DALIGAND
30
27/01/2007
Point de vue du Président d’une association de défense des patients
L. VINCENT
Dr Pierre Wolf
Evaluation du choix de l’expert
(et du cahier des charges de son intervention)
Dr Pierre Wolf
AEU d’expertise en FMC et en pédagogie médicale
janvier 2007
Dr Pierre Wolf
Slide 2
Questionnaire Unaformec RA d’auto évaluation
10. Évaluer la formation
0,0
10.1. Une évaluation de la satisfaction des participants (formateurs, utilisateurs, expert) est faite à
chaque formation -[Jamais, Rarement, Souvent, Toujours]-
0
10.2. Les résultats des recueils d’opinion et de satisfaction (questionnaires de satisfaction, compilation
des opinions, autres informations recueillies) sont analysés pour chaque formation -[Jamais,
Rarement, Souvent, Toujours]-
10.3. L'Association tient compte de ces évaluations et analyses pour améliorer la réalisation de ses
formations -[Jamais, Rarement, Souvent, Toujours]-
0
10.4. Le résultat des évaluations de chaque formation est communiqué aux participants -[Jamais,
Rarement, Souvent, Toujours]-
0
10.5. Pour chaque formation toutes les évaluations prévues dans le dossier de conception sont
réalisées -[Jamais, Rarement, Souvent, Toujours]-
0
10.6.Vous mettez en œuvre une procédure d'évaluation de l'amélioration de la pratique, après un délai
à l'issue de la formation (cf. question 7.7) -[Jamais, Rarement, Souvent, Toujours]-
2
27/01/2007
0
0
Dr Pierre Wolf
Slide 3
Questionnaire Unaformec RA d’auto évaluation
13. Gérer les anomalies
0,0
13.1. Tout défaut de fonctionnement constaté ou modification de fonctionnement souhaitée par un
partenaire ou acteur de l’Association, est enregistré dans une fiche d'anomalie gérée par un
responsable de l'Association -[Jamais, Rarement, Souvent, Toujours]-
0
13.2. Ces fiches d'anomalies sont utilisées par les membres de l'Association et le Bureau pour apporter
les corrections ou améliorations nécessaires - [Jamais, Rarement, Souvent, Toujours]-
0
14. Mesurer et améliorer les performances de l'Association
14.1. La Bureau de l’Association évalue les performances globale de l’Association par revue de
direction ou Questionnaire d'auto évaluation -[Jamais, Rarement, Souvent, Toujours]-
0
14.2. L’Association évalue systématiquement les performances de chacun de ses processus à l’aide
d’audits et d'indicateurs définis dans les procédures. -[Mal; un Peu; Bien; Très bien]-
0
14.3. Les fiches d'anomalie sont enregistrées et suivies par un Responsable de l'Association jusqu'à ce
qu'une solution ou une réponse y soit donnée. -[Mal; un Peu; Bien; Très bien]-
0
14.4. La Bureau de l’Association utilise les résultats des évaluations des formations réalisées et des
processus ainsi que les fiches d'anomalie pour déterminer, au cours de revues de direction, les
améliorations à apporter aux processus de l’Association. -[Jamais, Rarement, Souvent, Toujours]-
3
0,0
27/01/2007
0
Dr Pierre Wolf
Slide 4
Introduction
1. évaluation du choix de
l’expert
2. évaluation du cahier des
charges de son
intervention
4
27/01/2007
Dr Pierre Wolf
Slide 5
Introduction
• L’évaluation est « une démarche
consistant fondamentalement à porter
un jugement de valeur sur une
intervention (une pratique, une
organisation, un programme, une
politique) dans le but d’aider à la
décision » Constandriopoulos, 1991).
5
27/01/2007
Dr Pierre Wolf
Slide 6
Introduction
• Aussi, toute démarche évaluative
associe :
– une phase d’observation et de mesure
– à une phase de jugement
• ce qui implique de définir :
– des critères
– des instruments de mesure (indicateurs)
– et des points de comparaison
(référentiel, norme).
6
27/01/2007
Dr Pierre Wolf
Slide 7
Principes
• principe 1 : définir des questions évaluatives
communes aux différents acteurs
• principe 2 : élaborer un dispositif d’évaluation
– commanditaire
– évaluateur(s)
• principe 3 : préciser les destinataires de
l’évaluation
– pour quoi et pour qui ?
• principe 4 : préciser les finalités : 3 dimensions
– dimension cognitive
– dimension normative
– dimension instrumentale
7
27/01/2007
Dr Pierre Wolf
Slide 8
1ère ligne de partage
• dimension cognitive
– produire de l’information
– permettre une meilleure connaissance
• dimension normative
– notion de jugement de valeur
– analyser et interpréter les résultats à l’aune de
référentiels
• dimension instrumentale
– objectif d’aide à la décision
– ses conclusions doivent avoir des conséquences
opérationnelles, en terme d’inflexion du résultat
8
27/01/2007
Dr Pierre Wolf
Slide 9
2ème ligne de partage
autre ligne de partage plus pertinente
• évaluation formative
–
–
–
–
partie intégrante du processus
processus continu (roue de Deming)
outil permanent de pilotage du projet
démarche qualité
• évaluation normative
– sanctionnante, certificative
– permet de faire le point, de façon périodique, sur
l’atteinte des objectifs
– assurance qualité
9
27/01/2007
Dr Pierre Wolf
Slide 10
Principes
• principe 5 : trouver le bon moment de l’évaluation
– avant
• pertinence, qualité, intérêt
– pendant
• évaluation formative
– après
• évaluation de résultat
• principe 6 : définir une grille d’analyse
– que va-t-on évaluer ?
– avec quels outils ?
10
27/01/2007
Dr Pierre Wolf
Slide 11
Evaluation des enseignants
• Une histoire ancienne…
• Les étudiants de l’ Université Harvard
auraient été les premiers en 1924 à évaluer
les professeurs et en à publier les
résultats.
• L’opération s’est rapidement répandue dans
la plupart des autres universités nordaméricaines.
NORMAND S., BERNARD H. Les professeurs cliniciens se prononcent sur
l’évaluation de l’enseignement. Pédagogie médicale, novembre 2002
11
27/01/2007
Dr Pierre Wolf
Slide 12
Evaluation des enseignants
• Au Canada et au Québec, on voit les
premières traces de cette opération
dans les années soixante.
• De nos jours, pratiquement toutes les
universités nord-américaines procèdent
à l’évaluation de l’enseignement, et les
résultats sont très souvent accessibles
sur Internet.
• Par contre, l’évaluation de l’enseignement
reste une démarche peu répandue dans
de nombreux pays francophones.
Koumaré AK, Barrier JH., Normand S. Enquête sur la politique institutionnelle de l’évaluation de
l’enseignement dans les facultés de médecine francophones. XV° Journées Universitaires Francophones
de Pédagogie Médicale, Nancy 22-25 avril 2003 [on line] Disponible sur : www.cidmef.u-bordeaux2.fr
12
27/01/2007
Dr Pierre Wolf
Slide 13
Questions critiques
• Qui doit décider d’évaluer l’enseignement ?
– le maître d’ouvrage (financeur, décideur) ?
– le maître d’œuvre (responsable de la réalisation) ?
• Evaluation des experts :
oui, mais par quoi commencer :
– évaluation des programmes,
– évaluation des modules d’enseignement,
– évaluation des enseignants ?
• Quelle périodicité ?
BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K,
Nawar J, Pottier P, Quinton A, Toure M, L’évaluation de l'enseignement : pour quelles
décisions ? Pédagogie Médicale, novembre 2006
13
27/01/2007
Dr Pierre Wolf
Slide 14
Questions critiques
• Comment évaluer l’éthique de l’évaluation de
l’enseignement, des enseignants ?
– respect de l’anonymat
– utilisation et confidentialité des résultats
– entreprise éthique pour l’association de FMC
• Quel est l’impact de la diffusion de l’évaluation ?
• Quelle diffusion de l’évaluation des enseignants :
– aux étudiants
– faite par les étudiants
BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K,
Nawar J, Pottier P, Quinton A, Toure M, L’évaluation de l'enseignement : pour quelles
décisions ? Pédagogie Médicale, novembre 2006
14
27/01/2007
Dr Pierre Wolf
Slide 15
Questions critiques
• Peut-on proposer des actions correctives
aux experts mal évalués ?
• Quelles pourraient être les actions
positives à mettre en œuvre pour les
experts bien évalués ?
• Comment prendre en compte les
spécificités régionales de l’évaluation ?
• Evaluation de pratiques : que souhaitent les
médecins ?
• Est-ce que nous évaluons trop ?
BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K,
Nawar J, Pottier P, Quinton A, Toure M, L’évaluation de l'enseignement : pour quelles
décisions ? Pédagogie Médicale, novembre 2006
15
27/01/2007
Dr Pierre Wolf
Slide 16
Que ou qui faut-il évaluer ?
• un acte
– l’enseignement
– la formation
– la pratique
• une personne
–
–
–
–
16
l’enseignant
l’expert
le formateur
le participant
27/01/2007
Dr Pierre Wolf
Slide 17
Que faut-il évaluer ?
L’évaluation des enseignements et évaluation des formations
sont le plus souvent prises l'une pour l'autre mais sont aussi
peu dissociables.
• L'évaluation des enseignements
– plutôt individuelle
– risque davantage de remettre en cause l'enseignant lui-même
dans sa pratique
• L'évaluation des formations
– concerne une filière ou un diplôme
– bien plus répandue dans les universités que l'évaluation de
l'enseignement
– elle est plus collective, et de ce fait mieux acceptée
– elle heurte moins de front les enseignants et est considérée par
certaines équipes comme un moyen de sensibiliser les collègues à
l'utilité de l'évaluation.
• De plus, les questionnaires utilisés pour recueillir l'avis des
participants se rapprochent plus d’un recueil du « niveau de
satisfaction »
17
27/01/2007
Dr Pierre Wolf
Slide 18
Qui faut-il évaluer ?
Même si l'on prend la précaution de dire
que l'évaluation de l'enseignement n'est
pas l'évaluation des enseignants, peutêtre faut-il en fait s'interroger sur le
bien-fondé de cette distinction et se
demander si en fin de compte,
l'évaluation des enseignements ne
conduit pas quand même à une évaluation
indirecte des enseignants qui assurent
l'enseignement.
18
27/01/2007
Dr Pierre Wolf
Slide 19
Que ou qui faut-il évaluer ?
Dans le rapport EVALUE publié en 1998,
les auteurs de la partie consacrée à
l'évaluation de l'enseignement
écrivaient ceci :
« évaluer l'enseignement, c'est évaluer
deux domaines :
– la pratique de l’enseignement (teaching).
– la capacité des étudiants à apprendre et
la façon dont l’enseignement est reçu
(learning). »
19
27/01/2007
Dr Pierre Wolf
Slide 20
Que peut-on évaluer ?
La cohérence des enseignements, en particulier :
• la cohérence des filières par rapport à leurs
objectifs
– formulation des objectifs de la filière,
– explication et adoption de ces objectifs par les
enseignants,
– affichage de ces objectifs auprès des étudiants,
– respect de ces objectifs
• la cohérence interne de chaque filière
–
–
–
–
–
–
20
dans le temps,
dans les différents types d'enseignement,
cohérence de la formation et de la documentation,
animation d'équipes pédagogiques,
réunion de jurys d'examen,
aptitude d'un enseignant à se coordonner avec ses
collègues
27/01/2007
Dr Pierre Wolf
Slide 21
Que peut-on évaluer ?
Les qualités pédagogiques, comprenant
– un noyau dur :
• ponctualité, respect des horaires,
• disponibilité…
– et au-delà :
•
•
•
•
•
la qualité des exposés,
la maîtrise de la matière enseignée,
le degré de préparation de l’exposé,
la clarté et l'intérêt des exposés,
en cas d’actions pérennes, l'effort de renouvellement
des exposés pour les adapter aux progrès de la
recherche et aux évolutions technologiques,
• l'ouverture de l'enseignant aux disciplines voisines
• le plaisir à le faire
– l'intérêt porté aux participants
– la qualité de l'aide méthodologique apportée.
21
27/01/2007
Dr Pierre Wolf
Slide 22
Comment évaluer ?
• résultats aux examens
– idéalement, une véritable évaluation d'un
enseignement devrait permettre d'en apprécier
les effets,
– c'est-à-dire
• non seulement ce que les étudiants ont effectivement
appris,
• mais aussi ce qu'ils ont compris et acquis comme
compétences ou capacités.
• questionnaires
– papier
– informatique
22
27/01/2007
Dr Pierre Wolf
Slide 23
Intérêts
Parmi d'autres, elle est un des
éléments utiles :
– d'une nécessaire politique
d'amélioration de la qualité de
notre enseignement supérieur et
continu
– et de l'indispensable valorisation
des fonctions d'enseignement.
Dejean J. Evaluation de l’enseignement. Rapport établi à la demande du Haut
conseil de l’évaluation de l’école. Février 2002
23
27/01/2007
Dr Pierre Wolf
Slide 24
Intérêts
• De nombreux travaux, provenant le plus souvent de
pays d'Amérique du Nord où les pratiques
d'évaluation des enseignements sont bien plus
développées que dans notre pays, ont essayé de
répondre à cette question.
• Deux ouvrages en langue française d'universitaires
québécoises en rendent compte (Bernard, 1992 ;
Poissant, 1996).
• Mais tous ces travaux sont centrés :
– surtout sur les actions réalisées par l'enseignant dans son
enseignement,
– peu sur les effets de l'enseignement ou sur la
participation des étudiants au cycle enseignementapprentissage.
Dejean J. Evaluation de l’enseignement. Rapport établi à la demande du Haut conseil de l’évaluation de l’école. Février 2002
24
27/01/2007
Dr Pierre Wolf
Slide 25
Frein 1 : l’Université
• L'Université est un lieu où l'on apprend en
principe à raisonner, mais c'est en fait un
lieu où règne en maître la pensée magique
pour ce qui est de la formation des
enseignants : on pense qu'en les formant
(longuement) à la recherche, on en fait des
enseignants…
• Pourquoi s'étonner de l'ignorance de
nombreux enseignants en matière
d'évaluation quand on sait qu'ils ne
bénéficient d'aucune formation à la
pédagogie ?
25
27/01/2007
Dr Pierre Wolf
Slide 26
Frein 2
• Toutes les expériences et tous les travaux
existant à l'étranger en matière
d'évaluation de l'enseignement soulignent
l'absolue nécessité de proposer des moyens
de formation aux enseignants quand on met
en place un dispositif d'évaluation des
enseignements.
• Ces moyens ont été mis en place dans des
pays comme la Belgique, le Québec ou la
Suisse.
• La France possède un retard considérable
sur ce plan.
26
27/01/2007
Dr Pierre Wolf
Slide 27
Autres freins
• la passation des questionnaires
– leur conception
– quand
– comment
• le dépouillement des questionnaires
– quand
– comment
– coût
• l’analyse des résultats
• la validité des résultats
27
27/01/2007
Dr Pierre Wolf
Slide 28
Conclusion 1
A l’instar des universitaires qui ne
savent pas, le plus souvent, ce qu'est
l'évaluation, il n'est pas très étonnant
de constater que les acteurs de FMC
manquent souvent de compétences
pour concevoir des démarches et des
outils en la matière.
28
27/01/2007
Dr Pierre Wolf
Slide 29
Conclusion 2
• L’évaluation de l’enseignement doit
être systématiquement intégrée à
tout processus de formation
• Quatre domaines doivent être
systématiquement pris en compte :
– les objectifs de l’enseignement
– les moyens et les méthodes
d’enseignement
– le système d’évaluation lui-même
– la gouvernance institutionnelle
29
27/01/2007
Dr Pierre Wolf
Slide 30
Exemple – DAQUAR 07/04/2006
Noter entre 0 et 10
Répondre par
Que vous a apporté cette intervention ?
« 10 correspond à excellent
oui ou non
(cochez la ou les réponses choisies)
QUALITE DE LA
PRESENTATION
PERTINENCE DU
SUJET
LA COMMUNICATION
A-T-ELLE REPONDU A
VOS ATTENTES ?
DE
NOUVELLES
CONNAISSA
NCES
UNE
REACTUALIS
ATION DES
CONNAISSA
NCES
DES
ELEMENTS
DE
REFLEXION
La transfusion sanguine au CHU de Lyon
C. NEGRIER
La transfusion sanguine en France et en Europe
Ph ROUGER
Exposé des problématiques
JM. CHABOT
Point de vue d’un Président de Collège de spécialité
B. DUREUIL
Modalités de l’EPP
C. COLIN
EPP et V2 de la certification des établissements de santé
L. BERNARD
L’EPP au sein d’un CHU
V. PIRIOU
Point de vue du Conseil de l’Ordre des Médecins
J. DERRIEN
Point de vue d’un anesthésiste-réanimateur de CHU
B. BALLY
Point de vue d’un anesthésiste-réanimateur du secteur privé
JP. LANCON
Exemple d’une action d’EPP réussie : audit clinique ciblé sur l’antibioprophylaxie
A. LEPAPE
Réunions de morbidité/mortalité
JJ. LEHOT
Représentation des patients dans le système de santé
L. DALIGAND
30
27/01/2007
Point de vue du Président d’une association de défense des patients
L. VINCENT
Dr Pierre Wolf