Transcript ntervention de Alain Cappy, conseiller scientifique à l`INSIS

L’évaluation des unités de
recherche et des chercheurs
Journée des entrants INSIS
24 Mai 2011
[email protected]
INSIS
Organisation de la recherche
1. Pilotage: HCST (Prés.), DGRI (Min.), la SNRI
2. Coordination nationale: Les 5 alliances
(AVIESAN, ANCRE, ALLISTENE et AllEnvi et
ATHENA) dans chacun des axes prioritaires
de recherche
3. Les opérateurs et agences de financement
(Universités, CNRS, INSERM, ANR…)
Une organisation assez récente: ANR (2005), LRU
(2007), alliances (2008, 2010), SNRI (2009)
INSIS
L’évaluation
• 4 niveaux d’évaluation
– Les établissements et organismes
– Les unités de recherche
– Les formations
– Les personnels
• Volonté d’un changement des pratiques d’évaluation: séparation
entre évaluation et pilotage.
• Création en 2007 de l’Agence de l’Evaluation de la Recherche et de
l’Enseignement Supérieur (AERES) ‘indépendante et transparente’.
• But: atteindre les standards internationaux et améliorer l’efficacité
du système.
INSIS
Les 3 missions de l’AERES
– Évaluer les organismes de recherche (INSERM,
CEA, CNRS...) et les universités en prenant en
compte toutes leurs missions et leurs activités.
– Évaluer l’activité de recherche des laboratoires
et unités de ces institutions
– Évaluer les formations du système
d’enseignement supérieur français (LMD)
4
L’évaluation intégrée
– Logique de site, par exemple une université
1- Évaluation des laboratoires, des formations et
des écoles doctorales
 Synthèses de site
2- Évaluation de l’université dans un second temps
– De nombreux cas particulier toutefois ( les écoles,
les organismes aux missions variées….)
5
L’organisation de l’AERES
6
Fait et ne fait pas
• AERES évalue et NE décide PAS
Accréditation et financement reviennent aux Universités,
Organismes, Etat,…
• AERES évalue la recherche ET la formation :
Les sections Recherche et formation travaillent de
concert. 70% des délégués scientifiques sont communs
aux deux sections:
• Fertilisation croisée
• Master et doctorat sont liés aux groupes de recherche
• L’évaluation des universités (tâche 3) requiert de connaître celle
des recherches et formations (tâches 1 et 2).
• AERES N’évalue PAS les individus
Des représentants des instances d’évaluation des Ch. et
EC sont intégrés à différents niveaux de l’AERES :
• Conseil de l’AERES
• Comités d’experts visitant les laboratoires
7
Les 3 sections
• Section 1 (Institutions)
Évalue les universités et organismes de recherche,
– Valide les processus d’évaluation du personnel
scientifique des ces institutions
• Section 2 (Unités de recherche)
Évalue les unités de recherche ET les équipes de
ces institutions par
– Évaluation directe,
– ou accord avec ces institutions si leurs processus sont
validés.
• Section 3 (Formation)
Évalue licence, master et doctorat par
– Évaluation directe,
– ou accord avec les institutions si leurs processus sont
validés.
8
Un accroissement des
missions
• Les TGI
Ce sont les grandes infrastructures de recherche:
accélérateurs de particules (LHC), sources de
neutrons (LLB), les synchrotrons (soleil)….
• les RTRA et les fondations
• L’international
Depuis 2010, l’AERES est membre de
plein droit de l’association des agences européennes
“ENQA” (The European Association for Quality
Assurance in Higher Education) ;
et l’AERES a été inscrite au registre européen “EQAR”
(The European Quality Assurance Register for Higher
Education)
9
Evaluation
des unités de recherche
• Objet: évaluation de toutes les unités de
recherche fonctionnant avec des fonds publics
– 700 unités de recherche évaluées en 2010 par
4500 experts (peer review)
– 60 universités, écoles et agences
– 2000 formations par 700 experts.
• Couvrant TOUS les organismes de recherche
recevant des fonds publics, y compris les
universités privées, la recherche culturelle ou
architecturale et peut être, la recherche clinique
… en utilisant une méthodologie et un référentiel
10
homogène.
Quelques principes
• Quoi?
– Une évaluation orientée vers le progression de la structure
évaluée, dans une logique de site.
– L’évaluation est un regard extérieur sur une
autoévaluation.
– associant quantitatif (production) et qualitatif (impact,
importance, prise de risque,…).
• Qui?
– une évaluation basée sur l’appréciation par les pairs.
– des délégués scientifiques à temps partiel
– des visites par une large base d’experts (4500) nationaux et
internationaux (2010 ~ 20%, objectif : 50%)
11
Passage d’un rythme
quadriennal …..
2010
2011
2008
2009
12
à un rythme
quinquennal
13
Un rythme quinquennal
Académies Académies
vague A
vague B
Bordeaux :
Grenoble
Lyon
Toulouse
Académies Académies Académies
vague C
vague D
vague E
Besançon
Aix-Marseille
Caen :
Amiens
Clermont-Ferrand :
Corse
Dijon
Limoges
Guadeloupe
Nancy-Metz :
Guyane
Nice :
Martinique
Poitiers
Nantes
Reims
Tours
Strasbourg
Rennes
Réunion
Rouen
Créteil
Paris
Lille
Montpellier
Versailles
14
Processus d’évaluation
des Unités de recherche
4 étapes :
Préparation: autoévaluation de l’unité de recherches. Bilan et
projet scientifique
Visite: 4 à 15 experts, 1à 3 jours, exposés et visite des
laboratoires, rencontre avec les personnels
Rapport: rédaction par le comité, une partie sur le laboratoire,
et une partie pour chacune des équipes de recherche
Cotation: attribution de notes au laboratoires et aux équipes
15
Rédaction du rapport
Le rapport est
- préparé par le président du comité d’experts
- vérifié par le Délégué Scientifique de l’AERES (test de qualité)
- envoyé aux entités évaluées et à la tutelle principale pour
observations
- Fourniture finale = rapport + observations + notes
Le « retour » de l’unité évaluée est intégré ici
16
Notation des équipes et unités
de recherche (1)
• Une approche délibérément anti-algorithmique.
• Combine données quantitatives et qualitatives.
• Met l’accent sur les résultats marquants plus que
sur les valeurs moyennes.
17
Notation des équipes et unités
de recherche (2)
• Quatre critères:
–
–
–
–
Production (Qualité, quantité, impact)
Attractivité (nationale, internationale,..)
Stratégie, pilotage
Projet
• Plus une note globale
• Chaque note est sur 4 niveaux: A+, A, B
et C
18
Notation multicritères:
La production scientifique
A+ : leadership international
La production de cette unité est au meilleur niveau international.
C’est une référence incontournable dans son domaine. Plusieurs
de ses productions ont été distinguées par des invitations à des
conférences majeures, des prix, une valorisation significative.
A : production visible internationalement
La production de cette unité est excellente dans le paysage
national. Elle est bien visible au niveau international sans atteindre
les positions de leader des unités A+. Bien inscrite dans des
actions internationales, elle a apporté plusieurs contributions très
importantes.
19
Echelle de notation multicritères
B : importance nationale
La production de cette unité est solide. Elle contribue
significativement à la production de connaissances mais
sa visibilité internationale reste limitée.
C : la production de cette unité doit être notablement
améliorée pour atteindre la qualité attendue d’unités
disposant de moyens et de missions analogues.
20
Notation des équipes et unités
de recherche (3)
• La notation n’est pas définie par le comité
d’experts (inhomogénéité, effet avocat…).
• La notation est effectuée par des panels
‘thématiques’ regroupant les présidents de
comité d’experts et des délégués de
l’AERES.
• Les notes ne se substituent pas au rapport
qui contient beaucoup plus d’informations…
21
Bilan annuel
Pour les ‘Sciences et Technologies’
• 150 à 200 unités évaluées et notées
• 600 à 800 équipes évaluées et notées
• Correspondant environ 5000 ‘ETP chercheurs’
• 5-6000 EC *0.5 + 2-3000C
• Soit 7-8000 permanents
22
Notations par domaine: vague B 2011
23
Notations par domaine: vague A 2010
24
Assurance qualité
Transparence et indépendance
dans tous les processus
- processus explicités dans des
documents publics,
- résultats publiés (web),
- dispositif d’amélioration du
processus
- Accréditation européenne
25
Evaluation des personnels
• Chercheurs
– Par les Pairs ( production scientifique, projets…)
– Par l’employeur ( recrutement, promotions)
INSIS
Évaluation des chercheurs : Le CoNRS
• Composition:
– 40 sections disciplinaires et 5 interdisciplinaires
– Membres élu(e)s et nommé(e)s
• Parmi ses missions:
– Admissibilité chercheurs
– Propositions de promotions chercheurs
– Propositions de création/fermeture d’unités CNRS
– ……..
INSIS
Évaluation de l'activité des chercheurs
• Un compte rendu annuel d'activité (CRAC)
• Un rapport d'activité biannuel accompagné de la liste
des publications. Critères d’évaluation:
- La qualité de la production scientifique
- La mobilité, l'ouverture vers les entreprises, les
activités d'enseignement et de diffusion de la
science et, plus généralement, tous les aspects du
métier de chercheur sont également pris en compte.
INSIS
Les promotions (1)
Critères communs à tous les grades
● Contribution scientifique : publications, prototypes, logiciels,
originalité des travaux, prise de risque, projets collaboratifs
nationaux ou internationaux, reconnaissance nationale ou
internationale (prix, distinctions, etc.),
● Valorisation : impact technologique et/ou économique des
activités de recherche sur contrat ou de consultance, dépôts de
brevets, participation à la création d’entreprises
● Encadrement doctoral et enseignement : encadrement et devenir
de doctorants et post-doctorants, diffusion de la culture scientifique,
participation à l’enseignement
● Mobilité et relations internationales : mobilité géographique,
collaborations internationales, mobilité thématique
INSIS
Les promotions (2)
Critères spécifiques selon les grades
Chercheurs CR2
● Mise en œuvre d’un projet scientifique personnel
Chercheurs CR1
● Responsabilités et animation : responsabilités dans la
communauté scientifique nationale ou internationale (comités
scientifiques, instances consultatives, organisation de congrès, etc.)
● Dynamisme, leadership
Chercheurs DR2
● Responsabilités et animation : direction d’équipe, management
de la recherche, responsabilités dans la communauté scientifique
nationale ou internationale (comités scientifiques, instances
consultatives, organisation de congrès, etc.)
● Rayonnement scientifique
Chercheurs DR1
● Impact accru des critères DR2
Chercheurs DRCE
● Impact accru des critères DR1
INSIS
Quelques observations en guise de conclusion
• Equipe de recherche : Chercheurs+enseignants-chercheurs+ IT
– Evaluation de l’activité de l’équipe par l’AERES
Mais:
– Evaluation des chercheurs par le CoNRS
– Evaluation des enseignants-chercheurs: CNU et pas CoNRS
– Evaluation des IT par le CNRS et l’établissement
d’enseignement supérieur
• Une procédure d’ évaluation des personnels complexe et
complètement indépendante de celle de l’AERES
• Valeur ajoutée du groupe (1+1>2) difficilement prise en compte
dans l’évaluations des personnes
• Une dérive nette dans la production scientifique vers une tendance
à faire du ‘chiffre’ (augmentation du nombre des revues et des
conférences, augmentation du nombre des auteurs ,….)
• L’impact d’une production scientifique est plus important que son
volume
INSIS
• Merci de votre attention
INSIS