Transcript Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de l’information sur Internet Journée d’étude du 31

Les nouvelles formes d’évaluation
scientifique : quelles évolutions en
sciences, technique et médecine ?
Validation et évaluation de
l’information sur Internet
Journée d’étude du 31 janvier 2007
Ministère de la Recherche, Amphithéâtre Poincaré
Manuel Durand-Barthez, SCD Toulouse 3
2 types d’évaluation:
 A priori, qualitative, par
les pairs (peer reviewing)
 A posteriori, quantitative,
par les citations
(bibliométrique)
Définition du problème
Nécessité de promouvoir
des alternatives de type
qualitatif par rapport au
modèle dominant
quantitatif
Méthode
 Démonter le système quantitatif
(bibliométrie) qui trop souvent régit
en amont la soumission d’article
 Réformer ce système de l’intérieur
 Introduire une évaluation
qualitative coopérative
 Y associer étroitement l’OAI
L’EVALUATION DES PUBLICATIONS
SCIENTIFIQUES
Depuis 1960, modèle quasi
monopolistique:
ISI (Institute of scientific
Information – Philadelphie)
[Groupe U.S. Thomson Inc.]
EVALUATION DES AUTEURS
S.C.I. (Science Citation Index)
9300 titres revendiqués
sur la Plate-Forme propriétaire
de l’ISI
WEB OF SCIENCE (WoS)
EVALUATION DES SOURCES
(Titres des revues)
JOURNAL CITATION REPORT
(J.C.R.)
Tableau statistique annuel
paraît au Printemps de l’année « n+1 »
2005: + de 6000 titres analysés
Journal: EMBO J
Impact Factor: 10. 053
Cites in 2005 to articles published in:
Number of articles published in:
2004 = 4314
2003 = 6624
03+04 = 10938
2004 = 462
2003 = 626
03+04 = 1088
Calculation:
Cites to recent articles
10938
------------------------------ = ---------- = 10.053
Number of recent articles
1088
Le calcul sur deux ans n'est pas forcément le
plus adapté à toutes les spécialités :
Certaines peuvent mieux supporter
5 ans de délai
Notamment parce que la nature des articles
publiés possède un caractère plus pérenne et
plus fondamental, appréciable (et donc
"citable") sur une plus longue durée
Facteurs de pondération:
- Périodicité + ou – grande: 2 ou 52 num. par an ?
- Nombre d’articles par numéro
- Changement de titre en cours d’année
- « Jeune » périodique (libre, par ex.)
- Nombre de textes type « review »
- Langue, alphabet
- Autocitations
Scholar Google
 Une réplique « ouverte » du W.O.S.
 Pas d’exploitation « sophistiquée » des
données
 Délimitation du corpus inconnue et
mouvante
Lien vers Nature
10è référence
Citée 511 fois
La « Fronde »
Publication d’articles
polémiques, notamment
dans Nature
Citebase et Citeseer
Une autre conception du Facteur
d’Impact
 Des expériences fondées sur l’OAI
 Comparaisons portant sur:
- Nb. de téléchargements
- Nb. de citations générées
- Temps écoulé entre ces deux
actions
- Cycle de la publication (long terme)
CiteSeer
Facteur de HIRSCH
Calcul d’une moyenne faisant
coïncider:
 Nb de Publications et
 Nb de Citations
= indice h
Il y associe un indice m
portant sur la durée n
(nombre d’années)
résultant de la pente
(slope) h versus n
•m  1 (h = 20 après 20 ans d’activité) :
chercheur de « bon niveau »
•m  2 (h = 40 après 20 ans d’activité) :
chercheur responsable d’une équipe de
haut niveau dans une université très cotée
•m ≥ 3 (h = 60 après 20 ans d’activité,
voire 90 après 30 ans) : chercheur hors
pair, Nobel etc…
EVALUATION
QUALITATIVE
(hors Citations)
Le Peer Reviewing classique
 2 referees en principe anonymes
 Arbitrage par l’Editor in Chief
 1 (rarement 2) « navettes »
 Voir les Recommandations aux
Auteurs
Exemple de la Charte de
l’American Chemical Society
L’évaluation qualitative
coopérative
arXiv
Citeseer
F1000
Communication / Evaluation
intracommunautaire
 ≈ 1990: espaces de données
GOPHER, interface VERONICA puis
navigateur MOSAIC
 Vérification mutuelle d’expériences
 Foisonnement des échanges
d’évaluation intracommunautaires
 Modèle actuel majoritaire préféré à
l’exposition publique…
Citeseer – Commentaire en ligne
Addition du Commentaire
Evaluation a priori partagée - Modèle de Rodriguez et al.
The convergence of digital libraries and the peer-review process
[2006]
Faculty of 1000 (1)
Recommended
F1000
Factor 3.1
Must Read
F1000
Factor 6.2
Exceptional
F1000
Factor
10.7
"Recommended" Recommended reading
for a section (i.e. of specialist interest)
(F1000 Biology rating of 3)
"Must read" Must read for more than one
subject/section (i.e. of general interest)
(F1000 Biology rating of 6),
"Exceptional" A landmark paper
representing the top 1% of publications
(F1000 Biology rating of 9).
Fac of 1000 (2)
 F1000 Factor = Moyenne des 2
scores les plus élevés + (Somme de
tous les Scores/30)
 Exemple: 3 examinateurs, 2 attribuent la
mention Must Read, le 3è décerne
l’Exceptional => on a un F1000 Factor de
(6+9)/2 + (6+6+9)/30 = 8,2
 Ceci correspond à un "Exceptional"
rating badge.
F1000 – Les « perles cachées »
 Signalement périodique d’articles
issus de revues « prestigieuses » à
faible impact : Hidden Jewels
 Analogie avec le Journal Status
de Bollen opposant revues
« popular» vs. « prestigious »
Citation et Accès libre
 Les articles en accès libre sur le
Web sont cités de 2,5 à 7 fois plus
que les autres
 La philosophie de l’accès libre n’a
pas la citation pour objectif principal
mais de fait, il la facilite
Pour conclure
 La citation: un problème
déontologique ?
 Son ampleur et ses dérapages
n’impliquent-ils pas une action
de la communauté scientifique ?
 Importance d’un travail
coopératif sur les alternatives
Sources (1)
Lefèbvre, Muriel (Urfist Toulouse)
Vers une remise en question des
modalités traditionnelles
d'évaluation des savoirs
scientifiques ? (13/04/2006)
http://archivesic.ccsd.cnrs.fr/sic_00112197
Sources (2)
http://isiwebofknowledge.com/
http://arxiv.org
http://citebase.org
http://citeseer.ist.psu.edu
http://scholar.google.com
http://www.f1000biology.com/home/
Sources (3)
 Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46)
16569-16572
www.pnas.org/cgi/doi/10.1073/pnas.0507655102
 Rodriguez, Marko A.; Bollen, Johan; Van de Sompel,
Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9
Jan 2006
http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.
pdf
 Les mêmes: The convergence of digital libraries and
the peer-review process 2006
http://arxiv.org/ftp/cs/papers/0504/0504084.pdf