Transcript http://www.sciencecartoonsplus.com/ Nick Kim, www.nearingzero.net Nick Kim, www.nearingzero.net Les projets d’archives ouvertes : état des lieux des initiatives au plan international, européen et.

http://www.sciencecartoonsplus.com/
Nick Kim, www.nearingzero.net
Nick Kim, www.nearingzero.net
Les projets d’archives ouvertes :
état des lieux des initiatives
au plan international, européen et français
•
•
•
•
•
•
•
Modérateurs :
Francis ANDRE, INIST-CNRS, Chargé de Mission à la Mission de l'Information et de la Culture
scientifiques et techniques, Ministère délégué à l'Enseignement Supérieur et à la Recherche
Marie-Dominique HEUSSE, Directrice du SICD Université de Toulouse 1, Présidente de l'ADBU
Exposé introductif
Jean-Claude GUEDON, Professeur titulaire en littérature comparée, Université de Montréal, membre
du CA du Information program de l'Open Society Institute
La politique communautaire sur l'information scientifique à l'ère numérique: l'accès, la
diffusion et la préservation
Javier HERNANDEZ-ROS, Chef de l' Unité Bibliothèques numériques et Information du secteur
public - Direction Générale sur la Société de l' Information et les Médias , Commission européenne
Table ronde avec
Ghislaine CHARTRON, Professeur, Chaire d'Ingénierie documentaire, Conservatoire national des
arts et métiers
Olivier ERTZSCHEID, Maître de Conférences en Sciences de l'information et de la communication,
IUT de la Roche-sur-Yon
Alexandra MENDOZA-CAMINADE, Maître de conférence en Droit, Université des Sciences
sociales Toulouse 1
Pitch
• la question de l'évaluation, et la manière dont ces
archives, dans leur histoire, leur "philosophie" et
leurs résultats, amènent à penser différemment la
question de l'évaluation de la recherche au plan
national et international
• Retour sur les modèles "alternatifs" à l’évaluation
(qualitative = peer-reviewing) et à l’évaluation
quantitative (= impact factor, mesure de citation)
actuellement en vigueur.
Qu’est-ce que le peer reviewing ?
• Peer-Reviewing, désigne le processus d'expertise de
l'ensemble des articles scientifiques depuis des décennies,
processus au bout duquel l'auteur peut donc être publié ...
ou mourir en paix ("publish or perish").
• La question est de savoir "Faut-il tuer le pair ?".
• Au regard du contexte actuel d'auto-archivage, d'openaccess et de nouveaux modes de publication en général - le
peer-reviewing a-t-il ou non vocation a demeurer le
modèle unique du circuit de "validation" et d’évaluation
des connaissances scientifiques ?
Rappel …
• “Open access is characterized by
– the free availability on the public Internet of
– peer-reviewed journal articles, as well as
– non-reviewed preprints of potential interest
to the scholarly community.”
• Gerry Mc Kiernan
Combien de journaux, combien de capitaines
•
•
•
•
•
•
•
1665: premier journal scientifique
1930 : Peer review by external referees
1700 : 30 journaux scientifiques
1725 – 1800 : 74 périodiques nouveaux (domaine médical exclus).
1885 : 5105 périodiques scientifiques.
1897: 8603 titres de périodiques scientifiques.
1990 : Internet ……………………………..
•
•
S.C.I. (Science Citation Index)
2006 :
– 9300 titres revendiqués sur la Plate-Forme propriétaire de l’ISI WEB OF
SCIENCE (WoS) (dont 2.6 % OA)
– 20000 journaux sur ISI web of Knowledge (dont 1% OA)
– SSCI : 1700 revues depuis 1956.
DOAJ : 2721 journaux (www.doaj.org)
•
Peer-review : Pros & Cons
•
•
Anonymat = désengagement :
Sexisme : les femmes acceptent trois fois plus de manuscrits que les hommes
– et/mais les femmes sont nettement minoritaires dans les comités d'évaluation
•
Inadéquation d’expertise :
– les pairs en question sont souvent moins "experts" sur le sujet que l'auteur de l'article
•
des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les
auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes
ou auteurs au profit d'autres seniors
– + mesquineries en tout genre et querelles de chapelle
•
le processus d'évaluation est looooooong,
– très long (entre 6 mois et 2 ans, parfois plus)
•
•
il est également coûteux (frais d'édition, de secrétariat, etc ...)
il ne joue pas son rôle de filtre
– (la plupart des articles refusés finissent par être publiés par d'autres revues, et pas
nécessairement moins "prestigieuses")
•
Double aveugle est une simple escroquerie : plus de la moitié des pairs arrivent à
identifier les auteurs il est inefficace qualitativement
– (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs
volontairement introduites dans des articles bidonnés pour les besoins du test)
Pire review
•
•
•
Beaucoup de montées au créneau ces derniers temps (dans Nature notamment)
Richard Smith de la bibliothèque scientifique de Cambridge :
Il est éthiquement inacceptable que des jugements puissent être faits par des lecteurs
dont on ne peut connaître l'identité. (...) De plus, je crois que la critique par ses pairs
devrait être un argument scientifique plutôt qu'un jugement arbitraire. Cette idée
n'est pas radicale, c'est simplement le retour aux racines, quand la science était
présentée et discutée en réunion publique plutôt que publiée dans les revues."
Peut-être que nous saurons inventer de nouvelles formes de critique par les pairs en
apprenant d'innovations comme Wikipédia. C'est en quelque sorte une nouvelle façon
de faire de la peer review, où les critiques entraînent des changement directs plutôt
qu'un simple commentaire ...
Une autre inquiétude est de savoir comment les aides seront distribuées dans un
nouveau système. Aujourd'hui, elles sont issues des facteurs d'impact allouées au
papier... Dans un nouveau monde scientifique, j'imagine que les crédits viendront du
buzz des chercheurs et des hits des articles, que l'on pourra voir en temps réel."
Alternatives ?
• Modèle fermé : on pousse jusqu'au bout la logique
d'anonymat des articles :
– non seulement on ne donne pas le nom de l'auteur mais
on anonymise aussi toutes les références de l'article et
de sa bibliographie à des institutions et/ou à d'autres
articles du même auteur :
– non seulement c'est infaisable, mais en plus cela ôte
évidemment des éléments essentiels à l'expertise ellemême. Donc on perd sur les 2 tableaux. Modèle
perdant-perdant.
Alternatives ?
• Modèle semi-ouvert : on lève l'anonymat des pairs : les auteurs savent
qui les évalue. On parle alors d'« open peer-review ». Et ça marche
puisqu'on note que dans ce cadre :
– on critique moins, ou à tout le moins les critiques sont argumentées,
– les commentaires sont souvent plus approfondis, plus argumentés et plus
courtois
– Ils (les pairs toujours) sont ainsi incités à décliner l’évaluation quand ils ne
s’estiment pas compétents
– Les jugements abusifs plus facilement repérés.
– Le travail des experts s’en trouve in fine valorisé et bénéficie de plus de
crédit
– Donc ... tout le monde est content, et on est sur du gagnant-gagnant.
• Nombre de revues (ou groupements de revues) ont d'ailleurs fait ce
choix :
– BMJ (British Medical Journal ),
– BiomedCentral,
– MJA (Medical Journal of Australia ) et d'autres ...
Alternatives ?
•
•
Modèle ouvert : le plus radical, le plus novateur. Donc le plus intéressant. Et donc
le plus critiqué.
On ne se contente plus de lever l'anonymat des pairs, mais on autorise les
“lecteurs” à intervenir dans le processus en déposant leurs commentaires sur des
articles soumis à publication.
– On parle alors de “commentary-based peer-review” ou de “peer-commenting”.
– Trois manières de mettre en place un "Peer-commentary" : commentaires AVANT,
APRES ou A LA PLACE de la revue par les pairs.
– Pour autant, il ne s'agit pas de sombrer dans un extrémisme candide : c'est la coexistence des deux modèles (Peer-commentary puis peer-reviewing ou l’inverse) qui est
intéressante et novatrice, l’initiative de la décision de publication restant dans chaque
cas aux experts.
•
•
•
Le "Journal of Interactive Media in Education" combine pré et post-commentary.
Le journal "Electronic Transactions on Artificial Intelligence" a lui décidé d’ouvrir
aux lecteurs le processus de revue par les pairs.
Quant à "Psycoloquy" ou "JIME", le choix s’est porté sur l’ouverture aux
commentaires après le processus de Peer-Reviewing.
© From a presentation by Maarten van Veen
(Open University, 2005)
Quelles métriques ?
•
•
•
•
•
•
•
Facteur d’impact
– Inadapté : sur 2 ans (humanités plutôt sur 5, pas de prise en compte des monographies)
– Prend pas en compte certaines publi (thèses, monigraphies)
– Nbreux biais : auto-citation
Facteur d’usage … http://www.uksg.org/usagefactors
Facteur Y :
– « By merely counting the amount of citations and disregarding the prestige of the citing
journals, the ISI IF is a metric of popularity, not of prestige. We demonstrate how a weighted
version of the popular PageRank algorithm can be used to obtain a metric that reflects
prestige »
– http://arxiv.org/abs/cs.DL/0601030
Reading Factor : ratio entre le nbre de consultations d’un journal électronique et la moyenne du nbre
de consutlations de tous les journaux pris en compte.
Eigenfactor se veut un concurrent direct de l'incontournable facteur d'impact. projet prend en compte
une échelle d'évaluation + importante (tout le réseau), qu'il traite aussi les citations dans les thèses,
les magazines...
l'index dit "de Hirsh" (H-index) bénéficie d'un succès grandissant, puisqu'après son intégration dans
le Web of Science par l'ISI, c'est au tour d'Elsevier de l'intégrer dans Scopus
Etc …
Européen Impact Factor
•
•
•
•
•
Récent rapport de l'European Science Foundation : "Peer-review : its present and future state".
http://www.esf.org/fileadmin/be_user/publications/Peerreview2006.pdf
"Langages, métriques, impacts : les cultures du peer-review dans les humanités".
Le cas des humanités "les outils bibliométriques sont inaptes à rendre compte de la diversité
des comportements de publications des chercheurs de ces disciplines." Et de reparler, sans
hélas guère plus de détails, de l'ERIH (European Reference Index for the Humanities), en
recommandant que les ouvrages soient comptabilisés au même titre que les articles dans ce qui
devrait donc (mais quand ??? voilà déjà plus de quatre ans que l'on parle de cet index, et il
semble que l'on en soit toujours à réunir des groupes d'experts sur la faisabilité d'un tel projet
...), index qui devrait donc, disais-je, comptabiliser les revues "princeps" européennes de 15
disciplines des humanités.
Au final, de ce rapport de 36 pages il ressort de manière assez unanime :
que l'infodominance de l'ISI et de son facteur d'impact est problématique et n'est plus pas un
indicateur qualitatif suffisant (et même carrément insuffisant)
que l'on peut avoir la certitude suivante "the assumption that an assessment system that takes
into account disciplinary specificities as much as changing research landscapes needs to be
developed. Only a portfolio of metrics will be able to produce relevant information about the
entire research process (input-activity-output-outcome)."
Facteur d’impact européen ?
• Premier biais de l’IF est qu’il favorise pays avec la
plus grande production scientifique (USA)
• Katz : propose « facteur d’impact international
relatif », prévu pour tenir compte des phénomènes
d’échelle
• Lancement de l’idée en Oct 2000 par l’ESF
• Constitution de groupes d’experts, constitution de
la base des publications retenues (pas uniquement
périodiques)
• Depuis … Stand-by 
Quelles menaces ?
Attention danger
• Dérive des éditeurs
– « Elsevier — l’éditeur scientifique international le mieux connu pour sa
politique intransigeante en matière de monopole , d’augmentations sauvages
et déraisonnables de prix et de non respect de ses engagements, et dont la
pratique de prise en otage des chercheurs est particulièrement irritante —
annonçait, en mai 2006, le lancement d’une série de périodiques en mode
Open Access (OA) hybride. En résumé, l’éditeur offre à ses auteurs l’option de
payer eux-mêmes un montant de “sponsoring” (3.000 €) permettant que leur
article, déjà accepté pour publication, soit rendu librement disponible à tous,
sans souscription, via ScienceDirect. En juillet 2006, 34 autres titres venaient
compléter la liste. C’était un beau coup pour faire payer les publications deux
fois, une imitation d’OA appelée Open Choice (le cheval de Troie dont j’ai
déjà parlé), et dont la moindre des choses est qu’elle ne comporte pas de
surcharge financière pour le lecteur, puisque l’auteur paie.
L’augmentation moyenne de 2006 à 2007 des prix de l’ensemble des revues
chez Elsevier était de 5,50 %. Celle des 40 titres en libre accès hybride a
atteint 6,39 %. Dont acte. »
– Source : http://recteur.blogs.ulg.ac.be/?p=125
Attention Danger
• Affaire du Pitbull
– plusieurs gros éditeurs, ceux qui font de grosses marges bénéficiaires,
Elsevier, Wiley et ACS en tête, viennent de recruter, via l'AAP, l'Association
des éditeurs, un cabinet de consultants en relations publiques, chargé de mettre
en place une campagne de communication dénonçant les dangers de
l'information en Open Access.
– Dezenhall, spécialisé dans la gestion de crise et plus connu sous le doux
sobriquet du "Pitbull des RP" pour s'être illustré (notamment) dans la défense
d'un dirigeant d'Enron ou encore contre l'organisation Greenpeace.
• +
• Balkanisation des revues, pour la plupart inaccessibles
• Recherche à 2 (ou plus) vitesses :
– ceux qui disposent d’un appui ou d’un adossement à de gros labos ou de
grosses bibliothèques.
– Les autres : Google Scholar + open access 
Donc ????
• Force d’inertie du paradigme de la publication académique
• Résistances culturelles et « de marché »
• Bataille du marché de la citation semble perdue d’avance
pour les éditeurs
– s’ils campent sur leurs positions ou détournent les logiques d’OA
(cf blog de rentier affaire Elsevier)
– S’ils ne trouvent pas un accord avec Google (LE moissonneur,
accès à tous les dépots OAI, ouvrages numérisés (GBS), Editeurs
(partner program), et quand il n’a pas le droit, il prend le gauche
(Indexation d’un million d’abstract d’Elsevier après le refus
d’Elsevier (scirus) de le voir venir indexer ses articles + projet
MUSE (270 revues de chez 40 éditeurs))
Donc ???
• Il faut garder le Peer Review mais il faut l’ouvrir.
• L’évaluation de la science du 21ème siècle ne peut se faire avec des
comportements, des attentes, des mentalités et des outils bibliométriques
du XXème siècle :
– webometrics, wif (web impact factor) …
– OA meilleur indice d’immédiateté
– OA : meilleur IF. Toutes les études le prouvent, sauf … celle
commanditée par l’ISI qui conclue : « le facteur d’impact des 148
revues étudiées par Thomson est en général comparable à celui de
revues en accès payant »
• Nécessité d'un "portefeuille de métriques" qui permettrait - notamment - de
prendre en compte et d'exploiter toute la richesse de l'environnement
numérique des publications de recherche.
Attention au syndrôme du tailleur
• « Le monde et le pantalon »
Attention : réputation / citation
• Tenter de penser ces « webmetrics » en contexte,
et en les prenant pour ce qu’elles sont :
– Tributaires d’une Economie de l’accès pilotée par le
servie aux usagers
– Réputation n’est pas citation, autorité n’est pas
notoriété
– « Trust, authority and réputation are central to scholarlu
publishing but the model of the internet is almost
anthitetical to the trust model of academia » (Bilder
2006)