Transcript Calames Histoire naturelle, anatomie et dissection Ecole nationale des chartes

Calames
Histoire naturelle, anatomie et
dissection
Ecole nationale des chartes
Yann NICOLAS (ABES)
Calames et l’ABES
• Calames = Catalogue en ligne des archives et
des manuscrits de l’enseignement supérieur
• ABES = Agence bibliographique de
l’enseignement supérieur
–
–
–
–
–
Sudoc (monographies, périodiques…)  PeB
Calames (manuscrits, archives)
Star (workflow des thèses électroniques)
Groupement de commandes pour la doc. élec.
…
2
Calames – Ecole des chartes
Plan
1. Genèse de Calames
2. Anatomie de Calames
3. Dissection de Calames
3
Calames – Ecole des chartes
Genèse de
Calames
4
Calames – Ecole des chartes
2. Genèse de Calames
a. La naissance du projet
5
Calames – Ecole des chartes
Les 2 faces de Calames
• une interface de consultation et de
recherche (ouverte depuis le 1er décembre 2007)
• un outil de catalogage (rodage à partir d’avril
2008, avec 9 établissements)
6
Calames – Ecole des chartes
Périmètre de Calames (1)
Quels documents ?
 Manuscrits et archives
• diversité :
ms. médiévaux, papiers de chercheurs ou
d'érudits, ms. littéraires contemporains,
archives audiovisuelles, …
• quelles limites ?
7
Calames – Ecole des chartes
Périmètre de Calames (2)
Quels établissements ?
Etablissements d’enseignement supérieur :
–
–
en majorité des bibliothèques
mais les bibliothèques ne sont pas les seuls partenaires
 Calames, c'est aussi un réseau
8
Calames – Ecole des chartes
Calames : pourquoi ?
Fonds de manuscrits : peu décrits
• au mieux en format MARC dans les
catalogues de bibliothèques
– format peu adapté à la structure des données,
recherche parfois difficile, mais au moins
disponible en ligne
• beaucoup d’inventaires manuscrits,
dactylographiés ou imprimés : consultables
sur place
• encore beaucoup de fonds tout juste
inventoriés, et à peine accessibles
Calames – Ecole des chartes
9
Une opportunité : le CGM
• Projet d’informatisation du Catalogue
général des manuscrits des bibliothèques
publiques de France
• 116 volumes, 182 000 notices, publiés
entre 1849 et 1993
• tous types de « bibliothèques publiques » :
municipales, universitaires, sociétés
savantes, ministères, BN (Arsenal)…
10
Calames – Ecole des chartes
Le projet CGM
• Projet interministériel (Culture + Ens. Sup.)
lancé en 2001
• Choix d'une structure XML : DTD EAD
(Encoded Archival Description)
• Accès commun par le CCFr
• mais chacun disposera de ses données
(pour l'Ens. Sup. : l’ABES + chaque
bibliothèque)
11
Calames – Ecole des chartes
Palme
• Répertoire de manuscrits littéraires
français contemporains
• constitué entre 1995 et 2006
• dans toutes sortes de bibliothèques
françaises
• hébergé dans BN-Opaline jusqu’en juin
2007
• données converties en EAD
12
Calames – Ecole des chartes
CGM + Palme
=
Deux opportunités pour mener
une politique des manuscrits
globale, dans le périmètre Ens.
Sup.
 autour du réseau et des outils
Calames
13
Calames – Ecole des chartes
Politique Ens. Sup.
• Catalogage centralisé en ligne
–
–
–
–
–
–
Sécurité
Cohérence
Esprit réseau
Simplicité
Hors Sudoc
Fonctionnalités avancées
• Catalogue collectif en ligne, mais …
– Exports vers les outils locaux (Pléade…)
– Vues locales et customisées sur le catalogue
– Données réutilisables (SRU, RDF…)
14
Calames – Ecole des chartes
2. Genèse de Calames
b. La déroulement du projet
15
Calames – Ecole des chartes
Le projet Calames :
quand ?
• Conception : mars – décembre 2006
• Développements : janvier – juillet 2007
• Tests et ajustements : juillet – novembre
2007
• Chargement des données EAD : octobre
2007 – février 2008
• Lancement de Calames (interface publique)
: 1er décembre 2007
• Ouverture de l’interface de catalogage : avril
2008
16
Calames – Ecole des chartes
Les contraintes du projet
•
•
•
•
•
•
Les délais : 18 mois
La masse des données
La structure des données EAD
Les performances
L’extensibilité
Ouverture (recherche fédérée SRU,
moteurs…)
17
Calames – Ecole des chartes
Les contraintes du projet (suite)
• Les exports en UNIMARC
• La gestion des autorités
18
Calames – Ecole des chartes
La solution retenue
• Développer à partir de solutions XML
génériques :
– Une base de données mixte (XML +
relationnel)
– Un éditeur XML générique et accessible par
un navigateur
19
Calames – Ecole des chartes
Qui a travaillé sur
les outils ?
• Choix de développer des outils en interne
– 2 informaticiens (conception + développement)
– 2 bibliothécaires
• Appel à un graphiste professionnel
• Appui sur le groupe de travail ES de la
rétroconversion
20
Calames – Ecole des chartes
Le groupe de travail
• composition : SDBIS, bibliothèques avec
de riches fonds de manuscrits, dont des
experts et formateurs EAD
Jacqueline Artier (Sorbonne), Pascale Heurtel (Museum),
Patrick Latour (Mazarine), Gérard Littler (BNUS), Max Naudi
(SDBIS), Fabienne Queyroux (Institut), Nathalie Rollet
(BSG), Mireille Vial (BIU Montpellier)
• travail concomitant sur la préparation des
données et sur les développements des
outils  avantages et inconvénients
21
Calames – Ecole des chartes
Relations ABES / Groupe de
travail
• Forte interaction
• Itérations spécifications/développements
• ABES, force de proposition (scénarios,
prototypes, maquettes…)
 Pas du « développement agile », mais ça
y ressemble
22
Calames – Ecole des chartes
2. Anatomie
23
Calames – Ecole des chartes
Questions clés
•
•
•
•
Comment stocker la structure XML EAD ?
Comment l’indexer ?
Comment y accéder ?
Comment l’afficher
24
Calames – Ecole des chartes
2 méthodes
• Le fichier EAD en tant qu’instance XML
• Le fichier EAD en tant que base de données
 Calames utilise les deux méthodes
Calames – Ecole des chartes
25
Méthode 1 : EAD en tant que
XML
• Exploiter le fichier tel quel
– On garde toutes la richesse des données
– On utilise des outils standard :
• XQuery pour interroger
• XQuery update (en développement au W3C)
• Méthode utilisée pour le catalogage dans
Calames
– XML-DML (Microsoft) en attendant XQuery update
26
Calames – Ecole des chartes
Méthode 1 : EAD en tant que
XML
• Le fichier EAD est stocké et mis en
mémoire comme un tout
• Dans l’interface de catalogage, il est
affiché et modifié bloc par bloc
» Démo Calames Catalogage
Souplesse maximale
27
Calames – Ecole des chartes
Méthode 1 : EAD en tant que
XML
• Pourquoi ne pas utiliser encore cette
méthode pour la recherche et la
consultation ?
– problèmes de performance
– problèmes de la recherche Full Text
 Le « tout XML » n’est pas encore prêt
28
Calames – Ecole des chartes
Méthode 2 : EAD en tant que
base de données
• Traduire la structure EAD en base de
données relationnelles
– Pour :
• Technologie éprouvée et performante
• La régularité de l’EAD s’y prête assez bien
– Contre :
• Trop rigide
• Comment gérer le contenu mixte ?
<unittitle>Papiers de <persname>Untel</persname></unittitle>
29
Calames – Ecole des chartes
Méthode 2 : EAD en tant que
base de données
• Compromis dans Calames :
– Découper EAD en <c> liés
– Chaque <c> est stocké en tant qu’instance
XML
Le meilleur du relationnel et le meilleur
d’XML
30
Calames – Ecole des chartes
De la base à la page Web
• La base renvoie directement de l’XML…
• … qui est exploitable dans le navigateur
31
Calames – Ecole des chartes
Interface AJAX
• AJAX = Asynchronous JavaScript and
XML
• Modifier une page Web de manière
partielle, en allant chercher certaines infos
XML (ou JSON) sur le serveur.
 Permet une interface plus réactive
32
Calames – Ecole des chartes
Interface AJAX
• Le serveur envoie de l’XML
• C’est le navigateur (client) qui est en
charge de construire l’HTML
– Avec Javascript
– Avec XSLT
 le serveur est soulagé
 performances améliorées
33
Calames – Ecole des chartes
AJAX
inconvénients et solutions
• Interfaces non accessibles
– par les handicapés visuels
– par les moteurs de recherche (robots)
 Proposer une version dégradée du site en
pur HTML (ex: Gmail)
34
Calames – Ecole des chartes
3. Dissection
35
Calames – Ecole des chartes
Méthode de dissection
• Scalpel = Firebug (plugin Firefox)
• Observer le code (html, javascript, css,
xslt)
• Observer les requêtes AJAX
• Observer les flux de données
36
Calames – Ecole des chartes
2. Dissection de Calames
a. La page de recherche
37
Calames – Ecole des chartes
Anatomie > la recherche (1)
• Recherche simple par défaut
• Combinable avec recherche avancée
• Filtrage sur bibliothèque(s)
 Apparition du champ Cote
• Accès direct à chaque bibliothèque
• Feuilletage des index
38
Calames – Ecole des chartes
Anatomie > la recherche (2)
• Chargement initial de données :
– Liste des bibliothèques (XML)
– Liste des langues (XML)
– Décodage des bibliothèques (JSON)
– Décodage des langues (JSON)
• Chargement initial de l’XSLT
39
Calames – Ecole des chartes
Anatomie > la recherche (3)
• Feuilletage des index
– Listes dynamiques en fonction de la
bibliothèque
– Autocomplétion (search as you type)
– Exploitation des renvois des autorités Sudoc
40
Calames – Ecole des chartes
2. Dissection de Calames
b. La page des résultats
41
Calames – Ecole des chartes
Anatomie > les résultats (1)
•
•
•
•
•
•
Une liste de résultats (1000 max)
Une URL réutilisable
Liste filtrée (traitements côté serveur)
50 résultats par page (car rapide)
Tris
Facettes
42
Calames – Ecole des chartes
Anatomie > les résultats (2)
• Traitements sur la liste brute : infanticide
– Si un lot de résultats contient un <c> parent et
un de ses <c> enfants, on supprime l’enfant.
 Moins de résultats
 Moins de redondances
 Compense l’héritage (des dates, langues,
sujets…)
 La navigation permet de retrouver l’enfant
disparu
43
Calames – Ecole des chartes
Anatomie > les résultats (3)
• Facettes
– Filtres a posteriori (non a priori)
– Évitent de reformuler la recherche
– Raffiner pas à pas la recherche
– Hélas, pas de mention du nombre
d’occurrences (prix à payer pour infanticide…)
44
Calames – Ecole des chartes
2. Dissection de Calames
c. L’affichage des notices
45
Calames – Ecole des chartes
Anatomie > les notices et leur
contexte (1)
• Zoomer sur un composant <c>
• Pouvoir se déplacer autour :
• Les ancêtres
• Les enfants
• Les frères (avant et après)
• Pouvoir afficher plusieurs niveaux dans la
même page
• Avoir une vue moins parcellaire
• Affichage et impression à la carte
46
Calames – Ecole des chartes
Anatomie > l’arborescence
• Obtenir une vue plus
large sur
l’arborescence globale
• Enjeu = comment se
promener dans des
arbres composés de
milliers d’items ?
47
Calames – Ecole des chartes
Anatomie > les nuages
• Vue globale sur un corpus
48
Calames – Ecole des chartes
Anatomie > Liens sortants
• Lier vers des images, des transcriptions,
des bibliographies…
• Lier sans vampiriser
• Lier sans saisir toutes les URL
http://elec.enc.sorbonne.fr/miroir/donat/tradu
ction/?para=paris2 ?
49
Calames – Ecole des chartes
Anatomie > Liens entrants
• Aujourd’hui : URL stables et propres
• Demain : URL pérennes
– Dilemme pérennité / « usabilité »
– Sur quoi construire l’URL pérenne ?
• La cote ?
 Réflexion en cours…
50
Calames – Ecole des chartes
pour en savoir plus...
• Calames
http://www.calames.abes.fr
• Site de l’ABES
http://www.abes.fr/abes/page,580,manuscrits.html
• Arabesques n° 48 et n° 49
http://www.abes.fr/abes/page,386,arabesques.html
• Calames, le blog
http://calames.wordpress.com/
• Nous écrire
[email protected]
51
Calames – Ecole des chartes
Crédits photos
• http://flickr.com/photos/54945
394@N00/1338967778/
• http://flickr.com/photos/drlope
zfranco/1447712697/
• http://flickr.com/photos/patrlyn
ch/450129440/
52
Calames – Ecole des chartes