Transcript Kennis uitwisselen met SKOS en OpenSKOS

Kennis uitwisselen met SKOS
en OpenSKOS
Hennie Brugman
Meertens Instituut
1
Overzicht
1.
Inleiding
2.
Ontstaansgeschiedenis
3.
Begrippen
4.
Functionele beschrijving
5.
Toepassingen in de praktijk
6.
Content en beschikbaarheid
7.
Stakeholders en toekomstige ontwikkelingen
2
Inleiding
3
Problemen mbt gebruik van vocabulaires
• Bouwen en beheren van thesauri is tijdrovend
– Liever hergebruik
– Hoe ontdek en evalueer je bestaande thesauri?
• Je software-tools moeten specifieke thesauri
ondersteunen
• Nog vaak als browsable en doorzoekbare website
gepubliceerd
– Niet als data, niet in standaardvorm
• Toolbouwers moeten veel maatwerk verrichten
4
OpenSKOS visie: een marktplaats
Iedere knoop implementeert:
voor SKOS vocabulaires
•Upload module
•RESTful API (autocomplete, find,
CRUD)
•Linked Data toegang
•OAI-PMH data provider enharvester
•Editor voor management en curatie
5
• OpenSKOS =
–
–
–
–
–
–
–
–
–
SKOS formaat +
Peer to peer architectuur +
RESTful API +
Linked Data +
Publicatie dmv upload en OAI-PMH +
Management mbv Interactief Dashboard +
Ondersteuning voor alignment +
Stimuleren van open database licenses
Vocabulaire curatie mbv ingebouwde Editor
6
Voordelen aanbieders
• Anderen je vocabulaires aanbieden kan met een
simpele upload actie
– Of via een eigen OpenSKOS instantie, of via OAI-PMH
• Het is mogelijk je eigen vocabulaire te gebruiken
in andermans tools (al dan niet commercieel), als
die tools OpenSKOS aanspreken
• Vocabulaires kunnen makkelijk en frequent door
de bouwer/beheerder worden ge-update, zonder
tussenkomst van derden
• Contextualiseren: et is eenvoudig concepten uit je
eigen vocabulaires te koppelen aan andere
vocabulaires
7
Voordelen gebruikers
• Het is eenvoudig om vocabulaires te
ontdekken, evalueren en te gebruiken
– Minder noodzaak ze zelf te construeren
• Nieuwe mogelijkheden tot browsen en
zoeken
– In vocabulaires, in collectie-beschrijvingen
• Altijd up-to-date versies van vocabulaires
beschikbaar
8
Voordelen toolbouwers
• Geen maatwerk per vocabulaire meer
nodig, geen periodieke updates door te
voeren
• Kunnen profiteren van werk van andere
toolbouwers en vocabulaire-aanbieders
• Kunnen OpenSKOS gebruiken voor een
reeks van nieuwe use cases
9
Ontstaansgeschiedenis
10
• Eerste CATCHPlus versie
– Jarenlang stabiel gedraaid en toegepast voor gebruik Beeld
en Geluid thesaurus door Nationaal Archief (via Pictura’s
Memorix tool)
• Gedurende half jaar intensief overlegd door CATCHPlus,
RCE, Adlib, Pictura, Trezorix
– Op initiatief van en gehost door RCE
– Doel: elkaars tools en omgevingen op elkaar aansluiten mbt
vocabulaires/kennisstructuren
• Uitkomst: architectuur-concept en REST API specificatie
• OpenSKOS implementatie (door Picturae) is conform de
uitkomsten van dit overleg
• OpenSKOS Editor toegevoegd in opdracht van Beeld en
Geluid
11
Begrippen
12
SKOS, een ultrakorte primer
• SKOS kennisstructuren bestaan uit Concepten,
onderverdeeld in ConceptSchemes
• Concepten hebben een URL ter identificatie
• Concepten hebben labels in 1 of meer talen
• Concepten kunnen worden gedocumenteerd met
‘notes’
• Concepten hebben onderling semantische relaties
– broader, narrower, related
• OpenSKOS onderscheidt daarnaast nog
Collections en Institutions
13
Term: Economic cooperation
Used For: Economic co-operation
Broader terms: Economic policy
Narrower terms: Economic
integration,
European economic cooperation,
European industrial
cooperation,
Industrial cooperation
Related terms: Interdependence
Scope Note: Includes
cooperative measures in
banking, trade, industry etc.,
between and among countries.
14
SKOS en Linked Data
• Concepten kunnen over grenzen van
ConceptSchemes worden gelinkt
– exactMatch, closeMatch, broadMatch, narrowMatch,
relatedMatch
• Mits een Concept een stabiele, resolvable http
URI heeft kan er naar gelinkt worden
• Concepten kunnen zelf linken naar (Linked Open
Data op) het web
15
Voor- en nadelen
•
•
•
•
•
Standardisatie
Eenvoudig en generiek data-model
Web-gebaseerd
Concept- versus term-gebaseerd
Omvat ‘alignment’
• Echter
– Bij transformatie gaat semantiek verloren
– Data deels niet op SKOS te mappen
16
RESTful web services
• Web service:
– Software die interactie tussen machines over het web
mogelijk maakt (“protocol mbt vragen en antwoorden”)
• RESTful:
–
–
–
–
Gebruikt standaard protocollen van world wide web (http)
Beschrijft resultaten zoveel mogelijk als (online) ‘resources’
Aan te roepen via gewone URLs
In principe eenvoudig in gebruik en schaalbaar
• Voor gebruik vanuit software
– Dus primair voor gebruik door programmeurs
• Linked Data is een specifieke instantie van een
RESTful web service
17
Functionele beschrijving
18
OpenSKOS Editor
Upload module
Interactieve management functies
RESTful API
OAI-PMH data provider en harveste
19
• Stel, ik zoek een thesaurus om molens te
beschrijven, of medicijnen, of
krantenberichten, of …
• Dan kan ik naar openskos.org, waarop
allerlei thesauri beschikbaar worden
gemaakt
- dan wil ik informatie over zo’n
thesaurus en ik wil er online in
browsen en zoeken
- Stel, ik wil mijn thesaurus online
opbouwen en beheren, eventueel met
andere instellingen samen
- Dan kan ik de OpenSKOS Editor
gebruiken, gebouwd voor Beeld en
Geluid, als onderdeel van OpenSKOS
- Stel, ik heb een thesaurus(-update) en
wil die aanbieden aan de wereld of aan
mijn partner-instelling, die een
commerciële tool gebruikt (bv Memorix
van Picturae), of een wetenschappelijke
(bv Arbil uit CLARIN)
- Dan kan ik eenvoudig uploaden mbv
OpenSKOS
- Stel, ik wil een OpenSKOS node beheren,
dan heb ik interactieve beheerfuncties ter
beschikking
RESTful API
•
•
•
•
•
•
Concept resolve API
Find API
Autocomplete
CRUD (create, retrieve, update, delete)
Institutions
Collections
25
{
"tenant": "meertens",
"collection": 4,
..
API voorbeelden
"uri": "http://openskos.meertens.knaw.nl/Organisations/3ffbdaf6-d07f-4f04-8ea9-aba0c2749670",
"uuid": "d921f9f9-f759-475a-cb9d-5f1dcfa00b49",
"class": "Concept",
..
"prefLabel@en": [
"UiL-OTS, Utrecht University"
],
• Concept resolve
<rdf:RDF>
..
<rdf:Description
rdf:about="http://openskos.meertens.knaw.nl/Organisations/3f..70">
"LexicalLabels@en":
[
"UiL-OTS,
Utrecht University",
<rdf:type
rdf:resource="http://www.w3.org/2004/02/skos/core#Concept"/>
"UiL-OTS, Utrecht
University"
<skos:prefLabel
xml:lang="en">UiL-OTS,
Utrecht University</skos:prefLabel>
],
<skos:altLabel xml:lang="en">UiL-OTS, Utrecht University</skos:altLabel>
"altLabel@en": [
<skos:broader
rdf:resource="http://openskos.meertens.knaw.nl/Organisations/78..7d"
"UiL-OTS, Utrecht University"
<skos:inScheme
rdf:resource="http://openskos.meertens.knaw.nl/Organisations"/>
],
..</rdf:Description>
"broader": [
</rdf:RDF>
– api/concept?id=http://openskos.meertens.knaw.
nl/Organisations/78d67e6a-0a2a-4ba3-8757146eaf7fed7d&format=html
"http://openskos.meertens.knaw.nl/Organisations/78d67e6a-0a2a-4ba3-8757-146eaf7fed7d"
],
"SemanticRelations": [
"http://openskos.meertens.knaw.nl/Organisations/78d67e6a-0a2a-4ba3-8757-146eaf7fed7d"
],
"inScheme": [
"http://openskos.meertens.knaw.nl/Organisations"
],
"xmlns": [
"rdf",
"skos"
],
"notation": [
"108950"
]
26
– RDF, JSON of html
}
{"response": {
"numFound": 4,
"start": 0,
"docs": [
…
{
"scopeNote": [
"veldrijder"
],
"prefLabel": [
– api/find-concepts?q=crisis&format=rdf
"Rutte, Marcel"
],
"xmlns": [
– api/find-concepts?q=crisis+collection:4&format=json
"rdf",
"skos",
"dcterms"
]– api/find-concepts?q=crisis+tenant:rkd&format=json
},
{
– api/find- [
"scopeNote":
"minister-president VVD, fractievoorzitter VVD Tweede Kamer,
concepts?q=prefLabelText:rutte+collection:4+inSch
], eme:http*Persoonsnamen&format=json&fl=prefLab
"prefLabel": [
el,scopeNote
"Rutte, Mark"
],
"xmlns": [
"rdf",
27
"skos",
API voorbeelden
• Find API
API voorbeelden
• Autocomplete API
– api/autocomplete/politi?returnLabel=prefLabel
– api/autocomplete/speelf?returnLabel=prefLabel
28
API voorbeelden
• Institutions, Collections API
– in RDF: /api/institutions
– in HTML: /api/institutions?format=html
– /api/collections/beng:gtaa.html
29
OAI-PMH voorbeelden
30
Toepassingen in de praktijk
31
OpenSKOS instanties
• Instantie(s) tbv intern gebruik, publicatie en beheer van
de GTAA thesaurus van Beeld en Geluid
• Ongeveer 8 instanties tbv (internationale) klanten van
Picturae
• Meertens instantie tbv CLARIN-NL CLAVAS project
• Experimentele instantie tbv CLARIN-EU bij Institute for
Corpus Linguistics and Text Technology, Wenen
• Tbv thesaurus-constructie bij Cologne Center for
eHumanities
• Test-installatie bij Europeana ihkv 1914-1918 project
32
Client tools
• OpenSKOS editor zelf
• Memorix (Picturae)
• Gepland: Arbil (CMDI metadata editor, CLARIN)
33
34
Content en beschikbaarheid
35
Vocabulaires
•
•
•
•
GTAA (Beeld en Geluid)
AAT-NED (RKD)
Library of Congress Subject Headings
CLAVAS
– ISO 639-3 language codes
– ISOcat metadata profile
– Organisatie-namen
• Getest met enkele andere bestaande SKOS thesauri
• Getest met versie van Thesaurus Nationaal Farmaceutisch
Museum
• ??
• Overkoepelende registry ontbreekt nog
36
Beschikbaarheid
• Broncode is onder Open source licentie en
online beschikbaar (GitHub)
• Open Database licenties en Creative
Commons aanbevolen
• We promoten vrij gebruik van services
– M.u.v. schrijf-acties via API en Editor, en
management functies
– Iedereen kan eigen instantie van OpenSKOS
draaien
• Picturae biedt 10 jaar hosting van OpenSKOS
aan ihkv CATCHPlus contract
37
Stakeholders en toekomstige ontwikkelingen
38
• Beeld en Geluid
• CLARIN-NL/Clavas, CLARIN-EU
• DARIAH (Task Force Reference Data and
Controlled Vocabularies)
• Meertens Instituut
• Nationaal Archief
• Picturae
• RCE
• RKD
• Digitale Collectie NL (Europeana aggregator)
• Europeana
• ??
39
Toekomst
• (Mogelijke) toepassingen in concrete
projecten
• OpenSKOS community in oprichting
(werkgroep: Meertens, Picturae, Digitale Collectie NL, Beeld en
Geluid, Europeana)
• Functionele wensen
– Vrij browsen en zoeken voor iedereen
– ‘discovery’ van thesauri
– Uitbouwen gedistribueerde opzet
40
Hartelijk dank.
???
41