Transcript 20131003_Fennica-Melinda_työpaja_Re… - Wiki

Replikoinnin perusteet - kuinka tietueet
siirtyvät Alephista Voyageriin?
Minttu Hurme / KVP, tietojärjestelmät
3.10.2013, Fennica-Melinda työpaja
Replikoinnin perusteet
 mistä replikoinnissa on kyse
 replikoinnin vaiheet
 miten replikointia voi säätää kirjastokohtaisesti
KIRJASTOVERKKOPALVELUT
Mitä replikointi on
 Replikointi on tapa, jolla:
– Melindassa luetteloidut tietueet siirtyvät (poimitaan) paikalliskantoihin
– Melindassa tietueisiin tehdyt muutokset siirtyvät paikalliskantoihin
– lisäksi replikoimalla voidaan tietyissä tapauksissa myös poistaa tietue
paikalliskannasta
 tietueita paikalliskannasta Melindaan vietäessä puhutaan
lataamisesta / loadeista
KIRJASTOVERKKOPALVELUT
 nykyinen replikointi toimii Alephin ja Voyagerin välillä
– muissa järjestelmissä toimiville paikalliskannoille tarvitaan omat
versionsa
 replikointi toimii KVP:ssä tuotetulla Perl-skriptillä, josta on
tuotantokäytössä tällä hetkellä versio 3.5.1
KIRJASTOVERKKOPALVELUT
Replikoinnin rajoitukset
 Ei (suuriin) massamuutoksiin
 Ei ole mitään tapaa jäljittää yksittäisiin kenttiin kohdistuvia muutoksia
kehenkään tiettyyn tekijään tai tiettyyn tekoaikaan, joten silloin tällöin
käytetty ’kirjaston oman luetteloijan tekemät muutokset’ tarkoittaa
myös kaikkia muita, ennen kyseistä, oman luetteloijan tekemää
muutoskertaa, tietueeseen tehtyjä muutoksia
KIRJASTOVERKKOPALVELUT
Replikointisäännöt
 paikalliskantakohtaiset ehdot seuraaville asioille
– millä luetteloijatunnuksilla tehtyjen Melinda-tallennusten jälkeen tietueen
muutokset replikoidaan myös paikalliskantaan
– mitä kaikkia kenttiä Melindan tietueesta vastaanotetaan paikalliskantaan
– mitkä paikalliskannan tietueen kentät säilytetään sellaisenaan tietuetta
päivitettäessä
KIRJASTOVERKKOPALVELUT
Replikoinnin toiminta
Aleph /
Melinda
3. Luetteloijatieto
4. Vastintietue
paikalliskannassa
7. Merge-kenttien
määrittelyt
1. Muutostieto
2. Tietue
5. Tietueen
muokkaus
6. Bulkimport
KIRJASTOVERKKOPALVELUT
Voyager /
paikalliskanta
1. Muutostieto
 replikointi hakee Alephin VST-serveriltä tiedon niistä paikalliskannan
tietokantatunnuksella varustetuista tietueista, joissa on tapahtunut
muutoksia edellisen kyselyn jälkeen
 tietueen tunnisteen lisäksi saadaan tieto siitä onko:
– tietueeseen lisätty paikalliskannan tietokantatunnus
– tietue tallennettu (eli päivitetty)
– tietueesta poistettu paikalliskannan tietokantatunnus
KIRJASTOVERKKOPALVELUT
2. Tietue
 replikointi hakee muutetun tietueen Alephin X-serveriltä (Ex Libriksen
web service –rajapinta)
– tietue on MARCXML –muodossa
– tietueessa tulevat mukana kaikki ’Aleph-kentät’ (CAT, LOW, SID, FMT
jne.)
KIRJASTOVERKKOPALVELUT
3. Luetteloijatieto
 replikointi hakee noudetun tietueen CAT-kentistä tiedon siitä, mille
luetteloijatunnuksella tietue on viimeeksi tallennettu
 replikointisääntöjen ja luetteloijatunnuksen perusteella muutos joko
– hylätään kokonaan, tai
– hyväksytään primääri- tai sekundäärimuutoksena, joita käsitellään
jatkossa eri sääntöjen mukaan
KIRJASTOVERKKOPALVELUT
4. Vastintietue paikalliskannassa
 replikointi hakee tietueen vastintietueen tunnisteen paikalliskannasta
SQL-kyselyllä, ja
– tallentaa saapuvan tietueen Melindan kontrollinumeron (001, SYS/bibid)
FCC-prefiksillä kenttään 035 $a *
– päivittää paikalliskannan tietueen kontrollinumeron (001, bibid) saapuvan
tietueen kontrollinumeroksi kenttään 001
* lähiaikoina siirrytään käyttämään MARC21-formaatin mukaista, (FI-MELINDA) –
prefiksillä varustettua 035 $a -kenttää
KIRJASTOVERKKOPALVELUT
Vastintietueiden linkkaukset – Melindaan loadatut
tietueet
Melindan tietue:
Paikalliskannan tietue:
SID (source ID) –kenttä, jossa
paikalliskannan tietueen
kontrollinumero(bibid) ja
tietokantatunnus
001 –kenttä, jossa paikalliskannan
tietueen kontrollinumero (bibid)
SID__ $c 123456 $b fenni
KIRJASTOVERKKOPALVELUT
001 123456
Vastintietueiden linkkaukset – Melindasta
paikalliskantaan poimitut tietueet
Melindan tietue:
001 –kenttä, jossa tietueen Melindan
tunniste (SYS/bibid)
Paikalliskannan tietue:
035a –kenttä, jossa tietueen Melindan
tunniste (SYS/bibid) FCC (Finnish
Central Catalogue?) –prefiksillä
001 006789123
035__ $a FCC00678912
* Tulevaisuudessa myös:
035__ $a (FI-MELINDA)00678912
KIRJASTOVERKKOPALVELUT
Vastintietueiden linkkaukset – Melindasta paikalliskantaan
poimitut tietueet, joiden alkuperäinen vastintietue on
poistettu tuplatietuetta yhdistäessä
Melindan tietue:
Paikalliskannan tietue:
SID –kenttä, jossa poistetun tietueen
Melindan tunniste (SYS/bibid) FCCprefiksillä sekä paikalliskannan
tietokantatunnus
035a –kenttä, jossa alkuperäisen
vastintietueen Melindan tunniste
(SYS/bibid) FCC (Finnish Central
Catalogue?) -prefiksillä
SID__ $c FCC00678912 $b fenni
035__ $a FCC00678912
KIRJASTOVERKKOPALVELUT
5. Tietueen muokkaaminen
 tietueesta poistetaan ja siinä säilytetään kenttiä ja osakenttiä
paikalliskantakohtaisten replikointisääntöjen perusteella
 muokkaaminen tapahtuu filtteriplugineilla, joilla on omat
asetustiedostonsa
KIRJASTOVERKKOPALVELUT
Replikoinnin filtterit versiossa 3.5.2
 plugin_strip_fields — filtteri, jolla voidaan yksinkertaisesti karsia tietueesta kenttiä
kenttäkoodin perusteella
 plugin_handle_579 — filtteri, jolla käsitellään tilastomerkinnän sisältävä kenttä 579
 plugin_organisation — filtteri, joka käsittelee osakenttä $5:n sisältäviä kenttiä
 plugin_strip_subfield_9 — filtteri, jolla karsitaan replikoinnin ohjauskomentoja
sisältävät $9 osakentät
 plugin_thesaurus — asiasanastofiltteri
 plugin_classification — luokitusfiltteri
 plugin_convert_aleph_voyager — käsittelee Alephin ja Voyagerin eroavaisuuksia,
mm. yhdistää Alephin pilkkomat pitkät kentät
 plugin_remove_subfield — osakentän poistava filtteri, erityisesti tekijäkenttien
syntymävuosia sisältäville $d-osakentille *
* -merkitty uusi versiossa 3.5.2.
KIRJASTOVERKKOPALVELUT
Replikoinnin ohjauskomennot luetteloinnissa
 täydentävät paikalliskannan replikoinnin asetuksia
 vaikuttavat yksittäisen tietueen yksittäisen kentän replikoitumiseen
 ovat muotoa tietokantatunnus<KOMENTO> ja merkitään
osakenttään $9, esimerkiksi:
080__ $a 061 $9 ALLI<KEEP>
KIRJASTOVERKKOPALVELUT
 tietokantatunnus+ohjauskomento –yhdistelmät löytyvät Alephklientissä osakenttien automaattisten sisältövaihtoehtojen listalta
 muiden tekemiä $9-osakenttiä ja niiden sisältämiä komentoja ei saa
poistaa tietueista
 osakenttä $9 ja sen sisältämät replikoinnin ohjauskomennot eivät
– siirry paikalliskantoihin replikoinnissa
– näy Melindan OPACin koko viite –näytössä
– ole poimittavissa Melindan Z39.50/SRU -serveriltä.
KIRJASTOVERKKOPALVELUT
Käytössä olevat ohjauskomennot
 versiossa 3.5.1 käytössä seuraavat ohjauskomennot:
– <KEEP> - säilyttää kentän, vaikka paikalliskannan filtterit karsisivat sen
normaalisti
– <DROP> - karsii kentän, vaikka paikalliskannan filtterit säilyttäisivtä sen
normaalisti
KIRJASTOVERKKOPALVELUT
Ohjauskomentoja tulossa
 <ONLY> - osakentän $5 tietokanta/organisaatiotunnusta vastaava
ohjauskomento niille kentillä, joissa osakenttää $5 ei MARC 21:n
mukaan käytetä
– säilyttää kentän sen paikalliskannan replikoinnissa, joka käyttää
komentoa
– karsii kentän kaikkien muiden paikalliskantojen replikoinnissa
KIRJASTOVERKKOPALVELUT
6. Bulkimport
 replikointi tallentaa saapuvan tietueen MARC 21 –vaihtomuodossa
scratch –hakemistoon
 tietue tallennetaan paikalliskantaan Voyagerin bulkimport –skriptillä
– bulkimportista voidaan tehdä replikointia varten oma versio, joka tallentaa
loki- ja väliaikaistiedostonsa replikoinnin omaan rpt –hakemistoon
 tietueiden lisäykset, muutokset ja poistot ajetaan eri bulkimport –
asetuksilla
– myös primääri- ja sekundäärimuutoksille voidaan määritellä erilliset
bulkimport -asetukset
KIRJASTOVERKKOPALVELUT
Bulkimportin tuplakontrollisääntö
 replikoinnin käyttämissä bulkimportin asetuksissa riittää
tuplakontrolliksi tietueen kontrollinumero (001, bibid), koska replikointi
on päivittänyt sen saapuvassa tietueessa paikalliskannan tietuetta
vastaavaksi
KIRJASTOVERKKOPALVELUT
7. Bulkimportin tuplakontrollisäännön merge-kentät
 bulkimportin käyttämän tuplakontrollisäännön asetuksissa voidaan
määritellä ne kentät (merge-kentät), joiden halutaan säilyvät
paikalliskannnan tietueessa sellaisinaan aina replikoinnin päivittäessä
tietuetta
– jos kenttä on replikoinnissa karsittu filtterillä kokonaan, Melindassa tehdyt
muutokset eivät vaikuta siihen mitenkään
– jos kenttää ei ole replikoinnissa karsittu, paikalliskannassa olevan
säilytettävän version rinnalle päivittyvät myös Melindassa muutetut/lisätyt
versiot
KIRJASTOVERKKOPALVELUT
Replikoinnin toiminta
Aleph /
Melinda
3. Luetteloijatieto
4. Vastintietue
paikalliskannassa
7. Merge-kenttien
määrittelyt
1. Muutostieto
2. Tietue
5. Tietueen
muokkaus
6. Bulkimport
KIRJASTOVERKKOPALVELUT
Voyager /
paikalliskanta
Replikointi ja tietueiden poistaminen
 kun Melindan tietueesta poistetaan paikalliskannan tietokantatunnus,
replikointi yrittää poistaa tietueen myös paikalliskannasta, mutta:
– jos tietue on poistettu Melindasta kokonaan, tai siitä on poistettu
paikalliskannan SID-kenttä, ei replikoinnilla ole tarpeellisia tietoja
vastintietueen löytämiseksi paikalliskannasta
– bulkimport poistaa bibliografisen tietueen paikalliskannasta vain, jos
siihen ei liity holdings- tai nidetietueita tai esimerkiksi hankinnan tietoja
KIRJASTOVERKKOPALVELUT
Miksi tietue ei replikoidu?
 replikointi on kaatunut kokonaan
 replikoinnissa on jonoa
 tietueessa jotain vikaa (esim. väärä merkistökoodi)
– joko replikointi tai bulkimport hylkää tietueen
 bulkimport löytää useamman vastintietueen
 tietue on jäänyt replikoitumatta tietokantatunnusta lisättäessä, jolloin
muutoksille ei löydy vastintietuetta
– korjattavissa poistamalla ja palauttamalla LOW-tag
KIRJASTOVERKKOPALVELUT
Tulossa replikointiin
 uusia filttereitä ja ohjauskomentoja
 osakohteiden replikointi
 auktoriteettitietueiden replikointi
 replikointiratkaisuja muihin paikallisjärjestelmiin
KIRJASTOVERKKOPALVELUT
Replikoinnin dokumentaatio Metiva-wikissä
 https://wiki.helsinki.fi/display/Metiva/Replikointi
– Replikoinnin asetukset
– Kenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissa
– Replikoinnin filtteröintipluginit
– Replikoinnin ohjauskomentojen käyttö luetteloinnissa
– Bulkimport Rule replikointia varten
KIRJASTOVERKKOPALVELUT
Kysymyksiä? Kommentteja?
[email protected]
KIRJASTOVERKKOPALVELUT
Fennican replikointiasetukset,
tilanne 3.10.2013
Minttu Hurme / KVP, tietojärjestelmät
3.10.2013, Fennica-Melinda työpaja
 selvitys Fennican tämänhetkisistä replikointisäännöistä
 tehty tukemaan ennakkotietojen tekemistä Melindassa ja niiden
replikoitumista Fennicaan
 ennen muun luetteloinnin siirtymistä Melindaan replikointisääntöjä
tulee päivittää
KIRJASTOVERKKOPALVELUT
Replikoitumisehdot
 tietueiden lisäykset ja päivitykset replikoituvat Melindasta Fennicaan
vain, jos tietue on Melindassa viimeeksi tallennettu FENNI-alkuisella
luetteloijatunnukset
 replikointi ei koskaan yritäkään poistaa tietuetta Fennicasta
KIRJASTOVERKKOPALVELUT
Filtterit tietuelisäyksissä ja päivityksissä
 plugin_handle_579
– 579 $aXLUETTELOITU –kenttä säilytetään vain, jos sen osakentässä $b
on tietokantatunnus fenni
 plugin_organisation
– kentät, joissa on osakenttä $5 säilytetään vain, jos osakentässä $5 on
Fennican tietokantatunnus FENNI tai ISIL-tunnus FI-NL
 plugin_strip_subfield_9
– replikoinnin ohjauskomentoja sisältävät osakentät $9 karsitaan
KIRJASTOVERKKOPALVELUT
ja lisäksi päivityksissä
 plugin_strip_fields plugin_strip_fields_mod1
– tietueesta karsitaan kaikki kentät, joissa on osakentässä $9 replikoinnin
ohjauskomento FENNI<DROP>
– tietueesta karsitaan kentät




583, 594,
600, 610, 611, 630, 648, 650, 651, 653, 654, 655, 656, 657, 658, 662,
901, 902, 903, 904, 905, 906, 935,
jos niissä ei ole osakentässä $9 replikoinnin ohjauskomentoa FENNI<KEEP>
KIRJASTOVERKKOPALVELUT
Mergesäännöt
 Tietueen replikoituessa Fennican tietueesta säilytetään seuraavat
kentät
– 020 022 024
– 222
– 500 583 594
– 600 610 611 630 648 650 651 653 654 655 656 657 658 662
– 901 902 903 904 905 906 935
KIRJASTOVERKKOPALVELUT
Yhteenveto
Tietueen replikoituessa se muokkaantuu Fennicassa Melindassa
tehtyjen muutosten mukaiseksi seuraavia, replikointisäännöissä
erikseen säänneltyjä tapauksia lukuunottamatta:
 Melindassa tehdyt lisäykset replikoituvat Fennicaan, mutta myös
Fennicassa olevat versiot kentästä säilyvät, kunnes niitä muokataan
Fennicassa:
– 020, 022, 024, 222, 500
– 583, 594, 6XX, 90X, 945 (jos Melindassa kentässä replikoinnin
ohjauskomento FENNI<KEEP>)
KIRJASTOVERKKOPALVELUT
 Melindassa tehdyt muutokset eivät vaikuta kenttään lainkaan:
 583, 594, 6XX, 90X, 945 (ilman replikoinnin ohjauskomentoja)
 Fennicaan eivät myöskään replikoidu sellaiset yksittäiset kentät,
– joissa on osakentässä $9 replikoinnin ohjauskomento FENNI<DROP>,
tai
– osakentässä $5 jokin muu tietokanta/ISIL-tunnus kuin FENNI/FI-NL
KIRJASTOVERKKOPALVELUT