DIAS - Digital arkivpakkestruktur Sikker bevaring av elektronisk arkivmateriale Folloarkivets dagskonferanse 7.3.2013 Hans Fredrik Berg, Riksarkivet.
Download ReportTranscript DIAS - Digital arkivpakkestruktur Sikker bevaring av elektronisk arkivmateriale Folloarkivets dagskonferanse 7.3.2013 Hans Fredrik Berg, Riksarkivet.
Slide 1
DIAS - Digital arkivpakkestruktur
Sikker bevaring av elektronisk
arkivmateriale
Folloarkivets dagskonferanse 7.3.2013
Hans Fredrik Berg, Riksarkivet
Slide 2
Sentrale prosjekter
Elmag
DIAS
forvaltnings
forum
DIAS
Plan for ny
depotløsning for
Arkivverkets digitalt
skapte arkivmateriale
basert på TRAC
Felles og omforent
pakkestruktur for
bevaring av digitalt
arkivmateriale med
basert på OAIS
Nytt system for
depot-forvaltning
basert på resultatene
fra DIAS
Nytt system for
oppfølging av
arkivskapere og
arkivuttrekk
ESSArch
Betty
Forvaltning av
standardene fra DIAS
og forvaltningssystemet ESSArch
Slide 3
Verktøyenes bruksområder
Arkivdanning
Mottak
Depotforvaltning
Kontroll
Betty
Tools
ESSArch
ASTA
Slide 4
DIAS resultater
• Spesifikasjon av en generell norsk arkivpakkemodell som en
definert bruksmåte av OAIS. DIAS-modellen angir hvordan
foreliggende standarder skal anvendes i en arkivpakke.
– Definerer en standard for statlige og kommunale arkivdepoters
implementering av OAIS-modellen
– Angir hvordan en arkivpakke skal organiseres ved bruk av
eksisterende standarder (med tilhørende xml-skjemaer)
– Dvs.: DIAS er en standard for bruk av standarder
• Spesifikasjon av et forvaltningssystem for DIAS-arkivpakker
(26 funksjonelle krav).
• http://www.arkivverket.no/arkivverket/Arkivbevaring/Elekt
ronisk-arkivmateriale/DIAS-prosjektet
Slide 5
OAIS (Open Archival Information System)
Preservation planning
P
r
o
d
u
c
e
r
Descriptive
info
Data management
Descriptive
info
Ingest
Access
SIP
AIP
Archival storage
DIP
AIP
Administration
Management
C
o
n
s
u
m
e
r
Slide 6
DIAS-standardene
Records
manager
Repository
manager
Transfer
Noark
system
SIP
AIP
Secure
repository
system
Noark
standard
(schemas)
SIP
structure
(schemas)
AIP
structure
(schemas)
Secure
repository
spec.
User
DIP
Access
system
Slide 7
AIP (OAIS)
Slide 8
Arkivpakke (iht. OAIS)
En ”container” hvor et arkivobjekt er lagret som en selvstendig
enhet - fast forbundet med all tilhørende informasjon
Pakkeinformasjon
All nødvendig
informasjon for
å forstå
objektet som
arkivmateriale:
•kontekst
•proveniens
Bevaringsmetadata
(“logiske metadata”)
All nødvendig
informasjon
for å fremstille objektet
på ny
Informasjonsinnhold
Datafiler
Tekniske
metadata
•bevaringshistorikk
Samlet sjekksum for pakken
Varianter: Avleveringspakke (SIP), Bevaringspakke (AIP) og Brukspakke (DIP)
Slide 9
Organisering i arkivsamlepakker (AIC)
AIC
Bevaringsmetadata
Informasjonsinnhold
Bevaringsmetadata
Info-innhold
Datafiler
Tekniske
metadata
Bevaringsmetadata
Bevaringsmetadata
Bevaringsmetadata
Info-innhold
Info-innhold
Info-innhold
Datafiler
Tekniske
metadata
Datafiler
Datafiler
Tekniske
metadata
Tekniske
metadata
Bruksversjon
AIP
AIP
AIU
DIP
Versjon 1 –
med SIP
Transformert
versjon
Tillegg til AIP-1
Bruksversjon
Slide 10
Arkivpakkemodell
Pakkeinformasjon
AIC
Bevaringsmetadata
Samlet sjekksum
for AIC
Informasjonsinnhold
SIP-TAR
TAR
TAR
Pakkeinformasjon
Pakkeinfo.
Pakkeinformasjon
Bevaringsmetadata
Depotoperasjoner
Bevaringsmetadata
Adm.
metadata
Kontekst-info
Annen medflg
dokumentasjon
Metadata for
dokumenter
+
Medflg. Infofil til SIP
AIU
Informasjonsinnhold
Datafiler/
dokumenter
Tekniske
metadata
Adm.
metadata
Kontekst-info
Depotoperasjoner
Metadata for
dokumenter
Informasjonsinnhold
Datafiler/
dokumenter
Tekniske
metadata
Mottatt SIP
AIP-1 (lagret SIP)
AIP-2
SIP ble her lagret uten at det samtidig ble generert en
transformert AIP. Dette krevde en AIU i tillegg
Ved en senere generering av en trans-formert
AIP (2) innarbeides AIU i AIP (2)
Slide 11
DIAS xml-skjemaer
• Pakkeinformasjon (container-beskrivelse): METS (Metadata
Encoding & Transmission Standard)
• Bevaringsmetadata: PREMIS (Preservation Metadata:
Implementation Strategies)
• Arkivbeskrivelse: EAD (Encoded Archival Description)
• Aktørbeskrivelse: EAC-CPF (Encoded Archival Context – Corporate
bodies, Persons, and Families)
• Strukturbeskrivelse for tabelluttrekk mm.: ADDML (Archival Data
Description Markup Language)
• Metadatabeskrivelse for foto-/bildeformater: MIX (Metadata for
Images in XML)
METS, PREMIS, EAD og EAC-CPF tilpasses for bruk i DIAS
Slide 12
DIAS-strukturen: ”særnorske” løsninger (1)
1.
En DIAS-AIP skal alltid ha en tilknyttet AIC
– Tilknytningen skal skje ved bruk av pekere fra AIC
2.
En AIC skal kunne tilknyttes flere generasjoner av samme AIP
– Et ”flagg” i AIC skal vise aktiv (gjeldende) AIP
3.
En AIU skal kunne brukes, men da bare være tilknyttet en AIC
– AIC-en skal vise AIU-ens relasjon til en AIP
– En AIU skal (via AIC) referere til en aktiv AIP, og bli inaktiv når vedkommende AIP
får inaktiv status
4.
En AIP, AIU og DIP pakkes som tar, og tar-sjekksum lagres i AIC
5.
En AIC skal være en METS-fil. Den skal ikke pakkes som tar
6.
En AIC skal kunne endres/oppdateres – i motsetning til en AIP
Slide 13
DIAS-strukturen: ”særnorske” løsninger (2)
7.
Dokumentfiloversikten i METS skal samle filreferansene i en eller flere tarfiler
– Hver tar-fil listes opp i fileSec.
– FileSec i METS knyttes til administrative metadata i PREMIS
8.
Følgende roller brukes i METS:
SUBMITTER
PRESERVATION
PRODUCER
IPOWNER
CREATOR
ARCHIVIST
Ansvarlig organ for overføring
Depot
Teknisk uttrekksprodusent (leverandør)
Eier/rettighetshaver av materialet
METS-produsent (teknisk)
Opprinnelig arkivskaper
Slide 14
Organiseringen av
DIAS forvaltningsforum
Tidsavgrenset styringsgruppe
Styringsgruppen
for ”DIAS forvaltningsforum”
styrer
Tidsavgrensede prosjekt
Prosjektet ”Ny
metodikk for bevaring
og tilgjengeliggjøring”
Prosjektet ”ESSArch”
Prosjektet ”Etablering
av DIAS forvaltningsforum”
resulterer i
Løpende forum
Forumet ”DIA
S forvaltningsforum”
Slide 15
Ny metodikk
for bevaring og tilgjengeliggjøring
• Prosjektsammendrag
– Prosjektet skal revurdere metodegrunnlaget for bevaring
og tilgjengeliggjøring av digitalt skapt arkivmateriale.
– Basert på en kartlegging av det internasjonale bildet skal
det vurdere alternativ metodikk som er tilpasset for ulike
målgrupper og ambisjonsnivåer.
– Brukertjenester som er egnet til å ivareta allmennhetens
behov, vil ha særlig prioritet, og metodene for bevaring og
tilgjengeliggjøring skal vurderes i sammenheng.
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig 1.9.2013
Slide 16
Etablering av DIAS forvaltnings-forum
• Etablere et forum for forvaltning av resultatene
fra DIAS-prosjektet
–
–
–
–
Etablere forumets mandat
Avklare finansiering
Velge deltakere
Gjennomføre nødvendig kompetanseutvikling for
deltakerne
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig 1.9.2013
Slide 17
DIAS forvaltningsforum
• Forumet skal forvalte standardene fra DIAS
– overvåke utviklingen av de internasjonale standardene
– vurdere og gjennomføre endringsbehov
• Forumet skal forvalte ESSArch
– ta imot feilmeldinger og endringsønsker fra brukerne
– vurdere, melde og følge opp feil og endringsønsker til
leverandøren
– følge opp den sentrale vedlikeholdsavtalen med
leverandøren
Slide 18
Betty
• er et informasjonssystem for oppfølging av
arkivdanning og mottak
–
–
–
–
–
tilsynsvirksomhet
bevarings- og kassasjonsvedtak
avtaler om avlevering/deponering
mottak
kontroll (testing)
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig utviklet i Riksarkivet 1.9.2013
Slide 19
ESSArch
• er et forvaltningssystem for OAIS-strukturerte
arkivpakker i digitalt depot som oppfyller
DIAS-prosjektets krav til et slikt system
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig utviklet i Riksarkivet 1.7.2013
DIAS - Digital arkivpakkestruktur
Sikker bevaring av elektronisk
arkivmateriale
Folloarkivets dagskonferanse 7.3.2013
Hans Fredrik Berg, Riksarkivet
Slide 2
Sentrale prosjekter
Elmag
DIAS
forvaltnings
forum
DIAS
Plan for ny
depotløsning for
Arkivverkets digitalt
skapte arkivmateriale
basert på TRAC
Felles og omforent
pakkestruktur for
bevaring av digitalt
arkivmateriale med
basert på OAIS
Nytt system for
depot-forvaltning
basert på resultatene
fra DIAS
Nytt system for
oppfølging av
arkivskapere og
arkivuttrekk
ESSArch
Betty
Forvaltning av
standardene fra DIAS
og forvaltningssystemet ESSArch
Slide 3
Verktøyenes bruksområder
Arkivdanning
Mottak
Depotforvaltning
Kontroll
Betty
Tools
ESSArch
ASTA
Slide 4
DIAS resultater
• Spesifikasjon av en generell norsk arkivpakkemodell som en
definert bruksmåte av OAIS. DIAS-modellen angir hvordan
foreliggende standarder skal anvendes i en arkivpakke.
– Definerer en standard for statlige og kommunale arkivdepoters
implementering av OAIS-modellen
– Angir hvordan en arkivpakke skal organiseres ved bruk av
eksisterende standarder (med tilhørende xml-skjemaer)
– Dvs.: DIAS er en standard for bruk av standarder
• Spesifikasjon av et forvaltningssystem for DIAS-arkivpakker
(26 funksjonelle krav).
• http://www.arkivverket.no/arkivverket/Arkivbevaring/Elekt
ronisk-arkivmateriale/DIAS-prosjektet
Slide 5
OAIS (Open Archival Information System)
Preservation planning
P
r
o
d
u
c
e
r
Descriptive
info
Data management
Descriptive
info
Ingest
Access
SIP
AIP
Archival storage
DIP
AIP
Administration
Management
C
o
n
s
u
m
e
r
Slide 6
DIAS-standardene
Records
manager
Repository
manager
Transfer
Noark
system
SIP
AIP
Secure
repository
system
Noark
standard
(schemas)
SIP
structure
(schemas)
AIP
structure
(schemas)
Secure
repository
spec.
User
DIP
Access
system
Slide 7
AIP (OAIS)
Slide 8
Arkivpakke (iht. OAIS)
En ”container” hvor et arkivobjekt er lagret som en selvstendig
enhet - fast forbundet med all tilhørende informasjon
Pakkeinformasjon
All nødvendig
informasjon for
å forstå
objektet som
arkivmateriale:
•kontekst
•proveniens
Bevaringsmetadata
(“logiske metadata”)
All nødvendig
informasjon
for å fremstille objektet
på ny
Informasjonsinnhold
Datafiler
Tekniske
metadata
•bevaringshistorikk
Samlet sjekksum for pakken
Varianter: Avleveringspakke (SIP), Bevaringspakke (AIP) og Brukspakke (DIP)
Slide 9
Organisering i arkivsamlepakker (AIC)
AIC
Bevaringsmetadata
Informasjonsinnhold
Bevaringsmetadata
Info-innhold
Datafiler
Tekniske
metadata
Bevaringsmetadata
Bevaringsmetadata
Bevaringsmetadata
Info-innhold
Info-innhold
Info-innhold
Datafiler
Tekniske
metadata
Datafiler
Datafiler
Tekniske
metadata
Tekniske
metadata
Bruksversjon
AIP
AIP
AIU
DIP
Versjon 1 –
med SIP
Transformert
versjon
Tillegg til AIP-1
Bruksversjon
Slide 10
Arkivpakkemodell
Pakkeinformasjon
AIC
Bevaringsmetadata
Samlet sjekksum
for AIC
Informasjonsinnhold
SIP-TAR
TAR
TAR
Pakkeinformasjon
Pakkeinfo.
Pakkeinformasjon
Bevaringsmetadata
Depotoperasjoner
Bevaringsmetadata
Adm.
metadata
Kontekst-info
Annen medflg
dokumentasjon
Metadata for
dokumenter
+
Medflg. Infofil til SIP
AIU
Informasjonsinnhold
Datafiler/
dokumenter
Tekniske
metadata
Adm.
metadata
Kontekst-info
Depotoperasjoner
Metadata for
dokumenter
Informasjonsinnhold
Datafiler/
dokumenter
Tekniske
metadata
Mottatt SIP
AIP-1 (lagret SIP)
AIP-2
SIP ble her lagret uten at det samtidig ble generert en
transformert AIP. Dette krevde en AIU i tillegg
Ved en senere generering av en trans-formert
AIP (2) innarbeides AIU i AIP (2)
Slide 11
DIAS xml-skjemaer
• Pakkeinformasjon (container-beskrivelse): METS (Metadata
Encoding & Transmission Standard)
• Bevaringsmetadata: PREMIS (Preservation Metadata:
Implementation Strategies)
• Arkivbeskrivelse: EAD (Encoded Archival Description)
• Aktørbeskrivelse: EAC-CPF (Encoded Archival Context – Corporate
bodies, Persons, and Families)
• Strukturbeskrivelse for tabelluttrekk mm.: ADDML (Archival Data
Description Markup Language)
• Metadatabeskrivelse for foto-/bildeformater: MIX (Metadata for
Images in XML)
METS, PREMIS, EAD og EAC-CPF tilpasses for bruk i DIAS
Slide 12
DIAS-strukturen: ”særnorske” løsninger (1)
1.
En DIAS-AIP skal alltid ha en tilknyttet AIC
– Tilknytningen skal skje ved bruk av pekere fra AIC
2.
En AIC skal kunne tilknyttes flere generasjoner av samme AIP
– Et ”flagg” i AIC skal vise aktiv (gjeldende) AIP
3.
En AIU skal kunne brukes, men da bare være tilknyttet en AIC
– AIC-en skal vise AIU-ens relasjon til en AIP
– En AIU skal (via AIC) referere til en aktiv AIP, og bli inaktiv når vedkommende AIP
får inaktiv status
4.
En AIP, AIU og DIP pakkes som tar, og tar-sjekksum lagres i AIC
5.
En AIC skal være en METS-fil. Den skal ikke pakkes som tar
6.
En AIC skal kunne endres/oppdateres – i motsetning til en AIP
Slide 13
DIAS-strukturen: ”særnorske” løsninger (2)
7.
Dokumentfiloversikten i METS skal samle filreferansene i en eller flere tarfiler
– Hver tar-fil listes opp i fileSec.
– FileSec i METS knyttes til administrative metadata i PREMIS
8.
Følgende roller brukes i METS:
SUBMITTER
PRESERVATION
PRODUCER
IPOWNER
CREATOR
ARCHIVIST
Ansvarlig organ for overføring
Depot
Teknisk uttrekksprodusent (leverandør)
Eier/rettighetshaver av materialet
METS-produsent (teknisk)
Opprinnelig arkivskaper
Slide 14
Organiseringen av
DIAS forvaltningsforum
Tidsavgrenset styringsgruppe
Styringsgruppen
for ”DIAS forvaltningsforum”
styrer
Tidsavgrensede prosjekt
Prosjektet ”Ny
metodikk for bevaring
og tilgjengeliggjøring”
Prosjektet ”ESSArch”
Prosjektet ”Etablering
av DIAS forvaltningsforum”
resulterer i
Løpende forum
Forumet ”DIA
S forvaltningsforum”
Slide 15
Ny metodikk
for bevaring og tilgjengeliggjøring
• Prosjektsammendrag
– Prosjektet skal revurdere metodegrunnlaget for bevaring
og tilgjengeliggjøring av digitalt skapt arkivmateriale.
– Basert på en kartlegging av det internasjonale bildet skal
det vurdere alternativ metodikk som er tilpasset for ulike
målgrupper og ambisjonsnivåer.
– Brukertjenester som er egnet til å ivareta allmennhetens
behov, vil ha særlig prioritet, og metodene for bevaring og
tilgjengeliggjøring skal vurderes i sammenheng.
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig 1.9.2013
Slide 16
Etablering av DIAS forvaltnings-forum
• Etablere et forum for forvaltning av resultatene
fra DIAS-prosjektet
–
–
–
–
Etablere forumets mandat
Avklare finansiering
Velge deltakere
Gjennomføre nødvendig kompetanseutvikling for
deltakerne
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig 1.9.2013
Slide 17
DIAS forvaltningsforum
• Forumet skal forvalte standardene fra DIAS
– overvåke utviklingen av de internasjonale standardene
– vurdere og gjennomføre endringsbehov
• Forumet skal forvalte ESSArch
– ta imot feilmeldinger og endringsønsker fra brukerne
– vurdere, melde og følge opp feil og endringsønsker til
leverandøren
– følge opp den sentrale vedlikeholdsavtalen med
leverandøren
Slide 18
Betty
• er et informasjonssystem for oppfølging av
arkivdanning og mottak
–
–
–
–
–
tilsynsvirksomhet
bevarings- og kassasjonsvedtak
avtaler om avlevering/deponering
mottak
kontroll (testing)
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig utviklet i Riksarkivet 1.9.2013
Slide 19
ESSArch
• er et forvaltningssystem for OAIS-strukturerte
arkivpakker i digitalt depot som oppfyller
DIAS-prosjektets krav til et slikt system
• Støttet av Norsk Kulturråd
• Deltakelse fra Arkivverket og kommunale
depotinstitusjoner
• Forventes ferdig utviklet i Riksarkivet 1.7.2013