Transcript Lisbet Nederberg Skedsmo kommune

Katastrofe- og beredskapsløsning
IKT-Skedsmo kommune
Per Kristian Ramstad/Lisbet Nederberg
Togulykken i Lillestrøm
• Lillestrøm 5. april 2000
–
Godstogets bremser virket ikke da det kolliderte med et stillestående godstog. To tankvogner med
over 90 tonn propan tok fyr, og tankene var bare minutter fra å eksplodere. 2.000 personer ble
evakuert etter ulykken og kunne ikke dra hjem på en uke.
Foto: Bjørn Gunnar Kværne
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
2
Togulykken i Lillestrøm
• Brannvesenet startet nedkjøling av tanken et par timer senere ved å pøse på vann, noe
som hindret tanken i å eksplodere. På det tidspunktet hadde ikke politiet startet
evakueringen av innbyggerne.
• Dersom kjølingen ikke var blitt satt i gang, ville det oppstått en brannball med enorm
varmeenergi, en såkalt BLEVE-eksplosjon, som ville vart i 10-15 sekunder. Alle utendørs
innen en radius av 400 meter, ville omkommet.
• ALTSÅ: Rådhuset og IKT-driftssentralen lå relativt ”tynt an”.
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
3
Hvordan var IKT organisert i år 2000
• Terminalservermiljø
• Sentralisert datadrift for ”desentraliserte” arbeidstakere. Alle ansatte får tilgang til
kommunens dataressurser uavhengig av arbeidsplass.
= Cloud Computing – vi hadde våre egen sky allerede da 
• KO (kommandoplass) ble etablert på Stalsberg bo- og behandlingssenter
kommuneledelsen hadde tilgang til viktige dataressurser (så lenge rådhuset var operativt)
MEN, MEN, MEN
• Beredskapsplaner lå på rådhuset
• Rådhuset var evakuert, ingen fikk tilgang
• Backup-taper var fysisk lagret i brannsikkert skap i samme rom som serverparken
• Brannvesenet ledsaget IT-sjef inn i rådhuset og hentet backup-taper ut.
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
4
Strakstiltak etter ulykken
• Backup-taper flyttes ut av rådhuset, oppbevares på annen lokasjon
• Lokalt postbud henter og leverer taper
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
5
2007 - 2010
2007
• Datalagring og sikkerhetskopiering plasseres fysisk i 2 forskjellige bygg
• Nødvendige IT-infrastruktur etableres i Leiraveien


fiber mellom byggene
backup-robot m/tilbehør flyttes
2010 ÅB-MÅL
• Risiko- og sårbarhetsvurdering av kommunens it-systemer relatert til langvarig dataavbrudd
og behov for tilbakekopiering skal være gjennomført. Metode for gjenoppretting av normal
drift, herunder manuelle rutiner under avbrudd skal beskrives.
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
6
Risiko- og sårbarhetsanalyse (ROS)
• For å kartlegge kravet til oppetid på kommunens datatjenester ble det i 2010 foretatt risikoog sårbarhetsanalyse (ROS). ROS-analysen ble gjennomført som en spørreundersøkelse
hvor respondentene var personer med ledende roller, systemeier/systemansvarlig eller
leietakere av datatjenester i Skedsmo kommune. Totalt 131 personer hvorav 82 svar.
• Alle sentrale fagapplikasjoner skulle rangeres i forhold til nedetid på 3 TIMER, EN DAG
eller EN UKE uten øvrig prioritering av innbyrdes viktighet, dvs. er pasientjournaler viktigere
enn bibliotekssystemer.
• Denne ROS-analysen hadde kun til hensikt å belyse tilgjengelighet, dvs. tilgang til itsystemer, ikke integritet eller konfidensialitet som alle er begreper innen datasikkerhet.
 Konfidensialitet: Å sikre at informasjon bare er tilgjengelig for de som skal ha tilgang.
 Integritet: Å sikre at informasjon er korrekt og fullstendig.
 Tilgjengelighet: Å sikre at informasjon er tilgjengelig innenfor de krav som er satt.
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
7
FUNN
• Hovedkonklusjon etter ROS-analysen er at Skedsmo kommune ikke tåler nedetid på en uke
uten at dette får alvorlige konsekvenser for arbeidssituasjonen. De fleste systemer kan tåle
nedetid på en dag, mens noen systemer ikke tåler nedetid over 3 timer før dette får
alvorlige konsekvenser for arbeidssituasjonen til de ansatte. Imidlertid vurderes faren for
liv- og helse som lite overhengende selv om IKT-systemene er nede en uke.
• TJA, vi har vel gode interne rutiner da ?
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
8
Løsningsforslag
• Driftssenter (backup/restore-lokasjon) bygges i Leiraveien
• Driftssenter (backup/restore-lokasjon) etableres i samarbeid med NRV/NRA
i Strandveien eller Hauklifjell
• Tjenesten settes ut til 3.dje part som for eksempel EDB/ErgoGroup.
THE WINNER IS
• Det etableres et fullverdig IKT-senter i Leiraveien med full funksjonalitet, men med
begrenset kapasitet. Dette betyr i praksis at det bygges et operativt ”Skedsmo kommune”,
med alle fagapplikasjoner og infrastruktur, men redusert kapasitet. I en katastrofesituasjon
vil dette bety at et begrenset antall medarbeidere får tilgang til IT-systemene, men likevel
tilstrekkelig for å opprettholde forsvarlig drift. Løsningen skal være skalerbar, dvs. lett
kunne utvides dersom behov.
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
9
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
10
Teknisk løsning
• Prosjektdirektiv, milepælsplan og ressursbruk er godkjent
• Planleggingsfase
• Løsning
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
11
Planlegging
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
12
Hva skulle vi lage/kopiere
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
13
Praktisk løsning – Overordnet skisse
Kriselokasjon
Rådhuset
Internet
Firewall
v
VmWare
VmWare
10Gbps switch
10Gbps switch
SAN
SAN
Backup server
Backup til disk
Backup server
Telenor
Citrix
Citrix
IP-telefoni
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
IP-telefoni
14
Implementering
• Anskaffede servere er installert
• Nettverksoppsett (switcher) er inst. og klar til bruk.
• Snapgear-bokser er utfaset og brannmur har overtatt krypteringsfunksjonen.
• Brannmur er flyttet fra Rådhuset til Leiraveien og er operativ.
• Nødaggregat/UPS er inst. og i drift.
• Virtualisering av fysiske servere er utført.
• Oppstartsrekkefølge (servere) og testplan er beskrevet og godkjent.
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
15
KJØREBOK
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
16
Gjenstående arbeid
• Testplanen er kvalitetssikret (kjørt igjennom testplan - katastrofeøvelse).
• Opplæring i bruk av testplan er gjennomført.
• Katastrofeløsningen er klar til bruk.
• Implementeres i kommunens øvrige katastrofeplaner
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
17
HVA BRUKER VI AV SOFTWARE OG HARDWARE
• VmWare 5.1
–
Full virtualisering
• Veeam 6.5
–
For backup av VmWare
• HP StoreOnce D2D (x2)
–
–
Står i replikering
Månedlige arkivverdige data tas ut til tape
• HP EVA (x2)
–
–
EVA4400 (Kriselokasjon)
P6300 (Rådhuset)
• Citrix XenApp m/Provisioning på Xenservere
–
XenApp 6.5 på 2008R2
• Redundant internet fra Ventelo
–
–
09.10.2013
200Mbps
Failover (Ventelo står for ruting)
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
18
Skedsmo kommune
Jonas Liesgate 18
Postboks 313, 2001 Lillestrøm
www.skedsmo.kommune.no
09.10.2013
Skedsmo kommune, Katastrofe- og beredskapsløsning IKT
19