E-Mail-Archivierung bei GSI

4/30/2020 R.Thieme / GSI IT 1

4/30/2020 • • • • Motivation Anforderungen an eine E-Mail-Archivierungslösung PAM4Exchange • Architektur und Funktionsübersicht • Installation, Konfiguration und Betrieb Resümee und Ausblick R.Thieme / GSI IT 2

Motivation E-Mail-Archivierung

• • Langfristige und sichere Aufbewahrung von Emails Rechtliche Aspekte wie Grundsätze zum Datenzugriff und zur Prüfbarkeit digitaler Unterlagen (GDPdU) • Reduzierung der Größe der Mailboxen und damit der Datenbanken • schnelleres Restore (Service Level Agreement) • • • Reduzierung der Dauer der Backups Speicherkosten Performancegewinn • Keine Archivierung durch User in lokale PSTs (Outlook) 4/30/2020 R.Thieme / GSI IT 3

4/30/2020

Archivierunglösungen

• • • Appliances Standalone-Lösung Archivierung im Rahmen eines Dokumentmanagementsystems

Archivierungsstrategien

• • • Journaling Serverseitige Archivierung Clientseitige Archivierung R.Thieme / GSI IT 4

Exchange Organisation GSI Linux MTAs Internet

Outgoing /Incoming Mail (SMTP) Outgoing Mail (SMTP) Exchange 2003 active / passive Cluster

Mailbox Server Backend Node A

Heartbeat

Mailbox Server Backend Node B OWA Server Frontend Exchange 2003 Organisation

ClientAccess MAPI ClientAccess MAPI Clients (Outlook Clients inside GSI) 4/30/2020

SAN Raid

HP MSA 1000 (Quorum Logs Mailboxdatabases)

Shared Storage

MailboxData: 4 Storagegroups (15 Mailbox Databases) ca 2300 Mailboxen 1,7 TB R.Thieme / GSI IT Non MAPI Clients • • • • • • Outlook Web Access Outlook RPC over Https (Admin IT) IMAP-Clients Macintosh-Clients PDA Blackberry 5

What we want: Exchange Server ..... Archive Server

Diskpool E-Mail Archive Server (mails older than n days, size > x Kb,...)

Internet Linux MTAs

Archive/Restore Exchange 2003

active

/ passive Cluster Outgoing / Incoming Mail

Mailbox Server Backend Node A Mailbox Server Backend Node B

Outgoing Mail

OWA Server Frontend

ClientAccess MAPI Clients (Outlook Clients inside GSI) 4/30/2020

SAN Raid Shared Storage

ClientAccess

Exchange 2003 Organisation

• • • • • • Outlook Web Access Outlook RPC over Https IMAP-Clients Macintosh-Clients PDA Blackberry Non MAPI Clients R.Thieme / GSI IT 6

GSI-Anforderungen an Archivierungssoftware (1)

•

Support Exchange 2003 / 2010

Keine Installation auf Exchange-Backend •

Server- und clientseitige Archivierung

• Archivierung von Mailboxen und Public Foldern • Archivierung aufgrund von Policies (Alter, Grösse,...) • Serverseitige Archivierung als zeitgesteuerte Jobs •

Restore

archivierter Mails auf Exchangeserver •

Transparenter Zugriff

auf archivierte Mails über • Outlook, IMAP • • • Outlook WebAccess (OWA) Mobiles, Blackberry Entourage •

Webinterface

zum Zugriff auf archivierte Mails unabhängig von ExchangeServer 4/30/2020 R.Thieme / GSI IT 7

GSI-Anforderungen an Archivierungssoftware (2)

• •

Volltextsuche

• über Webinterface • Outlook

Archivierung

• mit Rechten und Eigenschaften der Exchange-Mailbox • Single Instance , komprimierte Speicherung der Mails • • Erhalt der Mailbox-Ordnerstruktur Multilanguage Support • • • Import einer Auswahl zu archivierender Mailboxen über Skript Export-Feature zur Migration in anderes DMS Direkter Import von PST-Dateien • TSM-Unterstützung für Archivdaten 4/30/2020 R.Thieme / GSI IT 8

Produktangebote

• • • 7 Angebote nur 2 Produkte • erlauben IMAP-Zugriff auf archivierte Mails • erhalten die Mailbox-Ordnerstruktur bei der Archivierung davon wird eines wegen folgender Punkte nicht ausgewählt • keine Übernahme der Mailbox-Rechte von Exchangeserver • zu archivierende Mailboxen müssen auf Exchangeserver in "Archivierungs"-Database liegen  Entscheidung fuer

PAM4Exchange

von Heilig und Schubert (heute Metalogix) 4/30/2020 R.Thieme / GSI IT 9

PAM4Exchange: Professional Archive Manager for Exchange:

• Archivierungssoftware für Mails,Attachments und andere Messageclasses • • Erhaltung der Ordnerstruktur der Mailbox Transparenter Zugriff für alle geforderten Clients • Outlook-Addin "Archive, Restore, Delete, Search" • • HSM Single Instance Storage HSM PAM-Storage • Volltextsuche • PST-Importer • Journalarchiv • Offlinekopie der archierten Mails bei Bedarf 4/30/2020 R.Thieme / GSI IT 10

PAM4Exchange: Interaction of Components Mail Client

MAPI https: IMAP ActiveSync....

OutlookWebAccess (OWA) https: IIS

Exchange@PAM-Service

MAPI (privileged user) Move attachments and mails to PAM storage

HSM-Service SQL-Database

Metadata -

Archive according to rules

-

Replace original mails by link/shortcut to archive (PAMStorage) Archive Server Exchange Stor

e Forms

Exchange Organisation

4/30/2020 R.Thieme / GSI IT 11

PAM4Exchange: Functions

Client MAPI, IMAP, https,...

Exchange Mailbox https Archive-Server

PAM Service

EXCHANGEPAMws FullTEXTFrom HSM EXCHANGEPAMDirectArchiveWS Retrieve MAPI Crawler Archive MAPI PST Importer PST File IIS

HSM

SQL 4/30/2020 R.Thieme / GSI IT 12

PAM4Exchange: Installation Archiv-Server:

Installation

IIS

und

SQL-Server

Installation

PAM4Exchange Exchange Backend Server (Mailbox-Server): Superuser

mit

Zugriff auf alle Mailboxen

in Active Directory anlegen

PAM4Exchange Outlook-Formulare

verteilen

Exchange Frontend Server (Webaccess-Server (OWA)):

Installation

PAM4Exchange OWA-Extensio

n (Webformulare)

PST-Importer:

Installation

PAM4Exchange PST Import

auf Windows-Client mit Outlook 2003

Outlook-Addin (für clientseitige Archivierung und Suche):

Installation

PAM4Exchange Outlook-Addin

auf Windows-Clients 4/30/2020 R.Thieme / GSI IT 13

PAM4Exchange: Konfiguration

• • • Active-Directory

PAM-Gruppen

einrichten für User, deren Mails archiviert werden können PAM-Gruppen in PAM4Exchange bekanntmachen

Synchronisation

zwischen Active Directory und PAM4Exchange konfigurieren •

Serverseitige Archivierung:

•

Jobs

definieren, die für diese PAM-Gruppen Mails archivieren • Kriterien festlegen (Alter, Grösse) • • evtl. Ordner von Archivierung ausschliessen Scheduling definieren •

Konfiguration

• Komprimierung von MSG-Files und Attachments • Messageklassen zur Archivierung • Retentiontime 4/30/2020 R.Thieme / GSI IT 14

PAM4Exchange: Vorgehensweise bei Archivierung

•

Serverseitige Archivierung

: Der Archivierungsprozess prüft alle Mails der ihm zugeordneten PAM-Gruppe im Hinblick auf die definierten Archivierungskriterien. Sind diese Kriterien erfüllt, wird ein entsprechender Archivierungs-Request in eine Queue gestellt.

Ein zweiter Job arbeitet diese Archivierungs-Aufträge unabhängig davon

sequentiell

ab.

•

Clientseitige Archivierung

(Outlook): Über das Outlook-Addin hat der User die Möglichkeit ausgewählte Mail zu archivieren, wiederherzustellen oder im Archiv löschen Diese Vorgehensweise ist jedoch aus Performancegründen

nicht für eine grössere Anzahl zu archivierender Mails geeignet

(>50). Für jede Mail wird ein RPC-Request an den Exchangeserver gestellt. Alle diese Requests werden

parallel abgearbeitet

beeinträchtigen kann. was die Performance des Exchangeservers deutlich 4/30/2020 R.Thieme / GSI IT 15

PAM4Exchange Enterprise Manager: Groups

4/30/2020 R.Thieme / GSI IT 16

PAM4Exchange Enterprise Manager: Jobs

4/30/2020 R.Thieme / GSI IT 17

PAM4Exchange Enterprise Manager: Mailboxes

4/30/2020 R.Thieme / GSI IT 18

PAM4Exchange: HSM Archive

4/30/2020 R.Thieme / GSI IT 19

PAM4Exchange aus Sicht der User

•

Lesender Zugriff

von Clients wie Outlook, IMAP, Entourage, PDA, Blackberry und OutlookWebAccess ohne Modifikation der Clients •

Outlook Addin

für "Archive, Restore, Delete, Search" • Zugriff auf

Web

über https://mailarchive.gsi.de/archiveweb 4/30/2020 R.Thieme / GSI IT 20

Outlook

4/30/2020 R.Thieme / GSI IT 21

Outlook

4/30/2020 R.Thieme / GSI IT 22

IMAP-Client (1) .

.

.

.

.

.

.

4/30/2020 R.Thieme / GSI IT 23

IMAP-Client (2)

4/30/2020 R.Thieme / GSI IT 24

IMAP-Client (3)

4/30/2020 R.Thieme / GSI IT 25

PAM4Exchange:Webinterface

4/30/2020 R.Thieme / GSI IT 26

PAM4Exchange: GSI-Erfahrungen

• PAM-Usergruppe • Archivierung von Mails > 10 Kb und älter als 500 Tage • "Erst-Archivierung" einzeln durchführen • Serverseitige Archivierung nicht in festem Rhythmus • • • Outlook-Addin bei Bedarf auf Client installieren Outlook-Formulare müssen in jeder Datenbank explizit über Outlook veröffentlicht werden.

Outlook-User nachhaltig auf Performance-Probleme des Exchangeservers bei clientseitiger Archivierung hinweisen!

• Die serverseitige Archivierung erhöht die CPU-Auslastung des Exchangeservers deutlich, hat aber keinen bemerkbaren Einfluss auf die Server-Client-Kommunikation über MAPI (RPC-Latency) 4/30/2020 R.Thieme / GSI IT 27

PAM4Exchange: Ausblick To Do

: - Installation PAM4Exchange V4.3 für Exchange 2010 - Import von vorhandenen PSTs zurück in Exchange-Postfach - Archivierung von Mails eines speziellen Mailordners unabhängig von Alter, Grösse etc des Inhalts 4/30/2020 R.Thieme / GSI IT 28

PAM4Exchange: Resümee

PAM4Exchange ist eine Archivierungssoftware die bis auf einen Punkt unsere Anforderungen erfüllt Problem: Exchange-Performance bei clientseitiger Archivierung ... wir installieren am 9.12.2010 PAM4Exchange Version 4.3 und wollten 1. 1 Quartal 2011 mit der Migration der Mailboxen auf Exchange 2010 beginnen – schaun wir mal, wie es dann mit der Exchange-Performance aussieht.

4/30/2020 R.Thieme / GSI IT 29

4/30/2020 R.Thieme / GSI IT 30