Transcript Andreas Goppold Aspekte von Komplexität und Ästhetik im Multimedia-Design I. Grundlagen II. Praxis / Implementation Einführung Computer als Theater MM-Infrastrukturen Das Aktor-Prinzip Aspekte des MM-Designs Morphologische Operatoren MM-Design in A Nutshell Design.

Andreas Goppold
Aspekte von Komplexität und
Ästhetik im Multimedia-Design
I. Grundlagen
II. Praxis / Implementation
Einführung
Computer als Theater
MM-Infrastrukturen
Das Aktor-Prinzip
Aspekte des MM-Designs
Morphologische Operatoren
MM-Design in A Nutshell
Design und Zeit
Einführung: Umrisse und
Kernthemen

Dieser Vortrag soll in ca. 30 Minuten (plus
10 min. Demo) folgendes vorstellen:
 einen Umriss von Kernthemen und
Prinzipien des MM-Designs
– z.B. Inhalt von einigen Semestern Arbeit am
Detail - oder auch – als Grundlage eines Programms für Lehre und
Forschung der nächsten Jahre.
start
zurück
weiter
Der Vortrag als NavigationsZentrum für die Texte-CD
– Als Ausgleich für die z.T. extreme Verkürzung
der Themen wird eine CD mitgeliefert.

Der Vortrag fungiert als NavigationsZentrale für die CD.
– Hier liegen mehrere MB WWW-Texte in HTMLDatenbasis.
– Von den Vortragsfolien führen Hyper-Links auf
die Texte
– Dort sind die einzelne Konzepte detailliert
ausgearbeitet und können bei Bedarf /
Interesse nachgesehen werden.
start
zurück
weiter
Zur WWW-Version der
Präsentation
• Dies ist die WWW-Kopie eines Offline-Live-Vortrags.
• Die Hyper-Links dieser Power-Point-Präsentation
waren original auf lokale Files eingestellt.
• Die WWW-URLs wurden zwar eingefügt, aber nicht
im WWW getestet.
• Evtl. muss das Material von der URL auf eine lokale
Platte kopiert werden.
• Die Kaleida Dreamscape MM-Demo kann leider nicht
ins Netz gestellt werden. Sie ist nur als Live-Demo
vorgesehen.
start
zurück
weiter
MM-Design und Edutainment

Die Edutainment-Komponente soll in
dieser Vorstellung nicht zu kurz kommen.
– Ein wesentlicher Teil des Vortrags ist daher die

Kaleida Dreamscape MM-Demo
– Hier werden die vorgestellten Konzepte
interaktiv und intuitiv erfahrbar.

Sowie die LPL-Aktor-Demo
• (demo.exe: wird lokal entpackt und gestartet)

Unter dem Motto:
“MM-Design by Playing and Exploring“.
start
zurück
weiter
Grundlagen der Informatik und
MM-Infrastrukturen
– Zu MM-Infrastrukturen gehören adäquate

Development-Support-Tools.
– Aus eigener Entwicklung liegt ein komplettes
SW-Development-Support-System vor, das

LPL-System mit:
• Hypertext integriertem Editor
• User Interface / Windowing / Datenbank
• VM Technology / Scripting
– Dies ist auch für Informatik-GrundlagenThemen verwendbar und kann bei Interesse
hier weiter verfolgt werden.
start
zurück
weiter
Aspekte des MM-Designs
– Übersicht der folgenden Themen -




Komplexitäts-Management
Multimedia Design in a Nutshell
Der ökonomische Engpass
MM-Design im Spannungsfeld von
Komplexität und Ästhetik
Die “Neuronale Frontier“
start
zurück
weiter
Komplexitäts-Management

Komplexitäts-Management ist ein ZentralThema von Computing allgemein, damit
auch für MM-Produktion.
– Dies betrifft vor allem die SW-EngineeringAspekte der MM-Produktion. Diese Aspekte
werden in der Informatik intensiv behandelt.
– Hier soll ein Ansatz zur Kapselung von
Komplexität vorgestellt werden.
– Dies ist von besonderem Interesse für MMProduktion im pädagogischen und
künstlerischen Bereich.
start
zurück
weiter
Multimedia Design in a Nutshell

MM Design konvergiert (m.E.) mit der
Technologie-Entwicklung hin zu
 Real-Time Generierung und
 Kontrolle von
 Virtual Reality Szenen
– Mit der Leit-Metapher:
– Computer als Theater
– Dies wird im zweiten Teil anhand der KaleidaBeispiele weiter vertieft.
start
zurück
weiter
Der ökonomische Engpass
– Der Aufwand für hochwertige MM-Produktion
läßt sich zu selten über eine hinreichende
Abnehmerbasis amortisieren.
– Dies betrifft besonders den pädagogischen
und künstlerischen Bereich. Für MM-Werbung
mit geringen Niveau-Ansprüchen ist dagegen
immer genug Geld vorhanden.
– Ausweg: CA-MM-Engineering. Methoden zur
industriellen MM-Fertigung.
– ABER: MM-Design ist ebenso ein
künstlerisches / ästhetisches Thema.
start
zurück
weiter
MM-Design im Spannungsfeld
von Komplexität und Ästhetik

MM-Design beinhaltet Kommunikation und
Komm-Union von zwei u.u. extrem
verschiedenen Denkwelten:
– Der Welt der Informatiker, Mathematiker,
Techniker, Ingenieure...
• Beherrschung von Symbolsprachen, explizites
Wissen, Präzision, Formalisierung, Komplexität,
Effizienz...
– Der Welt der Pädagogen, Künstler, Designer,
Märchen-Erzähler, Visionäre...
• Die subsymbolische (neuronale) Welt, Intuition,
Gefühl, implizites Wissen (Polanyi).
start
zurück
weiter
Die „Neuronale Frontier“
– Die „Frontier“, hier gebraucht in der spezifisch
amerikanischen quasi-mythologischen
Bedeutung: dem Vormarsch einer Zivilisation,
die sich einen neuen Kontinent erobert.

Mit MM betritt die Technologie das
Territorium der
– neuronalen subsymbolischen Welt von
– Intuition, Gefühl, und implizitem Wissen
(Polanyi).
– Weitere Texte: 1 2 3 4 . . .
start
zurück
weiter
Warum MM-Produktion so
aufwendig ist

SW-Produktion muss immer zwei Welten
in Vereinbarung bringen:
– Die Konzept-Welt des Anwenders und die des
Programmierers.
– Meist sind aber eine beide Welten Symbolorientiert und es existiert größere
Übereinstimmung.

Bei MM-Produktion aber:
– ergibt sich aufgrund der o.g. Faktoren eine
tiefere kognitive Dissonanz.
start
zurück
weiter
Das Spannungsfeld von
Notwendigkeit und Freiheit

Das Spannungsfeld von
 Komplexitäts-Management und Ästhetik
im MM-Design
– entspricht dem philosophischen Grundthema
der Polariät von

Notwendigkeit und Freiheit.
start
zurück
weiter
Ergänzung der Skills von Technik
und Ästhetik

Mit dem folgenden Ansatz wird
angestrebt:
– eine bessere Ergänzung / Synergie der
komplementären Skills
– die bei der Erstellung eines MM-Projekts
zusammenfinden müssen.

D.H.: Bessere Kapselung der Komplexität
 Und Entkoppelung von technischer
Implementation und künstlerischer
Gestaltung
start
zurück
weiter
Der vorgeschlagene LösungsWeg: Das Aktoren-Lego-Prinzip

(Inter-) Aktoren
 Das Lego-Prinzip
– Mit diesen Prinzipien wird MM-Produktion in
zwei organisatorisch getrennte Phasen
aufgeteilt:
• a) Technische Implementation von Aktoren
• b) Ästhetische und Design-Arbeit nach Art eines
Lego-Baukastens mit vorgefertigten halbintelligenten Modulen, genannt Aktoren.
– Die technische Realisation dieser Prinzipien
wird im folgenden Teil: Praxis / Implementation
weiter ausgearbeitet
start
zurück
weiter
Teil II: Praxis / Implementation

Hier soll anhand der Demo der Kaleida
Dreamscape MM Virtual Reality Simulation
die MM-Design Metapher von
– Aktoren
– Lego-Prinzip und
– Computer als Theater

näher betrachtet werden.
start
zurück
weiter
Computer als Theater
Brenda Laurel / Macromedia Director

Stage:

Cast:
 Score:
start
die Bühne / Bildschirm-Fenster /
Virtuelle Räume
die Aktoren / Objekte / Darsteller
die Handlung / Drehbuch /
Regie-Anweisungen / Script
zurück
weiter
Die "Persönlichkeit" des Aktors

Aktoren sind erweiterte Objekte
•
•
•
•

die den allgemeinen Gesetzen ihrer VR folgen
und darin
quasi-autonom, skriptgesteuert interagieren.
Der Benutzer ist „Super-Aktor“.
Technische Komponenten des Aktors
•
•
•
•
•
Actor Command Language (Messages)
Display / Menu aller Aktions-Möglichkeiten
Display des inneren Zustands
Tracing / Debugging der Aktionen
Programmtechnische Realisation siehe LPL-Demo
und Kaleida Dreamscape Demo
start
zurück
weiter
Das didaktische Konzept des
Aktors

Das Aktor-Konzept basiert auf der
Definition von Schnittstellen, und zwar
– zwischen Programm-Modulen (Common
Interface ASCII: CIA) und
– zwischen Mensch und Programm (HCI).

Hier als
– User Interface Language (UIL) und als
– End User Programming Language (EUPL).

Das Prinzip: Learning by Doing
start
zurück
weiter
Aktoren als Kooperative Verteilte
Prozesse

Mögliche Anwendung in GruppenKommunikations-Systemen
 The Net is The Computer (SUN)
 Aktoren sind separate Prozesse
 Kommunikation im Netzwerk
– Transparent, ob Multi-Thread / -Task / Intra- /
Internet

Die Regie ist eine KommunikationsRessource
start
zurück
weiter
Weiterentwicklung





Installation dieser Konzepte in geeigneten
Systemen, z.B. LPL oder Java
Virtual Machine Prinzip
Aktoren
(LPL Aktoren-Demo)
Software Lego Prinzip (Weitere Texte)
Mögliche Implementation eines KaleidaClones
start
zurück
weiter
Exkurs: Erweiterte DatentypTransformations-Technologien

Multimedia basiert auf zwei prinzipiell
verschiedenen Daten-Technologien
– Bild- und Ton-Skripte: Midi Postscript VRML ...
• flexibel, relativ kleine Datenmengen, komplizierte
Erstellung, Image Generation Bottleneck
– Bitmap- / Sampling Dateien: .wav .mov .avi ...
• inflexibel, große Datenmengen, komplizierte
Manipulation, Data Storage & Transfer Bottleneck
start
zurück
weiter
Morphologische Operatoren

Die effizientere Manipulation von Bitmap/Sampling Dateien erfordert neue Klassen
von Algorithmen.
– Pattern Matching und Transformation von
Bitmaps analog zu Regular Expressions:
Perl / APL for Bitmaps
– Fuzzy Boundaries, Fuzzy Criteria
– Neuronale Algorithmen
– Implementations-Arbeiten dazu in ZusammenArbeit mit Univ. Jena.
– Texte: Meta-Morphologie 1 2 3
start
zurück
weiter
Multimedia: Design und Zeit
(-Struktur - Management)






Dies betrifft einen grossen Teil der
Materialien auf dieser WWW-Site und
wäre Gegenstand weiterer Vorträge:
Design und Zeit:
MM-Design als Choreographie
Die Neuronale Komponente
Kognitive Aspekte der Zeitstruktur
Mensch / Maschine Interaktion (HCI)
Neuronale Koppelung / Flow Effekt
– Texte: 1 2 3
start
zurück
weiter
Kaleida und Director
– Ein Vergleich der Design-Prinzipien -
Kaleida
•
•
•
•

++ sehr geeignet für VR-Metapher (siehe Demo)
++ sehr flexibel
+ objektorientiert, komplex, mächtig
- - für Künstler zu kompliziert
Director
•
•
•
•
•
++ Vom Film entlehnte Storyboard-Metapher
+ für Künstler gerade noch zu handhaben
+- einfaches Daten-Modell
- wenig flexibel
- - nicht geeignet für VR-Metapher
start
zurück
weiter
Fazit

MM Director hat zwar die "Computer-AlsTheater" Metapher realisiert, aber auf sehr
eingeschränkte Weise:
 Es existiert nur ein Aktor: Die Bühnen- /
Präsentations-Maschinerie.
 Im Theater nannte man das:
Deus ex Machina
start
zurück
weiter
The End

Ich danke für Ihr Interesse!
start
zurück
weiter
Evtl. Teil III: Infrastrukturen der
MM-Produktion

Hier ein Exkurs zu MM-Infrastrukturen und
Verbindung zu dem LPL System.
 Multimedia Erstellung erfordert die
Verwaltung und Integration von
Ressourcen der verschiedensten Typen
und Arten.
start
zurück
weiter
Multimedia-Infrastrukturen

Der Umfang eines größeren MM-Projekts
kann
– 100+ Directories und
– 1000++ Dateien umfassen.

Hier sollte ein leistungsfähiges ProjektManagement-System eingesetzt werden.
– Dazu wird der Ansatz des LPL Systems kurz
vorgestellt.
start
zurück
weiter
Projekt-Management mit dem
LPL System
– Entwicklungs-System "Hand-in-Glove"
angepasst an die Anwendung
– Fine-Tuning von Hypertext- / File-Management
– Selektive Syntax-gesteuerte Anzeige (Fish Eye)
• Siehe LPL-Demo
– Durch Integration von Perl Zugriff auf die
gesamte Perl Filter- / Extraktor- / Konverter
Palette (CPAN-Archiv). Z.B. automatische
Generierung von HTML Doku aus ProgrammSource, CGI, etc. etc.
start
zurück
weiter
Versionen des LPL Systems

Das LPL System befindet sich in der
Migration zwischen zwei Versionen:
– LPL in der DOS-BOX, hier als LPL Demo
• Script-Programmierung / Borland-Turbo Metapher
• komplett mit Hypertext/ Folding /Auto-Demo
• Texte
– LPLnt für Win32
•
•
•
•
•
in Entwicklung, PreView Version
integrierte Win32 API
interaktive Perl Shell
Technische Basis für MM-Scripting und Authoring
u.v.a.m.
start
zurück
weiter
Weitere Ergänzungen

Das LPL Prinzip, genannt TLSI
– Token Listen Subroutine Interpreter

Technisch gesehen, ist LPL ein:
– interaktiver, incrementeller, rekursiver,
objekt-orientierter
– Macro-Assembler
– für Java-ähnliche VM-Typen
start
zurück
weiter
Vom LPL-Assembler zum
SW-Lego

Das SW Lego-Prinzip ergibt sich
– aus der konzeptuellen Simplizität des
Assemblers
– aus der direkten, haptischen Metapher eines
greifbaren „Objekts“ im Computer (Ishii, MIT)
– OO-Aktor-Design
– Transparenz der Kombination der Bausteine
(Orthogonalität)
– Selbst-Darstellung und Selbst-Erklärung der
Aktoren
start
zurück
weiter