АВИТО Мултимедийно софтуерни платформи

Доц. д-р Мария Желева Тел: +359 56 900 404 [email protected]

1

Мултимедийни софтуерни платформи



Мултимедийни авторски системи Авторската система е програма, която обхваща предварително програмирани елементи за разработването на интерактивни мултимедийни софтуерни разработки/ проекти/ продукти.

2

Мултимедийно авторство

Авторството е всъщност една ускорена форма на програмиране:няма нужда да се знае нивото на сложност на езика за програмиране или да се познава задълбочено програмният интерфейс API (Application Programming Interface), но е нужно да се знае как точно работи програмата. 3

Защо трябва да се използва авторската система?

  Разработването на един интерактивен мултимедиен проект в дадена авторска система отнема около 1/8 от времето, което е необходимо за създаването на същия проект чрез програмиране в компилиран код. Това означава 1/8 от времето за програмиране и вероятното увеличение на повторното използване на кода (като приемаме, че кодът на проекта ще бъде „предаден” на следващ проект и те ще използват подобна или идентична авторска система). Създаването на мултимедийно съдържание (графики, текст, видео, аудио, анимация и др.) не се влияе от избора на авторска система. Всяко едно време за разработване на мултимедийно съдържание на това ниво се влияе от възможностите за ускоряване на прототипирането.

4

Мултимедийно програмиране и мултимедийно авторство

  Авторството се отнася до интегрирането на мултимедийно информационно съдържание, графичен интерфейс с професионален дизайн и скриптиране от високо ниво.

Програмирането е процес, свързан със събирането, конструирането и управлението на мултимедийното съдържание на по-ниско ниво и включва използването на езици за програмиране като С и Java. 5

Мултимедийни авторски парадигми и метафори

  Авторската парадигма е методологията посредством която авторската система постига своята задача. Авторските метафори, от своя страна, са образите, чрез които се представят зрително елементи на системата, параметри, операции, приложения и съобщения.

Има различни парадигми свързани с използването на команден стил, скриптови езици, обектно ориентирани средства. Други методологии за създаване и работа с мултимедийни обекти се базират на метафори като „слайд шоу”, „карти”, „икони”, „времева ос”.

6

Типове авторски средства и метафори

          Авторски средства с команден стил Скриптов език Oбектно-ориентирани авторски средства Метафората „Слайд шоу” Карти Метафората „Прозорец” Метафората „Икона” Метафората „Времева ос” Метафората „Мрежа” Текстова метафора 7

Авторски средства с команден стил

Командният стил се свежда до използване на текстово-базирани команда в операционната среда (DOS, Unix или др.).

Възможностите програмиране.

Съвременните cT, SAM IV и др.

на авторските авторски средства, средства за използване на този стил са силно ограничени и обикновено биват използвани от автори, които имат необходимото ниво на знание за компютърното допускащи команден стил на работа, са производни на по старите авторски средства от текстово базираните Unix интерфейси от 1970-те, като например PLATO, 8

Скриптов език

Скриптиращата парадигма е метод на авторство, който е най близък по форма до традиционното програмиране. Парадигмата се заключава в език за програмиране, който посочва (чрез име на файла) мултимедийните елементи, последователността на представянето им, горeщите точки, синхронизирането и др. Един мощен, обектно-ориентиран скриптов език обикновено е ключов компонент на авторските системи, поддържащи тази парадигма. При тях програмното редактиране на елементите (неподвижните графики, видеото, аудиото и т.н.) се свежда до минимум или не съществува. Примери за скриптови езици са езиците HyperTalk за системата HyperCard на Apple, OpenScript за ToolBook на Assymetrix, Lingo - скриптовият език на Director (при новите версии авторите могат да ползват и JavaScript) и ActionScript - скриптовият език на Flash. 9

Oбектно-ориентирани авторски средства 1

Обектно-ориентираните авторски средства поддържат възможност за работа на ниво по високо от командния стил,а целта е да се освободят авторите от необходимостта да притежават професионални знания и умения в областта на компютърното програмиране. Обикновено, в най-простия случай, тези авторски средства разполагат с комплект от около 30 или повече обекта, които авторът манипулира(обработва), за да създаде последователности от мултимедйно съдържание и потребителски взаимодействия. 10

Oбектно-ориентирани авторски средства 2

Чрез поддръжката на обектно-ориентирания стил авторският процес се представлява процес на избиране на подходящи обекти от комплекта на авторската система, прецизиране на тези обекти и на тяхното нестандартно поведение и интегриране на избраните обекти със зададените им характеристики в последователността, в която авторът желае те да работят и да бъдат представени. За автори без задълбочени познания в областта на програмирането обектно-ориентираният стил на авторство е по-лесноразбираем. В същото време обаче, обектната организация ограничава гъвкавостта, тъй като функциите се дефинирт чрез дискретни обекти, а не чрез комбинация от команди. 11

Oбектно-ориентирани авторски средства 3



Йерархични обекти

Парадигмата йерархичен обект използва обектна метафора, която визуално бива представяна чрез интегране на обекти и свойства на иконите, които ги представляват. Чрез поддръжката на тази парадигма визуалното представяне на обектите може да направи възможно създаването на много сложни конструкции. 12

Oбектно-ориентирани авторски средства 4



Авторски интерфейси за обектно ориентирани авторски средства

Целта на авторския софтуер е да опрости по принцип сложната задача за създаване на интерактивни мултимедийни проекти. Това обикновено се постига чрез осигуряване на авторски интерфейс, предоставящ на автора метафора, която е по-проста от това, което ще се получи като краен резултат за приложението. 13

Oбектно-ориентирани авторски средства 5

 Авторите биват изправени пред следните задачи:         Управление на файлове Създаване на екран - създаване на отделните екрани, които съставляват мултимедийния продукт.

Последователност - организиране на отделните части на мултимедийния продукт в последователност, подходяща за представяне.

Добавяне на динамика - избиране на преходи между екраните, добавяне на анимации, запис на аудио или видео и поставянето им в желаната последователност.

Редактиране.

Тестване - показване на продукта с всичките му елементи, за да бъде потвърдено, че работи по начина, по който автора иска.

Разпространение - готовият продукт се показва пред публика.

Пакетиране – пренасочване на продукта към друга платформа.

14

Пакетиране на мултимедиен продукт1

  Пакетирането на мултимедийният продукт в „ресурсен пакет” или просто пакет е основен метод за обмен на мултимедийно съдържание между различни среди и платформи. Пакетът обхваща специален файл (манифест), който описва правилата за структуриране, дафинира разрешените елементи и техните атрибути, допустимите типове данни и стойности по подразбиране. Този файл за документиране на основните характеристики на ресурсния пакет е помощно описателен и се поставя в основната директория на пакета. Ако в даден пакет са вложени множество ресурсни пакети, техните манифести са подчинени на манифеста от най високо ниво. 15

Пакетиране на мултимедиен продукт2

Манифестът и подманифестите дефинират информационен метамодел, който обхваща:  Данни за пакета/обекта като цяло, които се ползват при изграждане на информационни хранилища;   Данни, които могат да бъдат открити отвън (заглавие, описание, автор, ключови думи и др.), които улесняват търсенето; Контекстнозависими данни (идентификатори, номера на каталожни записи, използвани каталожни системи и др.) – описват отделните обекти или авоари, които се използват в проекта 16

Метафората „Слайд шоу”

  Линейната презентация е най-простата структура за създаване на мултимедийно съдържание. MS PowerPoint е най-широко разпространеното приложение за създаване на мултимедийно съдържание, базирано на тази метафора. Всеки екран се разглежда като слайд обект, който може да бъде създаден, редактиран и оформян независимо. Много други авторски приложения използват подобни метафори като например Lotus Freelance на IBM и Harvard Graphics на Software Publishing.

17

Карти1

Средствата, базирани на тази парадигма, използват като фундамент концепцията „стек” от виртуални „карти”. Тези карти съдържат разнообразни данни (графични обекти, бутони, полета, менюта и т.н.), чиято функционалност може да бъде програмирана, т.е. картите могат да бъдат скриптирани чрез съответен скриптов език. 18

Карти2

Всеки стек от карти има специална начална „home” карта (предшественикът на стартовата страница „homepage” на уеб сайт), която стартира приложението, осигурява достъп до хранилище със скриптове и дава възможност на потребителя да задава свои предпочитания. 19

Карти3-пример

Системата HyperCard е създадена от Бил Аткинсън за Apple Computer Inc. през 1987 год. и е спряна от продажби едва през 2004 год. 20

Карти4

Парадигмата стек от виртуални карти осигурява голяма мощ по отношение на авторството благодарение на включения в нея скриптиращ език. Тя е много удобна за разработване на хипертекстови приложения и подходяща за навигиране на интензивни приложения. Такива програми са лесно разширяеми посредством ползването на различни библиотеки DLL (Dynamic-link library). 21

Карти5

Най-добрите приложения позволяват всички обекти (включително отделните графични елементи) да бъдат скриптирани; много апликации за забавления биват прототипирани в картова/скриптираща система преди компилираното езиково кодиране. 22

Метафората „Прозорец”

Парадигмата поддържа възможност за мултимедийно авторство, постижимо само, ако авторът е с добри познания в компютърното програмиране. Прозорецът тук е обектът, с който потребителя взаимодейства. Обектите и контролите в прозореца се считат за негови дъщерни елементи и се контролират посредством прозореца. Тази концепция осигурява йерархия за мултимедийните обекти, изисквайки те да бъдат групирани в прозорци, а самите прозорци да бъдат подредени йерархично на база взаимовръзки: родител-наследник. 23

Метафората „Икона” 1

Авторска метафора, която е особено подходяща за автори непрограмисти. Метафората „икона” е основен фундамент за системи като IconAuthor на Aimtech и Authorware на Macromedia.

24

Метафората „Икона” 2

IconAuthor поддържа над 50 вида икони, а в Authorware са около 30. Тези инструменти дават възможност да се поддържат почти всички мултимедийни функции и хардуерни извиквания. Аудиото, видеото и анимацията се поддържат посредством MCI (Media Control Interface). Методите DDE (Dynamic Data Exchange) и OLE (Object Linking Exchange) 25

Метафората „Икона” 3

Authorware изцяло променя начинът, по който се разработват програми. Използва се визуален интерфейс с икони, представящи съществени и важни компоненти на интерактивни процеси. Авторът „поставя” съответните икони върху т.нар. поточна линия „flowline” и по този начин създава серия от събития, дефинирайки логиката на самото приложение. 26

Метафората „Икона” 3 пример

Изграждането на логиката обаче, неминуемо включва някои от структурните концепции на програмирането - един автор, планиращ да направи някои сложни взаимодействия, ще се нуждае от познания по програмиране. От автора се очаква да мисли като програмист, за да определи логиката на тези сложни неизискващи програмиране инструменти.

27

Контрол на потоци чрез икони

Същността на парадигмата е палитрата с икони, съдържаща възможните функции/взаимодействия на дадена програма и визуализация на потока (Flow Line), която показва реалните връзки между иконите. Тези програми имат най-бавен рънтайм (време за изпълнение), защото всяко едно взаимодействие носи (представено е заедно с) всички свои възможни пермутации. Авторските системи като Authorware или IconAuthor, са много мощни и при тях проблема със скоростта на изпълнение е сведен до минимум. 28

Фрейм 1

Прадигмата „Фрейм” е подобна на парадигмата „Контрол на потоци чрез икони”. Тук също се поддържа палитрата с икони, но връзките, които се изграждат между иконите, са концептуални и не винаги представят реални потоци. Примерите за добри реализации на базата на тази парадигма като например Quest, чийто скриптиращ език е С, или Apple Media Kit включват компилирано езиково скриптиране. 29

Фрейм 2

В системата Quest дизайнът, цялостната структура и интерактивност се изграждат чрез работа на ниво фрейм като е възможно отделните екрани да се наблюдават от авторите така, както ще бъдат видяни от крайният потребител т.е. осигурява се WYSIWYG метод на работа.

30

Метафората „Времева ос”

За подреждането на анимации в мултимедийна последователност, авторската метафора „Времева ос” е най-подходяща. Тази метафора работи с диаграма на времева скала, където обектите и събитията биват поставени така, както са във връзка едни с други. По този начин се изграждат млтимедийни презентации като последователност от сцени.

31

Каст синхронизация скриптиране1

Парадигмата „Каст-синхронизация-скриптиране” използва музикалната партитура като главен авторски метод. Каст (англ. cast) е термин заимстван от филмовата индустрия. Каст е процесът на определяне на състава на артистите, които ще участват в продукцията и разпределянето на ролите между тях. Елементите на дадена сцена или т. нар. каст-членове са представени в различни хоризонтални пътечки. Поддържа се библиотека, където са описани всички обекти, които участват в дадена сцена. Синхронизацията на поведението на каст-членовете се представя посредством вертикални оси. Истинската сила на тази метафора е възможността да бъде скриптиран, т.е. описан и управляван, поведенческият модел на всеки един от каст-членовете.

32

Каст синхронизация скриптиране2

Adobe Director е авторска платформа, създадена от Macromedia – сега вече част от Adobe Systems. Това е мултимедийно приложение, създадено за разработване на анимационни последователности (поддържат се възможности за двумерна и тримерна анимация). Director обхваща мощният скриптов език Lingo, който позволява осъществяването на взаимодействие с външни файлове и някои Windows APIs (Application Programming Interfaces, приложно програмни интерфейси). 33

Каст синхронизация скриптиране3

За създаване на анимация се използва последователната промяна на кадрите на екрана, като на всеки нов кадър графичните елементи са с променени местоположения. Score се състои от кадри, които съдържат каст-елементи, параметри за скорост на възпроизвеждане (tempo), палитри, звук и време, които могат да се предават по множество канали. Всеки кадър се възпроизвежда на екрана със скорост, определена от параметъра tempo. 34

Каст синхронизация скриптиране4

Пример за синхронизация на поведението на обекти, участващи в анимационна сцена 35

Библиотека с каст членове

36

Прозорец за скриптиране

37

Метафората „Мрежа” 1

Метафората „Мрежа” е разработена за случаи, при които авторът не иска да бъде ограничаван от време или връзки между обектите, а да има директно достъп до тях. Метафората може да бъде реализирана с всеки един език за програмиране, но това изисква от този, който я развива да има опит в програмирането. Самата метафора не включва средства, които да подпомагат автора в поддържането на организацията на приложението. 38

Метафората „Мрежа” 2

   Един авторски инструмент, който изпълнява метафората ‘Мрежа’ е MEDIAscript от Network Technology Corporation. В MEDIAscript авторът прави група от мултимедийни обекти или функции под формата на скриптове, които могат да бъдат взаимно свързани. Скриптът е изпълним обект, който меже да бъде прост или комплексен. Скриптовете се създават чрез комплект от мултимедийни обекти, които са общо 14 типа, и които поддържат всички функции на един завършен програмен език. Авторския интерфейс, обаче, е графичен: обектите се избират от палет и биват „поставени” в скриптове като характеристиките и поведението на всеки един обект биват дефинирани посредством диалогови кутии. Скриптовете се свързват посредством Organizer tool. 39

Текстова метафора 1

Хипертекстът, в много отношения, е една по лесна за постигане метафора. Хипертекстът е познат на всеки потребител на Windows или Macintosh от инструментариума, който е в помощ на потребителя в онлайн-системите за подпомагане. Всъщност доста преди Windows или Mac, редакторът Emacs на Unix има функционалността да създава хипертекст връзки чрез вградени скриптове. 40

Текстова метафора 2

В наши дни, света на развитие на хипертекста е революционизиран от OSI стандартите, а именно Standard Graphic Markup Language (SGML), и по късно HyperText Markup Language, (HTML подмножество на SGML), който незабавно се наложи като хипертекст генератор на документи, когато бива използван заедно с http протокол и клиентски изгледи. HTML привлича много автори, давайки възможност за обработка на хипертекст чрез изпозването на голямо разнообразие от HTML маркировки. 41

Текстова метафора 3

Хипертекст - генерираните документи, използващи SGML или HTML, просто дават документ с хипервръзки към графики или други мултимедийни файлове. В по-съвременен вариант те извикват мултимедийните файлове или ползват HTML форми и обръщения към външни С или Perl програми. 42

Благодаря за вниманието!

43