Transcript MULTIMEDIJALNI SISTEMI

MULTIMEDIJALNI SISTEMI
Multimedijalne baze podataka
Slađana Kičema,45/2000
MULTIMEDIJALNE BAZE PODATAKA
Da bi se mogle iskoristiti pogodnosti računara za
čuvanje podataka nastala je organizacija podataka,
nazvana baza podataka.
Baza podataka zajedno sa programskim alatima koji je
podržavaju, treba da obezbedi:
 nezavisnost struktura podataka od programa koji ih obrađuju, i
programa od struktura podataka (izmjena podataka ne utiče na
programe);
 optimalnost ponavljanja podataka;
 da obrada podataka nije vezana za programski jezik opšte
namene, već za viši “upitni” jezik;
 korišćenje baze podataka od strane većeg broja korisnika.
Multimedijalni sistemi, Slađana Kičema 45/2000
2
MULTIMEDIJALNE BAZE PODATAKA
Za efikasan rad sa podacima i održavanje konzistentnog
(valjanog) stanja baze koristi se specifičan programski
proizvod – sistem za upravljanje bazama podataka
(DBMS, DataBase Management System).
“Prave” multimedijalne baze podataka su bitno drugačije
od standardnih baza podataka sa multimedijalnim
mogućnostima jer ispunjavaju jedinstvene zahtjeve.
Iako termin “multimedija” privlači mnogo pažne, to je
ustvari samo podklasa velike kategorije neuređenih
(unstructured) podataka koji se nazivaju apstraktni
podaci (abstract data type), kao npr. otisci prstiju, Xzrake, elektrokardiogrami, slike magnetne rezonance
(magnetic resonance imaging - MRI) itd..
Multimedijalni sistemi, Slađana Kičema 45/2000
3
MULTIMEDIJALNE BAZE PODATAKA
Razvoj sistema za upravljanje multimedijalnim
bazama podataka –MMDBMS (Multimedia
Database Management System)
Prvi talas




Oslanjali su se na operativne sisteme,
Koristili su se prvenstveno kao skladišta podataka
Bili su u mogućnosti da rade sa različitim tipovima podataka i pružali su
mehanizme za upite, pronalaženja, unošenje, i dodavanje podataka.
PRIMJER: MediaDB, MediaWay, JASMINE, ITASCA i dr.
Multimedijalni sistemi, Slađana Kičema 45/2000
4
MULTIMEDIJALNE BAZE PODATAKA
Drugi talas







Komercijalni sistemi koji su trebali da omoguće čuvanje kompleksnih
tipova objekata za različite vrste medija.
Objektno-orijentisan stil je omogućio sredstva za definisanje novih
tipova podataka i operatora za nove vrste medija, kao što su video,
grafika i audio.
MMDBMS su sada postale nadogradive (extensible) Object-Relational
DBMS (ORDBMS).
PRIMJER: Oracle 9i i10g, IBM DB2, i Informix .
IBM DB2 Universal Databases Extenders proširuju ORDBMS na
upravljanje grafičkim, video, audio i prostornim objektima.
Omogućen je i unos i iznos multimedijalnih objekata i njihovih atributa
u i iz baze podataka, pristup i kontrola netradicionalnih podataka sa
istim nivoem zaštite kao i kod tradicionalnih.
DB2 Image Extender definiše poseban tip podataka DB2IMAGE sa
pridruženim funkcijama za čuvanje i manipulaciju image fajlovima.
Multimedijalni sistemi, Slađana Kičema 45/2000
5
MULTIMEDIJALNE BAZE PODATAKA
sledeći SQL izraz pokazuje kako je slika pohranjena u
kolonu pod nazivom image u tabeli example :
INSERT INTO example (image) VALUES(
DB2IMAGE (
CURRENT SERVER,
‘pisa.jpg’, /* source_file */
‘JPG’, /* source_format */
1, /* 1=BLOB, 2=file pointer */
‘my Image File’ /* comment */
)
)
Multimedijalni sistemi, Slađana Kičema 45/2000
6
MULTIMEDIJALNE BAZE PODATAKA
sljedeći SQL izraz pokazuje QBIC (Query Based on Image
Content) upit koji poredi svaku sliku sa slikama u koloni na
osnovu toga koliko je najčešća boja bliska crvenoj.
SELECT CONTENTS(image)
QBScoreFROMStr(‘averageColor=<255,0,0>’,image)AS SCORE
FROM signs ORDER BY SCORE
Multimedijalni sistemi, Slađana Kičema 45/2000
7
MULTIMEDIJALNE BAZE PODATAKA
Kao posljedica raznih projekata nastale su eksperimentalne
multimedijalne baze podataka:

MIRROR (Multimedia Information Retrieval Reducing information
OveRload)
Multimedijalni sistemi, Slađana Kičema 45/2000
8
MULTIMEDIJALNE BAZE PODATAKA

DISMA (Distributed Multimedia DBMS)
Multimedijalni sistemi, Slađana Kičema 45/2000
9
MULTIMEDIJALNE BAZE PODATAKA
Treći talas





Bave se potrebama aplikacija za većim semantičkim sadržajom.
Oslanjaju na MPEG-7 i MPEG-21 standarde.
Reprezentativan projekat iz ove grupe je MARS (Multimedia Analysis
and Retrieval System) i njihov MPEG-7 Multimedia Data Cartrige (MDC).
Obuhvaća integrisane načine za prikupljanje multimedijalnih informacija
i sistem za upravljanje bazom podataka koji podržava multimedijalne
informacije kao objekte prve klase pogodne za čuvanje i pronalazak na
bazi njihovog semantičkog sadržaja.
Uključuje koncepcije za modelovanje multimedijalnih podataka,
označavanje sadržaja i upravljanje bazom podataka.
Multimedijalni sistemi, Slađana Kičema 45/2000
10
MULTIMEDIJALNE BAZE PODATAKA
MPEG-7 MDC (Multimedia Data Cartridge) je sistemska ekstenzija
Oracle 9i DBMS koja omogućava multimedijalni upitni jezik, pristup
medijima, izvršavanje i optimizaciju upita i označavanje resursa
oslanjajući se na šeme nastale iz MPEG-7 standarda.
MDC se zasniva na tri elementa:
 Modelu multimedijalnih podataka,
 Radnom prostoru za označavanje multimedije (Multimedia Indexing
Framework),
 Unutrašnjim i spoljašnjim bibliotekama.
Radni prostor za označavanje multimedijalnog sadržaja (Multimedia
Indexing Framework - MIF) omogućava dodavanje novih tipova indeksa
bez mjenjanja definicije interfejsa.
Multimedijalni sistemi, Slađana Kičema 45/2000
11
MULTIMEDIJALNE BAZE PODATAKA
Protok komponenti i informacija kod tipičnih multimedijalnih sistema i baza podataka
Multimedijalni sistemi, Slađana Kičema 45/2000
12
MPEG-7 standard
Multimedijalni sistemi, Slađana Kičema 45/2000
13
MPEG-7 standard
MPEG (Moving Pictures Experts Group) je 2002.godine uvela novi
standard za korištenje metapodataka (metadatas).
MPEG-7 je standard za opis (description) karakteristika visokog i niskog
nivoa multimedijalnog sadržaja.
MPEG-7 je formalno nazvan Multimedia Content Description Interface, što
znači da to nije standard koji se direktno bavi kodovanjem video ili audio
podataka, kao MPEG-1, MPEG-2, MPEG-4.
Primjer: Korištenjem mobilnog telefona može se snimiti 10s pjesme o
kojoj želimo više informacija. Koristeći sistem na bazi audio prepoznavanja
definisan MPEG-7 audio deskriptorima, mehanizme za pretraživanje i
multimedijalne baze podataka, može se putem SMSa dobiti željeni
odgovor.
Multimedijalni sistemi, Slađana Kičema 45/2000
14
MPEG-7 standard
Namjena mu je da standardizuju:
set deskripcionih šema i deskriptora – Descriptors,
jezik za specifikacije ovih šema - Description Definition Language
(DDL),
šeme za kodovanje opisa.
Primjer moguće aplikacije uz korištenje MPEG-7
Multimedijalni sistemi, Slađana Kičema 45/2000
15
MPEG-7 standard
MPEG-7 ciljevi su:






Omogućavanje brzih i efikasnih metoda za pretraživanje, filtriranje i
identifikaciju sadržaja,
Definisanje glavnih podataka o sadržaju (karakteristike niskog nivoa,
struktura, model,...),
Indeksiranje širokog opsega aplikacija,
Mogućnost rada sa audiovizuelnim informacijama kao što su: audio,
glas, video, slike, grafici, 3D modeli,...
Informacije o tome kako su objekti kombinovani na sceni,
Nezavisnost između opisa i same informacije.
Multimedijalni sistemi, Slađana Kičema 45/2000
16
MPEG-7 standard
MPEG-7 koristi sledeće alate:




Deskriptor (Descriptor) – Predstavlja karakteristike sintaksno i
semantički. Jedan podatak može imati više deskriptora.
Multimedijalne deskripcione šeme (Multimedia Description
Schemes)– Određuju strukturu i semantiku veza između svojih
komponenti. Ove komponente mogu biti deskriptori (D) ili deskripcione
šeme (DS).
Opisni jezik (Description Definition Language-DDL) – Bazira se na
XML-u (Extensible Markup Language) da bi definisao veze između
deskriptora. Omogućava kreaciju i modifikaciju deskripcionih šema, kao i
kreaciju novih deskriptora.
Sistemske alate (System Tools) – Vrše binarizaciju, sinhronizaciju,
transport i pohranjivanje deskriptora.
Multimedijalni sistemi, Slađana Kičema 45/2000
17
MPEG-7 standard
MPEG-7 informacije o sadržaju mogu da sadrže:









Informacije koje opisuju proces kreacije sadržaja (režiser, naziv filma,
kratak sadržaj).
Informacije o upotrebi sadržaja (zaštitni markeri, istorija upotrebe,
vrijeme emitovanja).
Informacije o skladištenju (format, način kodovanja).
Strukturalne informacije o vremenskim, prostornim i vremenskoprostornim komponentama sadržaja (presjek između scena).
Informacije o karakteristikama niskog nivoa (boje, tekstura, opis
melodije).
Konceptulane informacije o stvarima koje su zabilježene u sadržaju
(objekti i događaji, interkcija između objekata).
Informacije o najefikasnijem pronalasku sadržaja (kratki sadržaji,
varijacije, prostorna i frekvencijska ograničenja).
Informacije o grupama objekata.
Informacije o interakciji korisnika sa sadržajem (zabilješke korisnika,
istorija pretraživanja)
Multimedijalni sistemi, Slađana Kičema 45/2000
18
MPEG-7 standard
Nudi širok spektar audovizuelnih alata za opisivanje-DL (Deskriptor Tools),
tj. za kreiranje opisa kojima se formiraju osnove za brz i efikasan pristup
multimedijalnom sadržaju od strane raznih aplikacija.
Moguće je napraviti MPEG-7 opis analognog filma ili slike odštampane na
papiru, na isti način kao i digitalnog sadržaja.
Razlikuju se dva načina pretraživanja:
 na bazi sadržaja (content aware),
 na bazi opisa (content unaware).
Cijeli sistem za pretraživanje zahtjeva prethodnu obradu podataka sa
izvlačenjem podataka i komponenti za pohranjivanje, koji čine implicite
informacije eksplicitno pohranjene u prostoru za informacije.
Prije nego što je korisnik u mogućnosti da koristi radni okvir za
pretraživanje neophodno je bazu podataka «napuniti» odgovarajućim
MPEG-7 metapodacima.
Podaci iz medija mogu biti izvučeni automatski ili ručno.
Multimedijalni sistemi, Slađana Kičema 45/2000
19
MPEG-7 standard
Tri vrste metapodataka su sadržane u MPEG-7 dokumentu:



opšti metapodaci (npr. komentari teksta, trajanje snimka,...) – mogu biti traženi
preko konvencionalnih upita.
metapodaci niskog nivoa (npr. histogram,...) – potrebni su za specifična poređenja
i algoritme za pretraživanja.
semantički opisi (npr. agenti, događaji,veze,...) – pohranjeni su u kataloge
semantičkih metaobjekata.
Pretraživanje i pronalazak multimedijalnih podataka je u potpunosti odvojen od
samih multimedijalnih baza podataka, u skladu sa principima modularnosti.
Tradicionalne baze podataka su efikasne u pohranjivanju i operisanju sa
alfanumeričkim podacima dok se u multimedijlanim bazama podataka govori o
«sličnim» podacima.
Kompleksnost opisnih šema često čini da je teško odlučiti koje semantičke
opise koristiti ili dodati.
Međutim standardizacijom opisnog jezika omogućeno je lakši prenos i
filtriranje sa dostupnim XML tehnologijama.
Multimedijalni sistemi, Slađana Kičema 45/2000
20
MPEG-21 standard
Multimedijalni sistemi, Slađana Kičema 45/2000
21
MPEG-21 standard
MPEG-21 standard ima za cilj da definiše normativna akta za otvoreni radni
prostor (open framework) za prenos i korištenje multimedijalnih sadržaja od
strane svih učesnika u lancu prenosa i upotrebe.
MPEG-21 se bazira na dva osnovna koncepta:


definiciji osnovne jedinice za distribuciju i prenos, digitalni predmet (Digital Item),
načinima na koje korisnici mogu raditi sa digitalnim predmetima.
Digitalni predmeti se mogu posmatrati kao «šta» u multimedijalnom radnom
prostoru (npr. video kolekcija, muzički album,..), a korisnici kao «ko» u istom
prostoru.
MPEG-21 standard se može definisati kao: definisanje tehnologije potrebne
da podrži korisnike da razmjenjuju, pristupaju, koriste, mjenjaju i na druge
načine manipulišu digitalnim predmetima na efikasan, transparentan i
kooperativan način.
Korisnik je bilo koji entitet iz MPEG-21 okruženja koji vrši interakciju u tom
okruženju ili koristi digitalni predmet.
Multimedijalni sistemi, Slađana Kičema 45/2000
22
MPEG-21 standard



PRIMJER:
Uzimamo da je jedna “web page” kao digitalni predmet. Tipična web
stranica se obično sastoji od HTML dokumenta sa ugrađenim linkovima na
.JPG,.GIF i dr. fajlove. U ovom jednostavnom primjeru digitalni predmet
čini sam HTML dokument uz sve ostale resurse na koje se oslanja.
Sada modifikujemo primjer tako da pretpostavljamo da web stranica
sadrži neke tipičnu logiku (npr. JavaScript itd.) za izbor jezika (između
unaprijed određenog seta jezika) na kojem će stranica biti prikazana i
omogući ovaj vid prikaza ili prikaže default stranicu ukoliko jezik nije
dostupan. U ovakvom modifikovanom primjeru sada se javlja kao ključni
događaj prisustvo logike za jezik koja otežava definisanje digitalnog
predmeta i šta ga čini. Postoje dvije mogućnosti: da se stranica za svaki
jezik posmatra kao poseban digitalni predmet, ili da se stranica posmatra
kao jedinstven digitalni predmet sa odgovarajućom jezičkom logikom.
Druga mogućnost ne daje jasno određenje resursa koji prate ovakav
digitalni predmet.
Ovom problemu je posvećena pažnja u Deklaraciji digitalnog predmeta
(Digital Item Declaration-DID). DID je dokument koji specificira izgled,
strukturu i organizaciju digitalnog predmeta. Drugi dio MPEG-21 standarda
sadrži DID specifikacije.
Multimedijalni sistemi, Slađana Kičema 45/2000
23
MPEG-21 standard









Javlja se potreba za postavljanjem moćnog i fleksibilnog modela za digitalne
predmete koji može da obuhvati različite formate koje sadržaj može da
poprimi, kao i formate koji mogu da se pojave u budućnosti.
Započeto je sa standardizacijom u devet oblasti multimedijalnog radnog
prostora:
1.dio (Tehnical Report)-Vision,Technologies and Strategies
2.dio (Digital Item Declaration-DID)
3.dio (Digital Item Identification-DII)
4.dio (Intellectual Property Management and Protection -IPMP)
5.dio (Rights Expression Language-REL)
6.dio (Rights Data Dictionary)
7.dio (Digital Item Adaptation)
8.dio (Reference Software)
9.dio (File Format)
Multimedijalni sistemi, Slađana Kičema 45/2000
24
MPEG-21 standard
UMA Media base – Upravljanje metapodacima
koristeći Oracle Database System
Multimedijalni sistemi, Slađana Kičema 45/2000
25
UMA Media base



Metapodaci multimedijalnih resursa (izvora) mogu organizovati
kroz kolekciju različitih tehnologija formirajući UMA (Universal
Multimedia Access) bazu multimedijalnih podataka.
Informacije se razmjenjuju upakovane u vidu digitalnih predmeta
(digital items), koristeći MPEG-21 Digital Item Adaption kao
načina za ostvarivanje UMA.
Multimedijalna baza podataka u navedenom slučaju koristi
sledeće alate:




XML,
Oracle9i DBMS,
JDBC,
QuickTime for Java.
Multimedijalni sistemi, Slađana Kičema 45/2000
26
Multimedijalna baza integrisana u MPEG-21 sistem
Multimedijalni sistemi, Slađana Kičema 45/2000
27
PRIMJER: Aplikacija ilustruje kako MPEG-21 radno okruženje zajedno sa bazom može
da se iskoristi za pronalazak i preslušavanje muzičkih videa.
Multimedijalni sistemi, Slađana Kičema 45/2000
28