4. Multimedijski tipovi objekta: video

• • • • • Osnovne karakteristike pokretnih slika Percepcija pokreta Mogu će korišćenje videa u multimedijskim aplikacijama/prezentacijama Video kompresija: principi i implementacija Neki tehnički aspekti računarskog predstavljanja videa

Vision

• Čulo vida je verovatno najvažnije čulo ljudskih osećaja • Percepcija intenziteta i boja • Oko je osetljivije na crno-bele detalje • Boja se ne opaža dobro ako su smanjeni uslovi osvetljenja

Slike u pokretu

•

Per zistencija čula vida

: sukcesivno prikazane slike (15 do 20 u sekundu) stvaraju iluziju kretanja • Manji broj frejmova - “flickering”, povećanjem broja frejmova dobija se pokret bez prekida

Razlika ...

Ovaj video ima 4 frejma u sekundu ...

... a ovaj oko 10 (koraci se još uvek vide)

• Ovaj video ima 24 fps • • Ali sada računar (tj. CPU i video podsistem) postaju ograničavajući faktor...

Frame Rates Movies: 24 fps TV: American: 30 fps European: 25 fps HDTV: 60 fps

Razlika ...

Filmovi rade na sledeći način ...

• 24 fps • ali: svaki frejm je osvetljen dva puta • Odnos širina/visina (aspect ratio - format slike, veličina kadra) je 4/3 • Šira slika se postiže specijalnom optikom (Cinemascope, Panavision)

TV slike

• Prvi pokušaji 1936 (crno bela TV) • Kolor TV 1951 • Elektronski zrak skenira sliku horizontalno po linijama (525 USA, 625 u Evropi) • Brzina frejmova je sinhronizovana sa frekvencijom električne struje: 30Hz u USA, 25Hz u Evropi • Skenirana slika se prenosi liniju po liniju, sa odgovarajućim informacijama o sinhronizaciji

TV displej

• Slika se ponovo kreira na strani prijemnika • Katodna cev TV-a: skenira ponovo elektronskim mlazom čiji je intenzitet modulisan signalom • Fosforne tačke osvetljene kroz masku (rešetku) isijavaju vidljivu svetlost

Video standardi

• Digitalni video uređaji moraju da odgovaraju standardima ranije utvrđenim za TV uređaje • Digitalni standardi moraju zadržati kompatibilnost u odnosu na standarde za analogne uređaje.

Video standardi

Osnovi standarda za TV: • Svaki

frejm

je podeljen na dva

polja

• Parne i neparne linije • Polja se prenose jedno za drugim • Frejm je sačinjen od

isprepletanih

polja

Interlacing-preplitanje

• Koristi se zbog nesavršene elektronike • Brzina frejmova se sinhronizuje na polovinu frekvencije struje.

• Parne linije skenirane u jednom polu-frejmu, a neparne linije u drugom • 50 ili 60 half-frames per second

Dimenzije slike

Problemi skladištenja

• Analogni TV zapis na magnetskim trakama

Video standardi

•

ANALOGNI

PAL

– (Phase Alternating Line), YUV Zapadna Evropa, Australija & Novi Zeland, Kina, … •

NTSC

(National Television Standards Committee), YIQ – Severna Amerika, Japan, Tajvan, delovi Južne Amerike.

•

SECAM

(S é quential Couleur avec M é moire) – – Francuska i zemlje biv š eg Sovjetskog Saveza Standard se odnosi na prenos dok se za kamere koristi PAL Nažalost, ne postoji kompatibilnost između standarda

Video standardi

•

Digitalni video standard:

propisan ITU-R BT.601 i nazvan CCIR 601 720 odbiraka intenziteta( razlike boja (

B

−

Y

i

R

−

Y Y)

, 2x360 odbiraka ) po liniji

Savremeni TV

• analogni HDTV – mnogo godina i para potrošenih u Japanu – malo prihvaćen zbog problema kompatibilnosti • digitalni TV i/ili HDTV (USA i evropa): – preko 1100 linija (1125 ili 1200) – 16:9 aspect ratio – kompletna digitalno procesiranje

Digitalni video

• Digitalni video – skup digitalizovanih slika, koje se prikazuju dovoljnom brzinom frejmova • Ako želimo da prenosimo niz slika u boji treba...

– 16 ili 24 bpp (za dobru boju) – najmanje 640 x 480 pixels (za prihvatljivu rezoluciju) – najmanje 25 frames per second • Ovo daje oko 15MB per second, ili preko 100 GB za ceo film • Veća rezolucija slike (1280 x 1024) i 30 fps zahtevaju oko 112.5MB/s širinu opsega, ili skoro 1TB memorije ???

Digitalni video

Veličina zapisa digitalizovanog video signala

• (niz frejmova opisanih bitmapiranim slikama) PAL uncompressed – 768x576 piksela po kadru • • x 3 bajta po pikselu (24 bit boja) x 25 kadrova u sekundu ≈ 31 MB u sekundu ≈ 1.85 GB u minutu

Digitalni video

•

Veličina zapisa digitalizovanog video signala

NTSC uncompressed – – – 640x480 piksela po kadru • x 3 bajta po pikselu (24 bita boja) • x 30 kadrova u sekundu ( približno) ≈ 26 MB u sekundu ≈ 1.6 GB u minutu

Digitalni video

Veličina zapisa digitalizovanog video signala:

• • • • Prevelik za CD-ROM, DVD, Internet Dovoljni diskovi i Firewire standard Kompresija je neophodna Limitiranje veličine frejma

Digitalni video

Načini digitalizacije i kompresije:

• Video kamera – DV format (mini DV, DVCAM) + Firewire (brzi interfej s ka računaru - IEEE 1394, iLink Sony) Televizija je bazirana na summation modelu boja, dok je film-movie baziran na subtraction modelu boja

Originalni frejm (levo) i komprimovani -DV frejm (desno)

Digitalni video

Digitalni video

Načini digitalizacije i kompresije:

Računar – video kartica (analogni signal iz video kamere ulazi u računar, a kartica vr š i digitalizaciju i kompresiju) Kompresija se vr š i ili hardverski ili softverski.

Alternativa je da se analogni signal pre ulaska u računar provlači kroz eksterni uređaj koji ga pretvara u DV signal i zatim š alje u računar preko Firewire standardnog interfejsa.

Digitalni video

• • • •

Mesto kompresije:

Digit alizacija u kameri znači manje Manje š uma znači bolju kompresiju š uma (DV) Nedostatak digitalizacije u kameri je gubitak kontrole nad parametrima kompresije Kodek = co mpressor/ dec ompressor (hardverski i softverski) koriste različite algoritme.

Kompresija

640x480 320x240

Kompresija

• Video signal sadrži neku vrstu redundantnosti • Kompresija eksploatiše redundantnost da bi smanjila veličinu fajla i zahtevanu brzinu transmisije • Dva tipa kompresije: intra-frame i inter-frame, odnosno prostorna i vremenska kompresija.

Intra-frame (prostorna) kompresija

• Radi sa pojedinačnim frejmovima i pokušava da iskoristi redundantnost prisutnu u svakom frejmu pojedinačno.

• U suštini isto kao kod nepokretnih slika i grafike i većinu algoritama koje smo koristili za obradu slike možemo da koristimo i za video • Međutim, kompresija i dekompresija mora da se izvrše u realnom vremenu - čineći neke algoritme manje pogodnim od drugih

Prostorna redundancija

• Koristi sličnost između većine susednih elemenata slike

Smanjenje prostorne redundancije

• RGB u YUV : manje informacija potrebno za YUV (ljudi su manje osetljivi na hrominiscenciju) • Makro blokovi: grupe pixela (16x16) • Discrete Cosine Transformation (DCT) – Zasniva se na Fourierovoj analizi gde se signal predstavlja kao suma sinusnih i kosinusnih funkcija – Koncentriše se na vrednosti sa većom frekvencijom – Predstavlja

pixel-e

u blokovima sa manje brojeva • Kvantizacija redukuje podatke potrebne kao koeficijenti • Kompresija

Prikaz smanjenja prostorne redundancije Kvantizacija • velika redukcija • kontrola ‘kvaliteta’ Cik-cak, Run-length kodiranje “Intra-Frame Encoded”

Gubitak rezolucije

Original (63 kb) Niska (7kb) Vrlo niska (4 kb)

Inter-frame (vremenska) kompresija

• Eksploatiše prisutnu redundantnost između uzastopnih frejmova, pod pretpostavkom da se samo deo svih piksela jedne slike menja od jednog frejma do sledećeg • Većina je bazirana na nekoj vrsti predikcije (ili estimacije) kako će se pikseli menjati od frejma do frejma

Vremenska redundancija

• Koristi sličnost sukcesivnih frejmova 950 951 952

Prikaz smanjenja vremenske redundancije

Prediktivno kodiranje

• Boja se ne menja isuviše brzo unutar frejma ili između sukcesivnih frejmova • Zbog toga, boja piksela može da se proceni na osnovu znanja njegovih suseda • Zatim, razlika između stvarne vrednosti i predviđene se prenosi • Na sreću, dinamički opseg se smanjuje • Zbog toga, manje bitova po uzorku je potrebno • Ali: – postignut odnos kompresije nije visok (recimo, u opsegu od 2:1) – šta više, u slučaju gubitka nekih frejmova pri prenosu pojavljuje se značajna distorzija ...

Makro blokovi

• Još jedan pristup baziran na predikciji • Zone ili blokovi piksela koji se mogu kretati od frejma do frejma ali se ne menjaju • Prenose se samo granice takvih blokova i njihove nove pozicije, umesto vrednosti boja svih piksela u bloku sa značajnim redukcijama • Ali: potreban je sofisticiran algoritam za identifikaciju makro blokova

Kompresija ...

• Lossless kompresione tehnike ne izvršavaju kompresiju dobro • Lossy kompresione tehnike su bolje … ali postoji cena koja se plaća: loss = distorzija – tip distorzije zavisi od kompresione tehnike – količina distorzije zavisi od odnosa kompresije

Računarski video formati

• Najpopularniji video formati: – AVI (Microsoft i IBM) – MPEG (MPEG) – QuickTime (Apple)

AVI format

• Niz umetnutih audio i video frejmova koji obezbeđuje automatsku sinhronizaciju između njih • Veličina slike, brzina frejmova i intenzitet boja mogu da se podese nezavisno

MPEG

• MPEG (Motion Picture Experts Group) – MPEG-1: first incarnation of the standard, widely used for VCD – MPEG-2: the second generation of the MPEG standard, used in DVD – MPEG-4 standard defini š e kodiranje za multimedijalne strimove koji se sastoje iz vi š e klasa objekata – videa, grafike, animacija, 3-D modela … – MPEG-7 is not a compression standard, but rather it is intended for content description – MPEG-21 is intended for Digital Rights Management (DRM)

MPEG-2

• Druga generacija MPEG standarda • Hardverski dekoderi/dodati kartici se zahtevaju (softverski-samo dekoderi rade sa MPEG-1) • Različite brzine odabiranja sa različitim odnosima kompresije ( i različitim kvalitetom)

MPEG-2 tipovi frejmova

• I-frejmovi (intra-codirane slike): kompresija JPEG (ali u realnom vremenu) • P-frames • B-frames

P-frames

• Predictive-coded frames require information of the previous I-frame and subsequent P-frames • Coding based on image areas (macro blocks) that may shift between frames but do not change at all (motion estimation) • Actual algorithm not specified, but the format for transmitting the motion vector is • Small differences between macro blocks in successive frames allowed

B-frames

• Bidirectionally predictive coded frames • Best compression ratios, but playback requires both previous and following I- and P-frames • Both predictive coded frames achieve good compression ratios, but they can never be accessed randomly, since the information contained therein is incomplete

QuickTime

• Koristi se i kod Mac-a i PC-a • QuickTime movie je ustvari kontejner sa velikim brojem komponenti koje se zovu

tracks

• Svaki track se sastoji iz digitalnih medijskih podataka odgovarajućeg formata • Adaptiran od strane ISO kao startna tačka razvoja jedinstvenog digitalno medijalnog formata skladištenja za MPEG-4

Kodeci

• I QuickTime i AVI obezbeđuju samo osnovni format za pakovanje frejmova u movie fajl ali ne prave nikakvu pretpostavku o aktuelnom algoritmu kompresije koji se koristi • Različiti algoritmi kompresije se mogu primeniti – kodeci • Većina kodeka može da se doda kao plugin postojećim instalacijama rekordera i plejera

Najpoznatiji kodeci

• Apple Video Codec: basic codec provided with QuickTime, reasonable compression and speed • Apple Animation Codec: RLE compression, good for animations • Microsoft Video Codec: basic for AVI, reasonable compression and speed • Cinepak: much better quality and compression than Apple/MS, not too fast • JPEG: each frame is compressed as a JPEG image, fast compression, adjustable quality and compression ratio • Motion JPEG: similar to JPEG, but with predictive coding (hardware support available) • Intel Indeo: very good quality and compression, only on Intel-based platforms

Virtuelna realnost

• Veštački kreirano 3D okruženje za računarsku simulaciju prostornih interakcija – VRML (Virtual Reality Modeling Language) je jezik i format za prikaz interaktivne 3D vektorske grafike za potrebe Web-a (objekti se ugrađuju u HTML) – novi ISO standard je X3D • Koristi se različiti senzori i dodaci za interakciju korisnika (kaciga, 3D naočare) • Primena u edukaciji (modeli), obuci (trenažeri) i zabavi (video, igre)

Morphing-pretapanje, metamorfoza

Programski alati

• Za obradu video sadržaja – – – – – –

Avid Apple

Liquid

Adobe

FinalCut Studio

Pinnacle ULEAD

Premiere Studio VideoStudio

Microsoft

MovieMaker • Za VR modelovanje – Active Worlds – Macromedia Director – Wings 3D –

open source

3D modelovanje – 3D okruženja i dodaci (

viewers

)

Obrada video snimaka

• •

Editovanje

Kolekcija komponenata se asemblira u kompletan multimedijski sadržaj; – – – Selekcija, trimovanje i organizacija izvornog video materijala; Obrada tranzicija između snimaka (kadrova); Kombinovanje i sinhronizacija slika sa zvukom; Originalni snimljeni materijal se ne menja u ovoj fazi obrade

Obrada video snimaka

• • •

Post-produkcija

Modifikacija i dodavanje materijala; – Većina promena je generalizacija operacija manipulacije nad slikama (npr. korekcija boja, zamagljivanje i izo š travanje, … ); Kombinovanje sekvencu; – kombinovanje elemenata iz različitih snimaka u jednu kompozitnu video Animiranje pojedinih elemenata i kombinovanje animacija sa ostalim snimljenim materijalom.

Obrada video snimaka

•

Priprema za dostavu video materijala

– – – Potreban je kompromis da se potrebe za resursima koje nameće video prilagode postojećem stanju (tj. propusnim opsezima mreža i računarima). Redu kovanje veličine frejma; Redukovanje brzine promene frejma Redukovanje dubine boja

Dodatak 1

• Tipovi kolor video signala • • • • Komponentni video - svaka osnovna boja je postavljena kao odvojeni video signal.

Osnovne boje mogu da budu ili RGB ili njihova luminance-chrominance transformacija (YIQ, YUV).

Najbolja reprodukcija boja Zahteva veću širinu opsega i dobru sinhronizaciju tri komponente.

• Kompozitni video signali boja (chrominance) i luminance su izmešani na jedan noseći talas. Interferencija između dva signala je neizbežna.

• S-Video (odvojen video, npr. kao kod S-VHS-a) kompromis između komponentnog analognog videa i kompozitnog videa. Koristi dve linije, jednu za luminance i drugu za composite chrominance signal.

• • • • • •

Dodatak 1

Definicija: YUV Sistem kodiranja boje korišćen za analognu televiziju (NTSC, PAL i SECAM). YUV prostor boja (model boja) se razlikuje od RGB a, što predstavlja ono što kamera kepčeruje i što ljudsko oko vidi. Kada su kolor signali pronađeni 1950. god. odlučeno je da crno-bela televizija prima i dekodira monochrome signale, dok televizor u boji treba da dekodira i crno-bele i kolor signale.

Luma (osvetljenost) i signali razlike boja Y u YUV važi za "luma," što predstavlja brightness, ili lightness i crno beli televizor dekodira samo Y deo signala. U i V obezbeđuju kolor informacije i to su signali "razlika boja" plavo minus luma (B-Y) i crveno minus luma (R-Y). Kroz proces nazvan "konverzija prostora boja" video kamera konvertuje RGB podatke kepčerovane njenim senzorima u, ili kompozitne analogne signale (YUV), ili komponentne verzije (analogni YPbPr ili digitalni YCbCr). Za rendering na ekranu svi ovi prostori boja mora da budu konvertovani ponovo nazad u RGB od strane televizora ili displej sistema.

Matematički ekvivalent RGB-u YUV takođe čuva širinu opsega transmisije (transmission bandwidth) u poređenju sa RGB om, zato što chroma kanali (B-Y i R-Y) nose samo polovinu rezolucije luma e. YUV nije kompresovan RGB; radije se kaže da su Y, B-Y i R-Y matematički ekvivalenti RGB-a

Dodatak 1

• • • • • • Kompozitni video i S-video originalni TV standard kombinuje luma (Y) i oba signala (B-Y, R-Y) u jedan kanal, koji koristi jedan kabal i poznat je pod nazivom "compozitni video." Opcija poznata kao "S video" ili "Y/C video" drži luma-u odvojeno od kolor signala, koristeći jedan kabal, ali sa odvojenim žicama unutra. S-video je malo oštriji od kompozitnog videa. Komponentni video Kada se luma i svaki od signala boja (B-Y i R Y) održavaju u odvojenim kanalima, to je "komponentni video," označen kao YPbPr u analognom domenu, a YCbCr kada je digitalni. Komponentni video je najoštriji video.

Termin je opšti U praksi, YUV referencira na sistem kodiranja koji koristi razliku boja ili kao kompozitni ili kao komponentni. a "YUV," "Y, B-Y, R-Y" i "YPbPr" se koriste naizmenično za analogne signale. Ponekad "YCbCr," koji je digitalni, koristi se naizmenično takođe.

Kompozitni video, S-video i komponentni video

Distribuiranje videa