Transcript pps
Slide 1
Slide 2
Program wykładu
1. Systemy rejestracji obrazów – technologie CCD, CMOS
2. Cyfrowe metody obróbki obrazów ruchomych, metody
cyfrowego polepszania obrazów
3. Metody kompresji i zapisu obrazów cyfrowych (MPEG1
i MPEG2)
informatyka +
2
Slide 3
Etapy przetwarzania sygnału wizyjnego
Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony
do postaci elektrycznej w przetworniku analizującym, a następnie poddany
dyskretyzacji i kwantyzacji.
we/wy cyfrowe
We analogowe
Kompresja
A/C Próbkowanie
Skanowanie
C/A
Wy analogowe
Bufor ramek
informatyka +
3
Slide 4
Procesy zachodzące w analizatorach
obrazu
• Przetwarzanie optoelektryczne, polegające na
proporcjonalnej do natężenia oświetlenia modyfikacji
elektrycznych właściwości ciała stałego.
• Akumulacja wytworzonej informacji elektrycznej w
miejscu jej powstania, do czasu jej odczytu.
• Adresowanie, czyli odczytanie wytworzonej informacji
(modyfikacji) elektrycznej i opatrzenia jej adresem,
umożliwiającym określenie kierunku (lub miejsca)
padania odpowiadającego tej informacji strumienia
świetlnego.
informatyka +
4
Slide 5
Przetwarzanie optoelektryczne
Efekt Fotoelektryczny - polega na uwalnianiu elektronów
pozostających normalnie w stanie niewzbudzonym (w tzw. paśmie
podstawowym) do pasma przewodzenia, w wyniku absorpcji przez ten
elektron fotonu o określonej energii.
• Efekt fotoelektryczny zewnętrzny - energia fotonu jest na tyle
duża, że elektron po wzbudzeniu opuszcza strukturę materiału.
• Efekt fotoelektryczny wewnętrzny - w wyniku efektu
fotoelektrycznego wzbudzony elektron pozostaje wewnątrz struktury
materiału.
Materiał wykazujący zjawisko efektu fotoelektrycznego wewnętrznego,
zwany dalej materiałem światłoczułym (fotoprzewodnikiem), jest
zawsze półprzewodnikiem o właściwościach przewodzących bliższych
izolatorom, tzn. o bardzo dużej rezystancji powierzchniowej i skrośnej.
informatyka +
5
Slide 6
Akumulacja i adresowanie pikseli
• Akumulacja ładunku ma za zadanie podwyższenie
czułości analizatora obrazów.
• Adresowanie polega na wytwarzaniu informacji o
wartości i położeniu (adresie) fotoładunku
zgromadzonym w określonym pikselu.
• Adresowanie może być dokonywane w sposób ciągły
(analogowo) lub - jeżeli na powierzchni światłoczułej
wytworzono skończoną liczbę elementów
przetwarzająco-akumulujących - w sposób dyskretny.
informatyka +
6
Slide 7
Adresowanie pikseli
Adresowanie za pomocą rejestru przesuwającego,
stosowane w analizatorach typu CTD.
informatyka +
7
Slide 8
Koncepcja budowy analizatora
obrazów typu CTD
Fotoładunki są generowane i
akumulowane - podczas
okresu akumulacji - w
umieszczonych pionowo obok
siebie analizatorach
linii, nazywanych
analizatorami kolumn.
Rejestr adresujący każdego z
analizatorów kolumn nie jest
zakończony przetwornikiem
q/U, lecz dołączony do
przypisanego mu ogniwa
rejestru przesuwającego CCD,
zwanego rejestrem
wyjściowym.
informatyka +
8
Slide 9
Zasada budowy analizatora obrazów
typu CCD FT (z przesuwem półobrazu)
Bezpośrednie zastosowanie w
koncepcji analizatora
rejestrów przesuwających
jako analizatorów kolumn nie
jest możliwe, ze względu na
zbyt długi czas transferu
fotoładunków, równy okresowi
akumulacji. Zaplamienie
analizowanych obrazów
osiągnęłoby w takim
przypadku nieakceptowalny
poziom.
informatyka +
9
Slide 10
APS (Active Pixel Sensors)
Przetworniki Charge Coupled Devices (CCD)
opracowano we wczesnych latach 70. XX wieku
z przeznaczeniem do akwizycji obrazu z niskim
poziomem szumów.
Przetworniki typu CMOS Active Pixel Sensors
opracowano w drugiej połowie lat 90. XX wieku
w celu zmniejszenia kosztów produkcji
sensorów i zmniejszenia poboru mocy.
informatyka +
10
Slide 11
APS – korzyści
• Niski pobór mocy(ok. 50 mW), 3.3V cyfrowe wyjście wideo
• Niższe koszty komponentów (redukcja ok. 5X)
• Łatwość integracji przetworników w układach scalonych
• kamera w jednym układzie scalonym
• wyjścia cyfrowe
• zoom elektroniczny / okna w oknach
• kompresja obrazu
• Redukcja zależności od japońskich części
• CCDs
• kontrolery
informatyka +
11
Slide 12
Architektura – CMOS APS
W odróżnieniu od matryc CCD, w matrycach CMOS każdy piksel ma
swój przetwornik ładunku na napięcie, każdy piksel ma swój „adres” i
jego zawartość może być odczytana w dowolnej kolejności
informatyka +
12
Slide 13
Trójprzetwornikowa analiza obrazu
barwnego
FO1, FO2, FO3 – kanałowe filtry optyczne,
us i (i= R,G,B) – wyjściowe sygnały obrazu barw podstawowych.
informatyka +
13
Slide 14
Zasada konstrukcji analizatora obrazów
barwnych
a) zasada naświetlania analizatora, b) przykładowe wzajemne usytuowanie
segmentów barwnych w dyskretnym filtrze trójchromatycznym DFT, c) i d)
przykładowe struktury filtrów Bayera: c) z segmentami addytywnymi: R i B),
d) z segmentami subtraktywnymi (–R) i (–B)
informatyka +
14
Slide 15
Filtry mozaikowe
Na jeden piksel czerwony lub
niebieski przypadają dwa zielone.
Odpowiada to warunkom
widzenia człowieka, które
najczulej reaguje na zmiany
jasności w zielonej części widma.
Aby uzyskać dane o kolorze
danego punku musimy
skorzystać z algorytmu
interpolacji i danych z sąsiednich
pikseli.
informatyka +
15
Slide 16
System do cyfrowego przetwarzania
obrazów ruchomych
informatyka +
16
Slide 17
Kamery cyfrowe
Taśmy: MiniDV, Digital 8.
Parametry: - rozdzielczość 500 do 540 linii
- dźwięk – 2 kanały rozdzielczości 16 bitów z
próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz
- port IEEE 1394 – FireWire
informatyka +
17
Slide 18
Komputerowa edycja obrazu
• Upowszechnienie się w kamerach amatorskich cyfrowego standardu
DV spowodowało znaczące zmiany w konstrukcji kart i programów
edycyjnych.
• Standard DV umożliwia, przy stopniu kompresji 5:1, osiągnięcie
dobrej jakości obrazu o rozdzielczości poziomej 500 linii.
• Karty komputerowe zostały wyposażone w interfejs IEEE 1394
umożliwiający dwukierunkową transmisję skompresowanego sygnału
DV.
• Przy szybkich komputerach kodek DV może być realizowany
programowo. Powszechne użycie DVD jako kolejnego po kasecie DV
nośnika cyfrowego, spowodowało pojawienie się kart komputerowych
stosujących kompresję MPEG-2.
informatyka +
18
Slide 19
System 3CCD
Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest
pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB
informatyka +
19
Slide 20
Skanowanie
Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym
(skanowanie progresywne)
Skanowanie międzyliniowe
Skanowanie progresywne
informatyka +
20
Slide 21
Przykład zastosowania
skanowania progresywnego
oraz międzyliniowego
4CIF - 704 x 596
2CIF - 704 x 288
informatyka +
21
Slide 22
Efekty specjalne
Kluczowanie Chroma
Key:
nałożenie na zwykle
niebieskie lub zielone tło
nowego obrazu.
informatyka +
22
22
Slide 23
Standardy MPEG
• MPEG-1 (1992) – umożliwia przesyłanie obrazu audio-video z
przepustowością 1,5 Mb/s przy rozdzielczości ekranu 352x240 lub
352x288. Standard ten pozwolił na stworzenie cyfrowego zapisu
audio-video Video CD, którego jakość była porównywalna do
standardu VHS.
• MPEG-2 (1994) – umożliwia przesyłanie obrazów o znacznie
większych rozdzielczościach, aż do 1920 x 1152 punktów, i
przepustowości między 3 a 100 Mb/s. Standard ten otwarł drogę do
opracowania i wdrożenia cyfrowych standardów emisji programów
telewizyjnych.
• MPEG-4 (1999) – przystosowany został głównie do kompresji
danych strumieniowych (np. wideokonferencje), oferuje najwyższy
stopień kompresji z całej rodziny standardów MPEG.
informatyka +
23
Slide 24
Kompresja MPEG-1
MPEG-1
Szybkość bitowa:
1,5Mb/s
nośnik
magnetyczny
nośnik
optyczny
Rozdzielczość:
SFI (Source Intermediate Format)
352p x 240l x 30FPS
352p x 288l x 25FPS
sieć
komputerowa
informatyka +
24
Slide 25
Przestrzeń kolorów RGB i YCbCr
Tryb YCbCr przechowuje informacje o kolorze jako
• luminacja (jasność - Brightness)
• chrominancja (barwa - Hue)
Tryb YCbCr jest używany przy kompresji MPEG ponieważ umożliwia
osiągnięcie lepszego współczynnika kompresji niż tryb RGB
Y = 0.299(R – G) + G + 0.114(B – G)
Cb = 0.564(B – Y);
Cr = 0.713(R – Y)
informatyka +
25
Slide 26
Przestrzeń kolorów RGB i YCbCr
Składowe luminancji Y
i chrominancji CR CB
obrazu kolorowego.
informatyka +
26
Slide 27
MPEG-1 struktura próbek w obrazie
Dla standardu MPEG-1 przyjęto
strukturę próbkowania 4:2:0 (na 4
próbki luminancji przypadają dwie
próbki chrominancji w jednej linii,
oraz 0 próbek chrominancji w
kolejnej linii). Wartość próbek
chrominancji wyznacza się
poprzez interpolację dla położenia
pośrodku kwadratu złożonego z
próbek luminancji.
informatyka +
27
Slide 28
MPEG-1 struktura próbek w obrazie
Makroblok to elementarna porcja obrazu kodowana przez koder
MPEG. Jest to zestaw czterech bloków luminancji Y, jednego bloku
chrominancji Cr i jednego bloku chrominancji Cb.
informatyka +
28
Slide 29
MPEG-1 struktura próbek w obrazie
Przekrój (slice) to pośrednia struktura złożona z pewnej liczby
makrobloków występujących kolejno w porządku rastrowym. Może
zaczynać się i kończyć w dowolnym miejscu wiersza obrazu i rozciągać
się na wiele wierszy.
informatyka +
29
Slide 30
Transformara kosinusowa (DCT)
operuje na znormalizowanych blokach 8x8 pikseli
przekształca dane do postaci umożliwiającej zastosowanie
efektywnych metod kompresji
DCT
IDCT
DCT ⇄ IDCT
Przekształcenie
macierzy
amplitud
w w blok DCT
Przekształcenie
macierzyz(i,j)
Z(k,l)
Odwracalność
transformacji
macierz Z(k,l)
współczynników
transformat
pikseli
z(i,j)
informatyka +
30
30
Slide 31
Fizyczna interpretacja współczynników
macierzy DCT
informatyka +
31
Slide 32
Kwantyzacja
Kwantyzacja polega na przeskalowaniu współczynników DCT poprzez
podzielnie ich przez właściwy współczynnik znajdujący się w tabeli
kwantyzacji, a następnie zaokrągleniu wyniku do najbliższej liczby
całkowitej. Proces kwantyzacji można opisać równaniem:
k ( x ) round (
F( x, y )
)
Q( x , y )
gdzie:
F(x,y) – współczynniki transformacji,
Q(x,y) – tablica kwantyzacji,
round(x) – funkcja zaokrąglająca x do najbliższej liczby całkowitej.
informatyka +
32
Slide 33
Kodowanie Huffmana
•
Dla każdego znaku utwórz drzewa złożone tylko z korzenia i ułóż w
malejącym porządku ich częstości występowania.
•
Dopóki istnieją przynajmniej dwa drzewa:
–
z drzew t1 i t2 o najmniejszych częstościach występowania p1 i p2
utwórz drzewo zawierające w korzeniu częstość p12 = p1+p2,
–
przypisz „0” każdej lewej, a „1” każdej prawej gałęzi drzewa.
•
Utwórz słowo kodu dla każdego znaku przechodząc od korzenia do liścia.
Przykład:
Z={A,B,C,D,E,F},
P={0.35, 0.17, 0.17,
0.16, 0.10, 0.05}
informatyka +
33
Slide 34
MPEG-1 obrazy typu I
Kodowane są podobnie jak obrazy nieruchome w standardzie JPEG.
1. I etap: obraz dzielony jest na rozłączne makrobloki (4 bloki próbek
sygnału luminancji i 2 chrominancji).
2. II etap: niezależne przekształcanie każdego bloku przy
wykorzystaniu DCT.
3. III etap: kwantowanie - podzielenie każdego współczynnika z
macierzy DCT przez odpowiedni współczynnik z tablicy kwantyzacji
i zaokrąglenie wyniku do liczby całkowitej (utrata części informacji).
4. IV etap: kodowanie kodem Huffmana skwantowanych
współczynników macierzy DCT. O stopniu kompresji tego etapu
decyduje liczba poziomów kwantyzacji współczynników macierzy
DCT- im mniejsza liczba poziomów, tym większa kompresja.
informatyka +
34
Slide 35
MPEG-1 Obrazy typu P
• Definiowanie elementów ruchomych: dla
każdego makrobloku obrazu bieżącego
wyszukuje się najbardziej podobny blok
16x16 pikseli w poprzednim obrazie typu
I lub P. Dopasowuje się je tylko do
składowej luminancji.
• Zakłada się jedynie liniowe przesunięcie
bloku pikseli, nie uwzględnia się obrotu
ani zmiany wymiaru bloku.
• Położenie znalezionego bloku określa się
za pomocą wektora przesunięcia tego
bloku w stosunku do makrobloku w
obrazie typu P- tzw. wektora ruchu.
informatyka +
35
Slide 36
MPEG-1 Obrazy typu B
Obrazy typu B kodowane są podobnie jak obrazy typu P
Kodowana jest różnica między bieżącym makroblokiem
a jego predykcją.
predykcja
poszukiwanie najbardziej podobnych
bloków w dwu obrazach odniesienia:
wcześniejszym i późniejszym
wyznaczenie dwóch wektorów ruchu
wyznaczenie bloku prognozowanego
poprzez interpolację ze znalezionych
bloków: wcześniejszego i późniejszego
informatyka +
36
Slide 37
MPEG–1 obrazy typu B
informatyka +
37
Slide 38
MPEG-1 GOP
Sekwencja obrazów video w standardzie MPEG dzielona jest na grupy
obrazów GOP (Group Of Pictures)
informatyka +
38
Slide 39
MPEG1 kolejność transmisji ramek
I
B B B P B B B P B B B I
informatyka +
39
Slide 40
MPEG-2
MPEG-2
Szybkość bitowa:
10Mb/s
Przeznaczony do rozpowszechniania
telewizji programowej
40Mb/s
• przetwarzanie obrazów z wybieraniem
międzyliniowym
• większa rozdzielczość próbkowania
SDTV
HDTV
telewizja
standardowej
rozdzielczości
telewizja
wysokiej
rozdzielczości
• zmieniona i rozszerzona struktura próbkowania
chrominancji
• skalowalność jakościowa
• przestrzenne kodowanie obrazu
informatyka +
40
Slide 41
MPEG-2 struktura próbkowania
Struktury próbkowania w standardzie MPEG-2
informatyka +
41
Slide 42
MPEG-2 struktura makrobloku
Struktury makrobloków dla różnych struktur próbkowania
4:4:4
4:2:2
informatyka +
4:2:0
42
Slide 43
MPEG-2 struktura makrobloku
Wybieranie międzyliniowe
ramka sygnału składa się z dwóch pól
Struktura
makrobloku
luminancji podczas
kodowania DCT
ramki
Struktura
makrobloku
luminancji podczas
kodowania DCT pola
informatyka +
43
Slide 44
MPEG-2 profile i poziomy
informatyka +
44
Slide 45
Slide 46
informatyka +
46
Slide 2
Program wykładu
1. Systemy rejestracji obrazów – technologie CCD, CMOS
2. Cyfrowe metody obróbki obrazów ruchomych, metody
cyfrowego polepszania obrazów
3. Metody kompresji i zapisu obrazów cyfrowych (MPEG1
i MPEG2)
informatyka +
2
Slide 3
Etapy przetwarzania sygnału wizyjnego
Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony
do postaci elektrycznej w przetworniku analizującym, a następnie poddany
dyskretyzacji i kwantyzacji.
we/wy cyfrowe
We analogowe
Kompresja
A/C Próbkowanie
Skanowanie
C/A
Wy analogowe
Bufor ramek
informatyka +
3
Slide 4
Procesy zachodzące w analizatorach
obrazu
• Przetwarzanie optoelektryczne, polegające na
proporcjonalnej do natężenia oświetlenia modyfikacji
elektrycznych właściwości ciała stałego.
• Akumulacja wytworzonej informacji elektrycznej w
miejscu jej powstania, do czasu jej odczytu.
• Adresowanie, czyli odczytanie wytworzonej informacji
(modyfikacji) elektrycznej i opatrzenia jej adresem,
umożliwiającym określenie kierunku (lub miejsca)
padania odpowiadającego tej informacji strumienia
świetlnego.
informatyka +
4
Slide 5
Przetwarzanie optoelektryczne
Efekt Fotoelektryczny - polega na uwalnianiu elektronów
pozostających normalnie w stanie niewzbudzonym (w tzw. paśmie
podstawowym) do pasma przewodzenia, w wyniku absorpcji przez ten
elektron fotonu o określonej energii.
• Efekt fotoelektryczny zewnętrzny - energia fotonu jest na tyle
duża, że elektron po wzbudzeniu opuszcza strukturę materiału.
• Efekt fotoelektryczny wewnętrzny - w wyniku efektu
fotoelektrycznego wzbudzony elektron pozostaje wewnątrz struktury
materiału.
Materiał wykazujący zjawisko efektu fotoelektrycznego wewnętrznego,
zwany dalej materiałem światłoczułym (fotoprzewodnikiem), jest
zawsze półprzewodnikiem o właściwościach przewodzących bliższych
izolatorom, tzn. o bardzo dużej rezystancji powierzchniowej i skrośnej.
informatyka +
5
Slide 6
Akumulacja i adresowanie pikseli
• Akumulacja ładunku ma za zadanie podwyższenie
czułości analizatora obrazów.
• Adresowanie polega na wytwarzaniu informacji o
wartości i położeniu (adresie) fotoładunku
zgromadzonym w określonym pikselu.
• Adresowanie może być dokonywane w sposób ciągły
(analogowo) lub - jeżeli na powierzchni światłoczułej
wytworzono skończoną liczbę elementów
przetwarzająco-akumulujących - w sposób dyskretny.
informatyka +
6
Slide 7
Adresowanie pikseli
Adresowanie za pomocą rejestru przesuwającego,
stosowane w analizatorach typu CTD.
informatyka +
7
Slide 8
Koncepcja budowy analizatora
obrazów typu CTD
Fotoładunki są generowane i
akumulowane - podczas
okresu akumulacji - w
umieszczonych pionowo obok
siebie analizatorach
linii, nazywanych
analizatorami kolumn.
Rejestr adresujący każdego z
analizatorów kolumn nie jest
zakończony przetwornikiem
q/U, lecz dołączony do
przypisanego mu ogniwa
rejestru przesuwającego CCD,
zwanego rejestrem
wyjściowym.
informatyka +
8
Slide 9
Zasada budowy analizatora obrazów
typu CCD FT (z przesuwem półobrazu)
Bezpośrednie zastosowanie w
koncepcji analizatora
rejestrów przesuwających
jako analizatorów kolumn nie
jest możliwe, ze względu na
zbyt długi czas transferu
fotoładunków, równy okresowi
akumulacji. Zaplamienie
analizowanych obrazów
osiągnęłoby w takim
przypadku nieakceptowalny
poziom.
informatyka +
9
Slide 10
APS (Active Pixel Sensors)
Przetworniki Charge Coupled Devices (CCD)
opracowano we wczesnych latach 70. XX wieku
z przeznaczeniem do akwizycji obrazu z niskim
poziomem szumów.
Przetworniki typu CMOS Active Pixel Sensors
opracowano w drugiej połowie lat 90. XX wieku
w celu zmniejszenia kosztów produkcji
sensorów i zmniejszenia poboru mocy.
informatyka +
10
Slide 11
APS – korzyści
• Niski pobór mocy(ok. 50 mW), 3.3V cyfrowe wyjście wideo
• Niższe koszty komponentów (redukcja ok. 5X)
• Łatwość integracji przetworników w układach scalonych
• kamera w jednym układzie scalonym
• wyjścia cyfrowe
• zoom elektroniczny / okna w oknach
• kompresja obrazu
• Redukcja zależności od japońskich części
• CCDs
• kontrolery
informatyka +
11
Slide 12
Architektura – CMOS APS
W odróżnieniu od matryc CCD, w matrycach CMOS każdy piksel ma
swój przetwornik ładunku na napięcie, każdy piksel ma swój „adres” i
jego zawartość może być odczytana w dowolnej kolejności
informatyka +
12
Slide 13
Trójprzetwornikowa analiza obrazu
barwnego
FO1, FO2, FO3 – kanałowe filtry optyczne,
us i (i= R,G,B) – wyjściowe sygnały obrazu barw podstawowych.
informatyka +
13
Slide 14
Zasada konstrukcji analizatora obrazów
barwnych
a) zasada naświetlania analizatora, b) przykładowe wzajemne usytuowanie
segmentów barwnych w dyskretnym filtrze trójchromatycznym DFT, c) i d)
przykładowe struktury filtrów Bayera: c) z segmentami addytywnymi: R i B),
d) z segmentami subtraktywnymi (–R) i (–B)
informatyka +
14
Slide 15
Filtry mozaikowe
Na jeden piksel czerwony lub
niebieski przypadają dwa zielone.
Odpowiada to warunkom
widzenia człowieka, które
najczulej reaguje na zmiany
jasności w zielonej części widma.
Aby uzyskać dane o kolorze
danego punku musimy
skorzystać z algorytmu
interpolacji i danych z sąsiednich
pikseli.
informatyka +
15
Slide 16
System do cyfrowego przetwarzania
obrazów ruchomych
informatyka +
16
Slide 17
Kamery cyfrowe
Taśmy: MiniDV, Digital 8.
Parametry: - rozdzielczość 500 do 540 linii
- dźwięk – 2 kanały rozdzielczości 16 bitów z
próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz
- port IEEE 1394 – FireWire
informatyka +
17
Slide 18
Komputerowa edycja obrazu
• Upowszechnienie się w kamerach amatorskich cyfrowego standardu
DV spowodowało znaczące zmiany w konstrukcji kart i programów
edycyjnych.
• Standard DV umożliwia, przy stopniu kompresji 5:1, osiągnięcie
dobrej jakości obrazu o rozdzielczości poziomej 500 linii.
• Karty komputerowe zostały wyposażone w interfejs IEEE 1394
umożliwiający dwukierunkową transmisję skompresowanego sygnału
DV.
• Przy szybkich komputerach kodek DV może być realizowany
programowo. Powszechne użycie DVD jako kolejnego po kasecie DV
nośnika cyfrowego, spowodowało pojawienie się kart komputerowych
stosujących kompresję MPEG-2.
informatyka +
18
Slide 19
System 3CCD
Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest
pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB
informatyka +
19
Slide 20
Skanowanie
Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym
(skanowanie progresywne)
Skanowanie międzyliniowe
Skanowanie progresywne
informatyka +
20
Slide 21
Przykład zastosowania
skanowania progresywnego
oraz międzyliniowego
4CIF - 704 x 596
2CIF - 704 x 288
informatyka +
21
Slide 22
Efekty specjalne
Kluczowanie Chroma
Key:
nałożenie na zwykle
niebieskie lub zielone tło
nowego obrazu.
informatyka +
22
22
Slide 23
Standardy MPEG
• MPEG-1 (1992) – umożliwia przesyłanie obrazu audio-video z
przepustowością 1,5 Mb/s przy rozdzielczości ekranu 352x240 lub
352x288. Standard ten pozwolił na stworzenie cyfrowego zapisu
audio-video Video CD, którego jakość była porównywalna do
standardu VHS.
• MPEG-2 (1994) – umożliwia przesyłanie obrazów o znacznie
większych rozdzielczościach, aż do 1920 x 1152 punktów, i
przepustowości między 3 a 100 Mb/s. Standard ten otwarł drogę do
opracowania i wdrożenia cyfrowych standardów emisji programów
telewizyjnych.
• MPEG-4 (1999) – przystosowany został głównie do kompresji
danych strumieniowych (np. wideokonferencje), oferuje najwyższy
stopień kompresji z całej rodziny standardów MPEG.
informatyka +
23
Slide 24
Kompresja MPEG-1
MPEG-1
Szybkość bitowa:
1,5Mb/s
nośnik
magnetyczny
nośnik
optyczny
Rozdzielczość:
SFI (Source Intermediate Format)
352p x 240l x 30FPS
352p x 288l x 25FPS
sieć
komputerowa
informatyka +
24
Slide 25
Przestrzeń kolorów RGB i YCbCr
Tryb YCbCr przechowuje informacje o kolorze jako
• luminacja (jasność - Brightness)
• chrominancja (barwa - Hue)
Tryb YCbCr jest używany przy kompresji MPEG ponieważ umożliwia
osiągnięcie lepszego współczynnika kompresji niż tryb RGB
Y = 0.299(R – G) + G + 0.114(B – G)
Cb = 0.564(B – Y);
Cr = 0.713(R – Y)
informatyka +
25
Slide 26
Przestrzeń kolorów RGB i YCbCr
Składowe luminancji Y
i chrominancji CR CB
obrazu kolorowego.
informatyka +
26
Slide 27
MPEG-1 struktura próbek w obrazie
Dla standardu MPEG-1 przyjęto
strukturę próbkowania 4:2:0 (na 4
próbki luminancji przypadają dwie
próbki chrominancji w jednej linii,
oraz 0 próbek chrominancji w
kolejnej linii). Wartość próbek
chrominancji wyznacza się
poprzez interpolację dla położenia
pośrodku kwadratu złożonego z
próbek luminancji.
informatyka +
27
Slide 28
MPEG-1 struktura próbek w obrazie
Makroblok to elementarna porcja obrazu kodowana przez koder
MPEG. Jest to zestaw czterech bloków luminancji Y, jednego bloku
chrominancji Cr i jednego bloku chrominancji Cb.
informatyka +
28
Slide 29
MPEG-1 struktura próbek w obrazie
Przekrój (slice) to pośrednia struktura złożona z pewnej liczby
makrobloków występujących kolejno w porządku rastrowym. Może
zaczynać się i kończyć w dowolnym miejscu wiersza obrazu i rozciągać
się na wiele wierszy.
informatyka +
29
Slide 30
Transformara kosinusowa (DCT)
operuje na znormalizowanych blokach 8x8 pikseli
przekształca dane do postaci umożliwiającej zastosowanie
efektywnych metod kompresji
DCT
IDCT
DCT ⇄ IDCT
Przekształcenie
macierzy
amplitud
w w blok DCT
Przekształcenie
macierzyz(i,j)
Z(k,l)
Odwracalność
transformacji
macierz Z(k,l)
współczynników
transformat
pikseli
z(i,j)
informatyka +
30
30
Slide 31
Fizyczna interpretacja współczynników
macierzy DCT
informatyka +
31
Slide 32
Kwantyzacja
Kwantyzacja polega na przeskalowaniu współczynników DCT poprzez
podzielnie ich przez właściwy współczynnik znajdujący się w tabeli
kwantyzacji, a następnie zaokrągleniu wyniku do najbliższej liczby
całkowitej. Proces kwantyzacji można opisać równaniem:
k ( x ) round (
F( x, y )
)
Q( x , y )
gdzie:
F(x,y) – współczynniki transformacji,
Q(x,y) – tablica kwantyzacji,
round(x) – funkcja zaokrąglająca x do najbliższej liczby całkowitej.
informatyka +
32
Slide 33
Kodowanie Huffmana
•
Dla każdego znaku utwórz drzewa złożone tylko z korzenia i ułóż w
malejącym porządku ich częstości występowania.
•
Dopóki istnieją przynajmniej dwa drzewa:
–
z drzew t1 i t2 o najmniejszych częstościach występowania p1 i p2
utwórz drzewo zawierające w korzeniu częstość p12 = p1+p2,
–
przypisz „0” każdej lewej, a „1” każdej prawej gałęzi drzewa.
•
Utwórz słowo kodu dla każdego znaku przechodząc od korzenia do liścia.
Przykład:
Z={A,B,C,D,E,F},
P={0.35, 0.17, 0.17,
0.16, 0.10, 0.05}
informatyka +
33
Slide 34
MPEG-1 obrazy typu I
Kodowane są podobnie jak obrazy nieruchome w standardzie JPEG.
1. I etap: obraz dzielony jest na rozłączne makrobloki (4 bloki próbek
sygnału luminancji i 2 chrominancji).
2. II etap: niezależne przekształcanie każdego bloku przy
wykorzystaniu DCT.
3. III etap: kwantowanie - podzielenie każdego współczynnika z
macierzy DCT przez odpowiedni współczynnik z tablicy kwantyzacji
i zaokrąglenie wyniku do liczby całkowitej (utrata części informacji).
4. IV etap: kodowanie kodem Huffmana skwantowanych
współczynników macierzy DCT. O stopniu kompresji tego etapu
decyduje liczba poziomów kwantyzacji współczynników macierzy
DCT- im mniejsza liczba poziomów, tym większa kompresja.
informatyka +
34
Slide 35
MPEG-1 Obrazy typu P
• Definiowanie elementów ruchomych: dla
każdego makrobloku obrazu bieżącego
wyszukuje się najbardziej podobny blok
16x16 pikseli w poprzednim obrazie typu
I lub P. Dopasowuje się je tylko do
składowej luminancji.
• Zakłada się jedynie liniowe przesunięcie
bloku pikseli, nie uwzględnia się obrotu
ani zmiany wymiaru bloku.
• Położenie znalezionego bloku określa się
za pomocą wektora przesunięcia tego
bloku w stosunku do makrobloku w
obrazie typu P- tzw. wektora ruchu.
informatyka +
35
Slide 36
MPEG-1 Obrazy typu B
Obrazy typu B kodowane są podobnie jak obrazy typu P
Kodowana jest różnica między bieżącym makroblokiem
a jego predykcją.
predykcja
poszukiwanie najbardziej podobnych
bloków w dwu obrazach odniesienia:
wcześniejszym i późniejszym
wyznaczenie dwóch wektorów ruchu
wyznaczenie bloku prognozowanego
poprzez interpolację ze znalezionych
bloków: wcześniejszego i późniejszego
informatyka +
36
Slide 37
MPEG–1 obrazy typu B
informatyka +
37
Slide 38
MPEG-1 GOP
Sekwencja obrazów video w standardzie MPEG dzielona jest na grupy
obrazów GOP (Group Of Pictures)
informatyka +
38
Slide 39
MPEG1 kolejność transmisji ramek
I
B B B P B B B P B B B I
informatyka +
39
Slide 40
MPEG-2
MPEG-2
Szybkość bitowa:
10Mb/s
Przeznaczony do rozpowszechniania
telewizji programowej
40Mb/s
• przetwarzanie obrazów z wybieraniem
międzyliniowym
• większa rozdzielczość próbkowania
SDTV
HDTV
telewizja
standardowej
rozdzielczości
telewizja
wysokiej
rozdzielczości
• zmieniona i rozszerzona struktura próbkowania
chrominancji
• skalowalność jakościowa
• przestrzenne kodowanie obrazu
informatyka +
40
Slide 41
MPEG-2 struktura próbkowania
Struktury próbkowania w standardzie MPEG-2
informatyka +
41
Slide 42
MPEG-2 struktura makrobloku
Struktury makrobloków dla różnych struktur próbkowania
4:4:4
4:2:2
informatyka +
4:2:0
42
Slide 43
MPEG-2 struktura makrobloku
Wybieranie międzyliniowe
ramka sygnału składa się z dwóch pól
Struktura
makrobloku
luminancji podczas
kodowania DCT
ramki
Struktura
makrobloku
luminancji podczas
kodowania DCT pola
informatyka +
43
Slide 44
MPEG-2 profile i poziomy
informatyka +
44
Slide 45
Slide 46
informatyka +
46