Transcript pps

Slide 1


Slide 2

Program wykładu
1. Systemy rejestracji obrazów – technologie CCD, CMOS
2. Cyfrowe metody obróbki obrazów ruchomych, metody
cyfrowego polepszania obrazów

3. Metody kompresji i zapisu obrazów cyfrowych (MPEG1
i MPEG2)

informatyka +

2


Slide 3

Etapy przetwarzania sygnału wizyjnego
Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony
do postaci elektrycznej w przetworniku analizującym, a następnie poddany
dyskretyzacji i kwantyzacji.
we/wy cyfrowe

We analogowe

Kompresja

A/C Próbkowanie

Skanowanie

C/A

Wy analogowe

Bufor ramek

informatyka +

3


Slide 4

Procesy zachodzące w analizatorach
obrazu
• Przetwarzanie optoelektryczne, polegające na
proporcjonalnej do natężenia oświetlenia modyfikacji
elektrycznych właściwości ciała stałego.
• Akumulacja wytworzonej informacji elektrycznej w
miejscu jej powstania, do czasu jej odczytu.
• Adresowanie, czyli odczytanie wytworzonej informacji
(modyfikacji) elektrycznej i opatrzenia jej adresem,
umożliwiającym określenie kierunku (lub miejsca)
padania odpowiadającego tej informacji strumienia
świetlnego.

informatyka +

4


Slide 5

Przetwarzanie optoelektryczne
Efekt Fotoelektryczny - polega na uwalnianiu elektronów
pozostających normalnie w stanie niewzbudzonym (w tzw. paśmie
podstawowym) do pasma przewodzenia, w wyniku absorpcji przez ten
elektron fotonu o określonej energii.
• Efekt fotoelektryczny zewnętrzny - energia fotonu jest na tyle
duża, że elektron po wzbudzeniu opuszcza strukturę materiału.
• Efekt fotoelektryczny wewnętrzny - w wyniku efektu
fotoelektrycznego wzbudzony elektron pozostaje wewnątrz struktury
materiału.
Materiał wykazujący zjawisko efektu fotoelektrycznego wewnętrznego,
zwany dalej materiałem światłoczułym (fotoprzewodnikiem), jest
zawsze półprzewodnikiem o właściwościach przewodzących bliższych
izolatorom, tzn. o bardzo dużej rezystancji powierzchniowej i skrośnej.

informatyka +

5


Slide 6

Akumulacja i adresowanie pikseli
• Akumulacja ładunku ma za zadanie podwyższenie
czułości analizatora obrazów.

• Adresowanie polega na wytwarzaniu informacji o
wartości i położeniu (adresie) fotoładunku
zgromadzonym w określonym pikselu.
• Adresowanie może być dokonywane w sposób ciągły
(analogowo) lub - jeżeli na powierzchni światłoczułej
wytworzono skończoną liczbę elementów
przetwarzająco-akumulujących - w sposób dyskretny.

informatyka +

6


Slide 7

Adresowanie pikseli

Adresowanie za pomocą rejestru przesuwającego,
stosowane w analizatorach typu CTD.

informatyka +

7


Slide 8

Koncepcja budowy analizatora
obrazów typu CTD
Fotoładunki są generowane i
akumulowane - podczas
okresu akumulacji - w
umieszczonych pionowo obok
siebie analizatorach
linii, nazywanych
analizatorami kolumn.
Rejestr adresujący każdego z
analizatorów kolumn nie jest
zakończony przetwornikiem
q/U, lecz dołączony do
przypisanego mu ogniwa
rejestru przesuwającego CCD,
zwanego rejestrem
wyjściowym.

informatyka +

8


Slide 9

Zasada budowy analizatora obrazów
typu CCD FT (z przesuwem półobrazu)
Bezpośrednie zastosowanie w
koncepcji analizatora
rejestrów przesuwających
jako analizatorów kolumn nie
jest możliwe, ze względu na
zbyt długi czas transferu
fotoładunków, równy okresowi
akumulacji. Zaplamienie
analizowanych obrazów
osiągnęłoby w takim
przypadku nieakceptowalny
poziom.

informatyka +

9


Slide 10

APS (Active Pixel Sensors)
Przetworniki Charge Coupled Devices (CCD)
opracowano we wczesnych latach 70. XX wieku
z przeznaczeniem do akwizycji obrazu z niskim
poziomem szumów.
Przetworniki typu CMOS Active Pixel Sensors
opracowano w drugiej połowie lat 90. XX wieku
w celu zmniejszenia kosztów produkcji
sensorów i zmniejszenia poboru mocy.

informatyka +

10


Slide 11

APS – korzyści
• Niski pobór mocy(ok. 50 mW), 3.3V cyfrowe wyjście wideo
• Niższe koszty komponentów (redukcja ok. 5X)
• Łatwość integracji przetworników w układach scalonych
• kamera w jednym układzie scalonym
• wyjścia cyfrowe
• zoom elektroniczny / okna w oknach
• kompresja obrazu
• Redukcja zależności od japońskich części
• CCDs
• kontrolery

informatyka +

11


Slide 12

Architektura – CMOS APS

W odróżnieniu od matryc CCD, w matrycach CMOS każdy piksel ma
swój przetwornik ładunku na napięcie, każdy piksel ma swój „adres” i
jego zawartość może być odczytana w dowolnej kolejności

informatyka +

12


Slide 13

Trójprzetwornikowa analiza obrazu
barwnego

FO1, FO2, FO3 – kanałowe filtry optyczne,
us i (i= R,G,B) – wyjściowe sygnały obrazu barw podstawowych.

informatyka +

13


Slide 14

Zasada konstrukcji analizatora obrazów
barwnych

a) zasada naświetlania analizatora, b) przykładowe wzajemne usytuowanie
segmentów barwnych w dyskretnym filtrze trójchromatycznym DFT, c) i d)
przykładowe struktury filtrów Bayera: c) z segmentami addytywnymi: R i B),
d) z segmentami subtraktywnymi (–R) i (–B)

informatyka +

14


Slide 15

Filtry mozaikowe
Na jeden piksel czerwony lub
niebieski przypadają dwa zielone.
Odpowiada to warunkom
widzenia człowieka, które
najczulej reaguje na zmiany
jasności w zielonej części widma.
Aby uzyskać dane o kolorze
danego punku musimy
skorzystać z algorytmu
interpolacji i danych z sąsiednich
pikseli.

informatyka +

15


Slide 16

System do cyfrowego przetwarzania
obrazów ruchomych

informatyka +

16


Slide 17

Kamery cyfrowe
Taśmy: MiniDV, Digital 8.

Parametry: - rozdzielczość 500 do 540 linii
- dźwięk – 2 kanały rozdzielczości 16 bitów z
próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz
- port IEEE 1394 – FireWire

informatyka +

17


Slide 18

Komputerowa edycja obrazu
• Upowszechnienie się w kamerach amatorskich cyfrowego standardu
DV spowodowało znaczące zmiany w konstrukcji kart i programów
edycyjnych.
• Standard DV umożliwia, przy stopniu kompresji 5:1, osiągnięcie
dobrej jakości obrazu o rozdzielczości poziomej 500 linii.
• Karty komputerowe zostały wyposażone w interfejs IEEE 1394
umożliwiający dwukierunkową transmisję skompresowanego sygnału
DV.

• Przy szybkich komputerach kodek DV może być realizowany
programowo. Powszechne użycie DVD jako kolejnego po kasecie DV
nośnika cyfrowego, spowodowało pojawienie się kart komputerowych
stosujących kompresję MPEG-2.

informatyka +

18


Slide 19

System 3CCD

Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest
pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB

informatyka +

19


Slide 20

Skanowanie
Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym
(skanowanie progresywne)

Skanowanie międzyliniowe

Skanowanie progresywne

informatyka +

20


Slide 21

Przykład zastosowania
skanowania progresywnego
oraz międzyliniowego
4CIF - 704 x 596
2CIF - 704 x 288

informatyka +

21


Slide 22

Efekty specjalne

Kluczowanie Chroma
Key:
nałożenie na zwykle
niebieskie lub zielone tło
nowego obrazu.

informatyka +

22
22


Slide 23

Standardy MPEG
• MPEG-1 (1992) – umożliwia przesyłanie obrazu audio-video z
przepustowością 1,5 Mb/s przy rozdzielczości ekranu 352x240 lub
352x288. Standard ten pozwolił na stworzenie cyfrowego zapisu
audio-video Video CD, którego jakość była porównywalna do
standardu VHS.
• MPEG-2 (1994) – umożliwia przesyłanie obrazów o znacznie
większych rozdzielczościach, aż do 1920 x 1152 punktów, i
przepustowości między 3 a 100 Mb/s. Standard ten otwarł drogę do
opracowania i wdrożenia cyfrowych standardów emisji programów
telewizyjnych.
• MPEG-4 (1999) – przystosowany został głównie do kompresji
danych strumieniowych (np. wideokonferencje), oferuje najwyższy
stopień kompresji z całej rodziny standardów MPEG.

informatyka +

23


Slide 24

Kompresja MPEG-1
MPEG-1

Szybkość bitowa:

1,5Mb/s

nośnik
magnetyczny

nośnik
optyczny

Rozdzielczość:

SFI (Source Intermediate Format)
352p x 240l x 30FPS
352p x 288l x 25FPS
sieć
komputerowa

informatyka +

24


Slide 25

Przestrzeń kolorów RGB i YCbCr
Tryb YCbCr przechowuje informacje o kolorze jako
• luminacja (jasność - Brightness)
• chrominancja (barwa - Hue)
Tryb YCbCr jest używany przy kompresji MPEG ponieważ umożliwia
osiągnięcie lepszego współczynnika kompresji niż tryb RGB

Y = 0.299(R – G) + G + 0.114(B – G)
Cb = 0.564(B – Y);
Cr = 0.713(R – Y)

informatyka +

25


Slide 26

Przestrzeń kolorów RGB i YCbCr
Składowe luminancji Y
i chrominancji CR CB
obrazu kolorowego.

informatyka +

26


Slide 27

MPEG-1 struktura próbek w obrazie
Dla standardu MPEG-1 przyjęto
strukturę próbkowania 4:2:0 (na 4
próbki luminancji przypadają dwie
próbki chrominancji w jednej linii,
oraz 0 próbek chrominancji w
kolejnej linii). Wartość próbek
chrominancji wyznacza się
poprzez interpolację dla położenia
pośrodku kwadratu złożonego z
próbek luminancji.

informatyka +

27


Slide 28

MPEG-1 struktura próbek w obrazie
Makroblok to elementarna porcja obrazu kodowana przez koder
MPEG. Jest to zestaw czterech bloków luminancji Y, jednego bloku
chrominancji Cr i jednego bloku chrominancji Cb.

informatyka +

28


Slide 29

MPEG-1 struktura próbek w obrazie
Przekrój (slice) to pośrednia struktura złożona z pewnej liczby
makrobloków występujących kolejno w porządku rastrowym. Może
zaczynać się i kończyć w dowolnym miejscu wiersza obrazu i rozciągać
się na wiele wierszy.

informatyka +

29


Slide 30

Transformara kosinusowa (DCT)
 operuje na znormalizowanych blokach 8x8 pikseli
 przekształca dane do postaci umożliwiającej zastosowanie
efektywnych metod kompresji

DCT

IDCT

DCT ⇄ IDCT

Przekształcenie
macierzy
amplitud
w w blok DCT
Przekształcenie
macierzyz(i,j)
Z(k,l)
Odwracalność
transformacji
macierz Z(k,l)
współczynników
transformat
pikseli
z(i,j)

informatyka +

30
30


Slide 31

Fizyczna interpretacja współczynników
macierzy DCT

informatyka +

31


Slide 32

Kwantyzacja
Kwantyzacja polega na przeskalowaniu współczynników DCT poprzez
podzielnie ich przez właściwy współczynnik znajdujący się w tabeli
kwantyzacji, a następnie zaokrągleniu wyniku do najbliższej liczby
całkowitej. Proces kwantyzacji można opisać równaniem:

k ( x )  round (

F( x, y )

)

Q( x , y )
gdzie:
F(x,y) – współczynniki transformacji,
Q(x,y) – tablica kwantyzacji,
round(x) – funkcja zaokrąglająca x do najbliższej liczby całkowitej.

informatyka +

32


Slide 33

Kodowanie Huffmana


Dla każdego znaku utwórz drzewa złożone tylko z korzenia i ułóż w
malejącym porządku ich częstości występowania.



Dopóki istnieją przynajmniej dwa drzewa:

z drzew t1 i t2 o najmniejszych częstościach występowania p1 i p2
utwórz drzewo zawierające w korzeniu częstość p12 = p1+p2,

przypisz „0” każdej lewej, a „1” każdej prawej gałęzi drzewa.



Utwórz słowo kodu dla każdego znaku przechodząc od korzenia do liścia.

Przykład:

Z={A,B,C,D,E,F},
P={0.35, 0.17, 0.17,
0.16, 0.10, 0.05}

informatyka +

33


Slide 34

MPEG-1 obrazy typu I
Kodowane są podobnie jak obrazy nieruchome w standardzie JPEG.
1. I etap: obraz dzielony jest na rozłączne makrobloki (4 bloki próbek
sygnału luminancji i 2 chrominancji).
2. II etap: niezależne przekształcanie każdego bloku przy
wykorzystaniu DCT.

3. III etap: kwantowanie - podzielenie każdego współczynnika z
macierzy DCT przez odpowiedni współczynnik z tablicy kwantyzacji
i zaokrąglenie wyniku do liczby całkowitej (utrata części informacji).
4. IV etap: kodowanie kodem Huffmana skwantowanych
współczynników macierzy DCT. O stopniu kompresji tego etapu
decyduje liczba poziomów kwantyzacji współczynników macierzy
DCT- im mniejsza liczba poziomów, tym większa kompresja.

informatyka +

34


Slide 35

MPEG-1 Obrazy typu P
• Definiowanie elementów ruchomych: dla
każdego makrobloku obrazu bieżącego
wyszukuje się najbardziej podobny blok
16x16 pikseli w poprzednim obrazie typu
I lub P. Dopasowuje się je tylko do
składowej luminancji.
• Zakłada się jedynie liniowe przesunięcie
bloku pikseli, nie uwzględnia się obrotu
ani zmiany wymiaru bloku.
• Położenie znalezionego bloku określa się
za pomocą wektora przesunięcia tego
bloku w stosunku do makrobloku w
obrazie typu P- tzw. wektora ruchu.

informatyka +

35


Slide 36

MPEG-1 Obrazy typu B
Obrazy typu B kodowane są podobnie jak obrazy typu P
Kodowana jest różnica między bieżącym makroblokiem
a jego predykcją.

predykcja

poszukiwanie najbardziej podobnych
bloków w dwu obrazach odniesienia:
wcześniejszym i późniejszym

wyznaczenie dwóch wektorów ruchu
wyznaczenie bloku prognozowanego
poprzez interpolację ze znalezionych
bloków: wcześniejszego i późniejszego

informatyka +

36


Slide 37

MPEG–1 obrazy typu B

informatyka +

37


Slide 38

MPEG-1 GOP
Sekwencja obrazów video w standardzie MPEG dzielona jest na grupy
obrazów GOP (Group Of Pictures)

informatyka +

38


Slide 39

MPEG1 kolejność transmisji ramek

I

B B B P B B B P B B B I

informatyka +

39


Slide 40

MPEG-2
MPEG-2

Szybkość bitowa:
10Mb/s

Przeznaczony do rozpowszechniania
telewizji programowej

40Mb/s

• przetwarzanie obrazów z wybieraniem
międzyliniowym
• większa rozdzielczość próbkowania

SDTV

HDTV

telewizja
standardowej
rozdzielczości

telewizja
wysokiej
rozdzielczości

• zmieniona i rozszerzona struktura próbkowania
chrominancji
• skalowalność jakościowa
• przestrzenne kodowanie obrazu

informatyka +

40


Slide 41

MPEG-2 struktura próbkowania
Struktury próbkowania w standardzie MPEG-2

informatyka +

41


Slide 42

MPEG-2 struktura makrobloku
Struktury makrobloków dla różnych struktur próbkowania

4:4:4

4:2:2

informatyka +

4:2:0

42


Slide 43

MPEG-2 struktura makrobloku
Wybieranie międzyliniowe



ramka sygnału składa się z dwóch pól

Struktura
makrobloku
luminancji podczas
kodowania DCT
ramki

Struktura
makrobloku
luminancji podczas
kodowania DCT pola

informatyka +

43


Slide 44

MPEG-2 profile i poziomy

informatyka +

44


Slide 45


Slide 46

informatyka +

46