Transcript 13.3 영상신호의 디지털화

1
13장. 영상 신호처리
13.1 개요
13.2 디지털 영상
13.3 영상신호의 디지털화
13.4 영상처리 기술
13.5 영상신호의 부호화
13.6 압축 알고리즘
Circuits & Systems Lab.
2
13.1 개 요
 시스템의 구성
1. 조명 장치 : 조명
2. 영상 입력 장치 : 광원, 촬영기, 이미지 스캐너, 센서,
디지털 카메라, ITV카메라, 비디오카메라
3. 영상 처리 장치 : 컴퓨터, DSP 칩의 전용 하드웨어
4. 영상 출력 장치 : 하드카피방식의 프린터, 팩시밀리,
소프트 카피 방식의 컴퓨터 모니터
조명
영상입력장치
영상처리장치
영상출력장치
그림 13.1 영상신호처리 시스템 구성
Circuits & Systems Lab.
3
13.1 개 요
(1) 영상 신호처리의 목적
1. 영상의 개선: 중첩된 잡음의 평활화처리, 잡음제거,
콘트라스트 개선
2. 영상 분석 : 글자식별, 부품의 치수 측정, PCB기판의
정밀도 체크, 의료분야의 세포 분석
3. 영상 인식 : 물체의 종류와 개수 인식. 도형,문자 인식
(패턴인식)
4. 영상 변환 : 다른 형식의 영상 데이터로 변환
(부호화,복호화)
5. Animation 및 영상 합성 : 컴퓨터 이용하여 문자,
도안을 디자인, 애니메이션 인공적인 화면 합성
6. 영상 통신 : 영상 압축 알고리즘
Circuits & Systems Lab.
4
13.1 개 요
(2) 영상 신호처리의 응용 분야
1.
생물 분야 : 생물 샘플을 시각적으로 분석
2.
군사용 분야 : 위성 사진분석하여 목표물이나 적의
미사일 기지, 군사진지 탐지
의료진단 영상 시스템 분야 : 의료 방사선 촬영
Romote sensing 분야 : 인공위성
3.
기상정보 시스템 분야
Circuits & Systems Lab.
5
13.2 디지털 영상
 RGB색상 모델(Red, Green, Blue) : 빛의 삼원색
 YUV(비디오) 컬러 모델 : Y(luminance) 밝기정보
U,V 색차 정보
 YIQ(컬러TV방송)컬러 모델 : I,Q 색차 정보
 YCbCr (JPEG, MPEG) 컬러 모델 : Y 밝기 정보
Cb 푸른 정보
Cr 붉은 정보
 디지털 영상화 : 색상 모델 영상을 샘플링과 양자화 과정
Circuits & Systems Lab.
6
13.2 디지털 영상
 RGB와 다른 컬러모델의 변환식
 RGB에서 YUV로 변환

YIQ로 변환
 YCbCr로 변환
Circuits & Systems Lab.
7
13.3 영상신호의 디지털화
1. 영상의 표본화
2. 영상신호의 양자화
3. 동영상의 디지털화
4. 디지털 영상의 저장
Circuits & Systems Lab.
8
13.3 영상신호의 디지털화
1) 영상의 표본화
 디지털 영상신호 변환 : 입력된 아날로그 영상신호 X,Y
방향으로 공간 샘플링 후 A/D변환
 공간영역의 디지털화 : 수평방향의 디지털화
 명암의 디지털화
: 수직방향의 디지털화
 공간영역의 디지털화
-. 1차원 시계열 신호의 시간축 샘플링
-. 2차원상의 X,Y축의 양방향에 대해 바둑판 분할

픽셀 (pixel :picture element) 샘플링한 점
대상물의 영상은 x축 방향의 픽셀수 M과 Y축 방향의 픽셀수
N을 곱한 M*N점의 픽셀의 명도로 처리됨
-. 문자의 경우 (32*32)
-. 인물,풍경의 경우(256*256)
Circuits & Systems Lab.
9
13.3 영상신호의 디지털화
그림 13.2 영상신호의 표본화
Circuits & Systems Lab.
10
13.3 영상신호의 디지털화
그림 13.3 픽셀의 배열법
Circuits & Systems Lab.
11
13.3 영상신호의 디지털화
2) 영상신호의 양자화
 영상신호의 양자화 : 각 픽셀의 명암(밝기)값을 정해진
몇 단계로 제안하는 과정
 1과 0만을 이용한 2진수 표시로 부호화
 양자화 수 = 계조수 (2진 부호 즉, 비트(bit)로 표시)
 인간 눈의 명암특성은 이상적인 경우 500단계
(9bit의 양자화)
 현실적인 명암 특성
-. CRT 디스플레이 표현 명암의 단계 : 4-8비트
-. 실제 좋은 인쇄영상의 좋은 화질
: 3-4비트
-. 부자연스러운 음영이 발생하는 영상 : 1-3 비트
Circuits & Systems Lab.
12
13.3 영상신호의 디지털화
영상 계측 , 해석분야 : 명암의 정밀도는 계측 정밀도에
직접적인 관계. 따라서, 섬세한 양자화 필요
Circuits & Systems Lab.
13
13.3 영상신호의 디지털화
3) 동영상의 디지털화
 동영상 경우 : -. 시간적인 샘플링의 간격
-. 매초 몇 장의 프레임을 취급 고려
 사람의 인식
-.시간적인 특성 (잔상 특성) : TV 방송에서 약 30 [msec]
(매초 30장이상의 영상 전송)
 영상 계측
-. 현상의 상태 변화 속도에 의존
 움직임이 빠른 동영상 : 정보처리, 전송에 많은 정보량의 처
리 필요
-. 800*600 픽셀, 8bit 양자화 비트인 영상 1장의 정보량은 480(kbyte/frame)
이며 1초당 30장의 영상전달 하면 14.4(M/byte/sec) 1시간분의 영상 저
장시 51.84(Gbyte) 대용량 메모리 필요(영상 데이터 압축 필수)
Circuits & Systems Lab.
14
13.3 영상신호의 디지털화
4) 디지털 영상의 저장
 영상처리 프로그램 : 1차원, 2차원 형태의 배열
 디지털 영상을 컴퓨터에 저장시 표준 영상화일 형식
① GIF(Graphics Interchange Format)
-. 모뎀 이용 영상 전송
-. 8 비트 (256칼라) 영상만 지원
-. LZW(Lempel-Ziv Welch) 압축 알고리즘 사용
② BMP
-.Windows 운영체제 표준 그래픽 형식
-. Paintbrush 등의 프로그램에서 사용
-. 24비트 RGB 영상 저장
Circuits & Systems Lab.
15
13.3 영상신호의 디지털화
③ TIFF(Tagged Image File Format)
-. 8비트와 24비트 RGB 영상 저장
-. 미디어의 데이터 전송에 적합한 방식
-. JPEG 방식의 등장으로 인기 감소
④ JPEG
-. 정지 영상의 표준 방식
-. 인간의 시각특성 이용 압축율 높인 방식
-. 원영상에 손실을 줌
-. 인터넷 등에서 영상을 전송할 때 유용한 방식
⑤ PS(Post Script)
-. 페이지 기술 언어로 개발
-. 1비트 흑백, 8비트 흑백, 24비트 RGB 영상
-. 데스크탑(desktop) 출판의 표준
Circuits & Systems Lab.
16
13.4 영상처리 기술
1. 명도 변환
2. 공간 필터
3. 영상의 주파수 변환
4. 기하학적 변환
5. 영상의 변환 처리
Circuits & Systems Lab.
17
13.4 영상처리 기술
1. 명도 변환
1. 명도 변환 : 보기 좋은 화면 영상으로 하는 처리
2. 영상의 각 픽셀 값의 명암 분포 조사 : 영상처리의 전처리 과정
3. 히스토그램 : N x N 영상의 픽셀에 대한 명암분포 빈도를
그래프로 나타낸 것
그림 13.5 히스토그램
Circuits & Systems Lab.
18
13.4 영상처리 기술
그림 13.6 명도변환의 특성
그림 13.7 명도 선형변환의 예
선형 변환
-. 낮은 콘트라스트의 영상을 높은 콘트라스트로 명도 변환시키는 방법
-. 선형변환에 의해 히스토그램의 값을 전명도에 균일하게 분포되도록
변환할수 있다.
Circuits & Systems Lab.
19
13.4 영상처리 기술
2. 공간필터
 선형 필터 와 비선형 필터로 구분
 영상신호처리 중 가장 많이 적용 되는 기술
 2차원 공간 필터와 3차원으로 확장된 경우 시간필터
그림 13.8 공간필터와 시간필터의 개념
Circuits & Systems Lab.
20
13.4 영상처리 기술
 선형 공간 필터
출력
 단, k,l :-1,0,1
i : 주사선 번호
j : 주사선내의 픽셀위치
그림 13.9 x( i , j )의 공간필터 출력계산에
이용되는 3x3의 주변 픽셀 위치
선형 공간 필터의 용도
-. 잡음 제거
-. 역으로 흐릿한 영상을 선명하게 하기 위한 모서리 강조
Circuits & Systems Lab.
21
13.4 영상처리 기술
그림 13.10 공간저역필터의 탭 계수와 처리결과
그림 13.11 모서리 강조 라플라시안 필터의 계수 처리 결과
Circuits & Systems Lab.
22
13.4 영상처리 기술
 비선형 필터
-. 잡음제거와 동시에 원 영상 정보 보존
-. 대표적 필터 : 메디안 필터
 메디안 필터 : 작은 블록내의 픽셀을 명도가 작은 순
서로 나열한 후, 정확히 중앙값의 순서에 해당하는
명도 값을 출력하는 필터
(고립적인 잡음 제거에 사용)
Circuits & Systems Lab.
23
13.4 영상처리 기술
3. 영상의 주파수 변환
 공간 필터 단점 보완
 공간 영역에서 주파수 변환
 스펙트럼을 검토
주파수 역변환
스펙트럼 영역에서 필터 처리
원래 영상공간 복원
 다차원 푸리에변환 사용
-. 1차원 신호 FFT는 2차원, 3차원 등 다차원 확장 가능
 1차원 신호
-. 샘플링 시점 k 에서 어떠한 한 개의 파라미터로서 신호
값 g(k)가 주어짐
Circuits & Systems Lab.
24
13.4 영상처리 기술
 2차원 신호
수평축 X와 수직축 Y의 두개의 파라미터에 의해, 그 점값
g(x,y)가 정해짐.
Circuits & Systems Lab.
25
13.4 영상처리 기술
 이산 신호 g(n,m)의 이산푸리에변환 정의
(13.5)
 단, n=0,1,…,N-1, m=0,1,….,M-1
 회전인자를 이용하여 정리하면
(13.6)
 임의의 영상 데이터
2차푸리에변환
스펙트럼
정보를 추출
Circuits & Systems Lab.
26
13.4 영상처리 기술
 실제 영상처리 (2차원 푸리에변환)
-. 공간 주파수 단위 : [길이]-1
--< 스펙트럼 성분 >-세로줄 무늬의 영상 X방향 : a
가로줄 무늬의 영상 Y방향 : b
공간 주파수 성분 : c
Circuits & Systems Lab.
27
13.4 영상처리 기술
 2차원 영상 N x N 픽셀 구성 (256, 512)
-. 푸리에변환시 막대한 처리 시간 요구
-. n x n 블록으로 분할 처리시 시간 대폭 감축
 블록 분할법 ( 영상 전송등 사용)
그림 13.14 영상의 블록 분할
Circuits & Systems Lab.
28
13.4 영상처리 기술
 영상의 스펙트럼 해석
-. 직교 변환 알고리즘의 윌시(Walsh) 알고리즘
-. 계수의 값이 편재하도록 설정하는 KL 변환
-. 이산 코사인 변환 (DCT)
-. 웨이브렛 변환
Circuits & Systems Lab.
29
13.4 영상처리 기술
4. 기하학적 변환
 영상의 확대, 축소, 회전을 하는 처리
 대표적 기술 : 아핀 변환
 이 변환은 변화전의 좌표를 (x,y), 변환후의 좌표를(u,v)
라 하면, 좌표변환 식은 다음과 같다.
 a00 ,b00
는 X축과 Y 축으로 평행 이동하는 값, 다른 계수
들은 확대 회전을 표시 하는 값
Circuits & Systems Lab.
30
13.4 영상처리 기술
5. 영상의 변형처리
 런 랭스 부호화 방법 : 팩시밀리에 많이 사용
 백이나 흑의 픽셀이 연속되는 길이(같은 밝기의 픽셀수가 연속되
는 길이)
 0의개수 혹은 1의 개수를 부호화 하는것
 영상은 반드시 흑과 백이 교대로 반복 됨으로
 흑 픽셀과 백 픽셀 구분 방법 : 와일의 부호화, 2비트 구분 방식
 적은 부호로써 원영상을 재현할수 있는 경우을 압축이라 하고, 최
종적으로 필요한 비트수와 전 픽셀의 비를 압축비라 한다.
Circuits & Systems Lab.
31
13.5 영상신호의 부호화
 영상 신호 : 다차원적인 용장성(redundancy)
 정지영상 : 공간적으로 펼쳐진 인접 픽셀과 2차원적인
강한 상관
 동 영상 : 시간방향까지 포함된 3차원적인 상관
 컬러 영상 : 3원색의 상관
입
력
전처리
서브
샘플링
예측
처리
직교
변환
양자화
엔트로피
부호화
출력
그림 13.16 영상부호화의 주요 신호처리
Circuits & Systems Lab.
32
13.5 영상신호의 부호화
1) 전처리
 특징 : 좋은 화질 확보, 부호화 처리 효율 증대
 종류 :공간필터, 시간필터, 영상의 변형처리등이 이용
 시간필터 : -. 동영상 특유의 처리
-. 플리커 잡음의 제거, 급격한 신호변화억압의 목적
플리커 잡음 : 조명등의 변화에 의하여 픽셀값이 시간적으로
미소 변동, 화면의 깜박 거림 현상.
 공간필터 : 고주파 잡음 제거, 왜곡 방지, 서브밴드부호화
대역분할등의 목적
 영상의 변형처리 : 화질의 열화를 고려, 신호자체를 예측일
치 신호로 변환시키는 신호변형방식이나 선의 굵기를 없애
고 부호화처리하여 수신측에서 굵기를 부과하는 방식
Circuits & Systems Lab.
33
13.5 영상신호의 부호화
2) 서브샘플링
 신호를 솎아내어 샘플수를 줄이는 방식
 방법:
-. 화면내의 픽셀을 솎아내는 방법
-. 화면의 수를 솎아 내는 방법
 픽셀을 솎아내는 방법
-.가로방향 패턴, 세로방향 패턴, 대각선 방향 패턴등
균일하게 솎아내는 방식
 적응 서브 샘플링 방식
-.구조가 복잡(샘플링 많이), 구조 허술(샘플링 적게)하여
화질을 향상
 화면수를 솎아내는 방법
-. 고정적으로 행하는 방식
-. 적응적으로 행하는 방식
Circuits & Systems Lab.
34
13.5 영상신호의 부호화
3) 예측 처리
 과거 신호를 기초로 현재 부호화할 신호를 추정, 예측오차를
부호화하는 방식
 추정이 정확하면 예측오차 신호값의 분포는 오차 0 부근에 극단
적으로 집중한 형상으로 되기 때문에 정보원 엔트로피가 줄어듬.
 화면내의 근처 픽셀과의 상관을 이용하는 프레임내(2차원)예측.
전화면의 픽셀을 이용하는 프레임간 예측
그림 13.17 프레임 내 예측과 프레임간 예측
Circuits & Systems Lab.
35
13.5 영상신호의 부호화
 엔트로피 (entropy)
①
정보원이 갖는 평균 정보량을 말함
②
통신문에 의하여 이동하는 정보량은 어떤 통신의 내용이 불확실
성이 클수록 그 양이 많다.
③
즉, 엔트로피는 불확실성의 크기의 정도를 나타냄
Circuits & Systems Lab.
36
13.5 영상신호의 부호화
 예측기의 블록 구성
-. 2차원 예측이나 프레임간 예측을 실현하기 위해
예측 루프 내에 1라인 지연 혹은 1프레임 지연
입력
ㅡ
양자화
부호화 출력
예측 루프
예측기
라인 지연
프레임 지연
그림 13.18 영상의 예측부호기 구성 예
Circuits & Systems Lab.
37
13.5 영상신호의 부호화
4) 직교변환
 영상 신호를 직교변환을 이용하여 계수영역으로 전개처리
 계수 영역 전계 단점 : 에너지분포의 편중
 보완
-. 에너지 분포에 맞는 정보원부호화
 이용 방법
-. 고유값 벡터를 이용하는 방법
-. DCT
-. 아다마르변환
 하드웨어 문제 및 효율의 우수성이 있는 방식 : DCT
Y=ATXA
-. AT : A 의 전치 행렬
-. x : (n픽셀)*(n라인)의 2차원소블록 분할 행렬
-. A : DCT 계수 행렬
-. Y : n*n 의 2차원 계수 행렬
Circuits & Systems Lab.
38
13.5 영상신호의 부호화
5) 양자화
 벡터 양자화
-. 통상 양자화가 1개의 샘플값 대상으로 하는 것에 반해
복수의 샘플을 하나의 블록으로 일괄 부호화하는 방식
-.블록을 다차원 벡터 공간의 한점으로 간주 :(블록양자화)
 장점 : 샘플당 비트수가 일정하게 했을 경우 가장 왜곡이
적은 부호화가 가능
그림 13.19 벡터 양자화 원리
Circuits & Systems Lab.
39
13.5 영상신호의 부호화
6) 엔트로피 부호화
 정보원신호를 가능한 적은 비트수로 부호화하는 기술
 허프만 부호
 팩시밀리 같이 흑백 2치의 경우 혹은 다치 신호의 경우
동일한 신호가 계속되는 경우, 동일 신호가 연속되는
길이를 정보로 부호화하는 런 랭스 방식 제안
 정지 영상에서 부호화되어 얻어진 1과 0의 패턴열에 대하
여 출현 확률의 동적인 변화에 따라 부호어를 만드는 산술
부호 사용
Circuits & Systems Lab.
40
13.6 압축 알고리즘
 많은 데이터 양을 필요로 하는 디지털 영상과 동영상의
대표 압축 알고리즘
 JPEG ( Joint Photographic Expert Group)
 MPEG ( Moving Picture Expert Group)
Circuits & Systems Lab.
41
1. JPEG
R,G,B
Cr
R,G,B to YCbCr
Y
Cb
DCT 과정 : 공간영역에서 주파수영역으로 변환
DPCM(직류성분)
Huffman
각8x8블록
Zig-zag
양자화
01101…
Arithmetic
RLE (교류성분)
지그재그 스캔 : 2차원데이터를
1차원 데이터로 변환
그림 13.20 JPEG의 기본 구성도( I 프레임)
Circuits & Systems Lab.
42
2. MPEG
 MPEG 1 : VHS 영상품질을 제공, 1배속 CD-ROM 데이터
전송 속도( 1.5 Mbps)
 MPEG 2 : 디지털 TV용, HDTV, DVD에 만족 (4Mbps)
 MPEG 3 : HDTV용으로 개발
MPEG 2에 통합
 MPEG 4 : 저 전송 속도용 (4.8 – 64kbps)
 MPEG 7 : multimedia content description interface 용
Circuits & Systems Lab.
43
MPEG – 2
 프레임 내 부호화, 프레임 간의 부호화 사용
 프레임 내 부호화 : 한 개의 프레임
( 정지영상의 압축 : I 프레임)
 MPEG-2는 JPEG보다 훨씬 높은 압축률 갖음
Circuits & Systems Lab.
44
P프레임과 B프레임
그림 13.21 프레임 간 부호화 : P프레임
 프레임 간의 부호화 : 영상을 작은 블록으로 나눈후
기준이 되는 과거 프레임으로 부터 목표값 예측하는
압축 방식 ( P 프레임)
Circuits & Systems Lab.
45
P프레임과 B프레임
그림 13.22 프레임 간 부호화 : B프레임
 기준프레임을 과거프레임과 미래 프레임으로 하여
목표 프레임의 움직임을 예측하는 방식 (B프레임)
Circuits & Systems Lab.
46
MPEG-2의 부호화 프레임 패턴
 I 프레임 : 프레임 내 부호화
P와B프레임 : 프레임 간 부호화
Circuits & Systems Lab.