Transcript 11.4 적응 알고리즘

1
11장. 적응 신호처리
11.1 랜덤신호처리
11.2 적응 시스템
11.3 적응 신호처리의 예
11.4 적응 알고리즘
Circuits & Systems Lab.
2
11.1 랜덤신호처리
 확정 신호
 변화의 형태를 시간의 함수로 명확하게 표현 할 수 있어
시간 t가 주어지면 그 값은 완전히 결정된다.
 확정적이란 : 신호 혹은 수열이 어떠한 확실한 수학공식으로
표현할 수 있다는 의미
 신호처리의 목표
- 음성, 음악, 잡음 또한 목표물 움직임(target motion) 등과 같은
진동현상은 확정적인 신호로는 명확하게 표현할 수가 없어
랜덤과정에 의하여 모델링을 함.
Circuits & Systems Lab.
3
11.1 랜덤신호처리
 신호처리의 해석 도구
- 시간 수열의 1차 확률특성과 상관함수
- 스펙트럼밀도함수
- 평균자승값
 랜덤 신호처리를 할때 적응 필터를 사용.
 적응필터는 신호처리가 요구되는 많은 분야,
즉 통신, 제어, 레이더, 소나 그리고 지진학 등에 응용 됨.
Circuits & Systems Lab.
4
11.2 적응 시스템
 입력신호의 사전정보를 완전히 모르는 경우 신호처리 시스템을
어떠한 기준 아래에서 최적이 되도록 축차 수정해주는 기능을 갖춘
시스템이 필요.
 적응 신호처리(adaptive signal processing)
 신호처리 과정에서 필요에 따라 시스템의 특성을
변화시키는 기능을 갖춘 신호처리
 적응 필터(adaptive filter)
 시스템
 적응 알고리듬(adaptive algorithm)
 시스템 특성을 변화시키는 방법
Circuits & Systems Lab.
5
11.2 적응 시스템
그림 11.1 적응신호처리 시스템
 입력신호 x(n)에 대한 응답을 y(n)이라 하면,
희망하는 응답 d(n)과의 차(差) e(n)을 이용하여 처리 시스템
파라메타 C를 자동적으로 갱신하여 최적인 시스템을 구성함.
Circuits & Systems Lab.
6
11.3 적응 신호처리의 예
1. 자동파형 동화기
그림 11.2 기저대역 데이터 전송계의 자동등화기
 입력데이터열 {a(n)}을 T초 간격으로 송신필터를 통하여
전송로에 보내 수신단에서 수신필터로 수신신호를 처리하고
표본화를 한 후 송신기호 판정.
Circuits & Systems Lab.
7
11.3 적응 신호처리의 예
 표본화 되어 나온 출력 x(n)은 송수신 필터를 포함한 전송계의
임펄스응답을 h(n)이라 하면
 제1항이 희망하는 값.
 표본시점 t = nT에서 데이터 계열의 방해 없이 송신데이터
a(n)을 정확히 검출하기 위해서 제2항의 방해성분(부호간 간섭)
을
0으로
부호간함.
간섭을 0으로 만들어 주기 위해
→ 주파수영역에서 전송계의 주파수특성 H()(=GT() T() GR ())가
나이키스트 기준을 만족해야 함.
Circuits & Systems Lab.
8
11.3 적응 신호처리의 예
 실제는 부호간 간섭이 생기지 않도록 설계하더라도 전송로 특성은
경년변화, 온도특성 등의 요인으로 변동함.
 부호간 간섭을 억제하기 위하여 에 표시한 것처럼 등화기를
이용하여 전송계의 변동에 따라서 등화기 특성을 조정하여 방해를
억압해야 함. ⇒그림 11.2(b)
그림 11.2 기저대역 데이터 전송계의 자동등화기
Circuits & Systems Lab.
9
11.3 적응 신호처리의 예
2. Echo canceller
 하이브리드(hybrid)를 이용하여 4선식과 2선식 회선을 결합하는
전송계에서는 하이브리드 부분에서 에코(echo)가 발생함.
그림 11.3 위성통신계의 echo canceller
 echo는 일반잡음 이상으로 회선품질을 떨어뜨림.
 echo를 제거하기 위해서는 신호 S1 + E로부터 E를 제거하면 됨.
 하이브리드 부분에서 발생하는 echo를 추정하는 장치를
echo canceller라 함.
Circuits & Systems Lab.
10
11.3 적응 신호처리의 예
 echo 경로의 임펄스응답을 ,
로부터의 수신신호를 ,
송신신호를
이라 하면 echo를 포함한 귀환신호
의 표현 (식 11.2)
로부터의
 echo canceller는 echo 경로의 임펄스 응답을 으로추정하여
echo 신호를 식(11.3)로 추정하고 귀환 신호로부터 빼준다.
 echo 신호의 추정은 오차신호
 echo canceller 계수
를 상황에 맞게 제어함.
Circuits & Systems Lab.
11
11.3 적응 신호처리의 예
3. 시스템 동정
 시스템 추정(system identification)
 미지(未知)의 시스템이 주어질 때, 시스템의 특성을 입출력
특성으로부터 추정하는 것을 말함.
그림 11.4 미지 시스템 동정
 트랜스버셜 필터를 이용한 시스템 동정의 블록선도
Circuits & Systems Lab.
12
11.3 적응 신호처리의 예
 트랜스버셜 필터에입력을 인가하여 그 응답 y(n)이 d(n)과
일치하도록 tap 계수 { h(k) }를 조정.
 필터 응답 y(n)과 미지 시스템응답 d(n)의 오차신호 e(n)을
관측하여 오차신호가 자승평균오차의 의미에서 최소가
되도록 적응 알고리듬은 계수를 축차 조정함.
 미지 시스템의 특성이 시불변일 때는 시간적으로 불변인 어떠한
최적치에 점근적으로 수렴하겠지만, 시스템의 특성에 변동이
있으면 적응 알고리듬은 이것을 추적할 수 있어야 함.
Circuits & Systems Lab.
13
11.4 적응 알고리즘
1. 트랜스버셜형 FIR 필터
그림 11.5 FIR 필터를 이용한
적응필터
 필터 응답 y(n)은 입력신호를 x(n), 필터의 계수를
h(k)(k=0, 1,…, M-1)로 하면
→ 필터계수 h(k) : 시스템 특성을 규정하는 파라메타
→ 출력 y(n) : 이상 응답(목표 신호) d(n)에 접근하도록
파라메타의 값을 조정한다.
Circuits & Systems Lab.
14
11.4 적응 알고리즘
 파라메타 조정 : 이산 응답 d(n)과 실제 응답 y(n)이 얼마나
근사한가를 평가할 척도가 필요함.
 이상 응답과의 오차신호 e(n)
 오차 신호의 자승평균값(mean square error)
Where, E(x) : x의 기대값
 식 (11.7)에 식 (11.6)을 대입 정리
Circuits & Systems Lab.
15
11.4 적응 알고리즘
 식 (11.8)의 제1항은 이산응답의 자승평균값(전력)
 제2항의 기대값은 이상응답과 필터 입력신호의 상호 상관함수
 제3항의 기대값은 입력신호 x(n)의 자기 상관함
수
 식 (11.8)을 정리하면
→ 오차(MSE) : 필터계수 h(n)의 2차 함수로 표현되어
2차 곡면으로 됨,
 이 곡면을 오차 특성곡면(error performance surface)이라 함.
Circuits & Systems Lab.
16
11.4 적응 알고리즘
2. 최적필터계수
 오차 MSE를 최소로 하는 필터계수
가 만족해야 할 조건
⇒ 오차 특성곡면은 2차 곡면이므로 오차의 필터계수
에
대한 도함수 0으로 두면 MSE의 최소값을 부여하는
최적 필터계수를 구할 수 있음.
 식 (11.12)를
로 미분하면
∴ 최적의 필터계수는 M원 연립방정식
 Wiener-Hoph 방정식의 이산시간영역 표현에 대응하여
정규방정식(normal equation)이라 함.
Circuits & Systems Lab.
17
11.4 적응 알고리즘
 필터계수 벡터를 H=(h(0),h(1),…,h(M-1))T로 두고
상관벡터를 P = (RdX (0), RdX (1), … , RdX (M-1))T,
상관행렬 R은 식 (11.15)와 같다.
→ 식 (11.13)에서 기울기는 행렬로 표현. 식 (11.16)
 정규방정식 →
 최적의 필터계수 필터 H* →
Circuits & Systems Lab.
18
11.4 적응 알고리즘
 최적계수 H* = (h* (0), h* (1),…, h* (M-1))T로 조절했을 때
최소오차(최소평균 자승오차)
3. 적응 알고리듬
 오차 특성곡면
 2차 곡면이므로 계수 벡터를 반복적으로 조절하면서 최적의
계수 벡터에 이르도록 하는 방법을 이용함.
 최급 강하법(最急降下法:steepest descent method)
 기본적인 수법의 하나로 현재의 상태에서 곡면의 기울기 ▽를
이용하여 계수를 결정.
 실제 적응 시스템에서는 기울기, 상관행렬 등을 정확히 알 수 없기
때문에 적응 동작 중에 필요한 정보를 추정하는 경우가 많다.
Circuits & Systems Lab.
19
11.4 적응 알고리즘
1) 최급 강하 알고리듬
 최적 벡터 H*와 계수 벡터 H의 관계
→ 식 (11.16)의 양변에 R-1을 곱하고 최적의 계수 벡터 H*에 대
입
→ 위 식을 이용해 한번의 반복으로 최적의 계수 조정이 가능.
→ 실제 시스템에서는 상관행렬 R, 기울기 ▽의 값을 정확하게 알 수
없기 때문에 이러한 값들의 추정을 해나가면서 반복계산을
할 필요가 있다.
Circuits & Systems Lab.
20
11.4 적응 알고리즘
 식 (11.21)를 참고로 하여 시점 k에서 기울기를 ▽k로 두고 반복계산
where, u는 조정 파라메타
 반복계산에 필요한 상관행렬과 시점 k에서의 기울기를 정확히
알 수 있다면 계수 벡터에 관한 점화식 식(11.24)
 시점 k에서 계수 벡터
→ 상관행렬 R및 기울기 ▽k 를 정확히 알 수 있는 경우
해
조정파라메타 u를 0<u<1의 범위로 설정하면, 반복계산에 의
최종적으로 최적계수의 결정이 보증됨.
Circuits & Systems Lab.
21
11.4 적응 알고리즘
 식 (11.22)에 따라 계수를 조정해 나갈 때 오차특성
 계수 오차벡터 V, 식 (11.25)에 대응하는 관계식 → 식 (11.27)
Where, V0= H0 - H*는 초기 상태의 오차벡터
 오차벡터 V 를 이용한 오차 MSE는
 상관행렬 R과 시점 k에서의 기울기를 정확히 알 수 있을 때
⇒ 특성에 따라 오차가 최소가 되는 최적값으로 수렴
 상관행렬과 기울기를 정확히 알 수 없을 때
⇒ 근사적인 값을 이용하여 반복계산을 계속해야 함.
Circuits & Systems Lab.
22
11.4 적응 알고리즘
2) 최소자승평균(LMS) 알고리듬
 최소자승(Least Mean Square:LMS) 알고리듬
→ 상관행렬 R을 모르는 경우에 기울기만을 이용하여
반복계산
→ 시점 k 에서 추정기울기  k의 역방향으로 계수 Hk를
^
^
어떠한 양  만큼
조정하는 최급 강하법.
k
→ 계수조정 파라메타(step size) 의 값에 의해 반복계산의
양상이 바뀜.
 파라메타  의 값을 신호전력 의 값에 의존한 값으로 설정
Where, L은 적응필터의 차수
Circuits & Systems Lab.
23
11.4 적응 알고리즘
 기울기 추정은 시점 k에서 입력신호의 상태를 표현하는 벡터 Xk
→ 시점 k에서의 오차 k
→ ▽k : 기울기
 오차 MSE의 추정치로 k 를 이용해 기울기의 추정치를 구하면
Circuits & Systems Lab.
24
11.4 적응 알고리즘
 LMS 알고리듬은 간단하여 적응 알고리듬으로 널리 이용.
 기울기에 대해서는 시점마다 조정할 수 있지만 조정 파라메타의
값을 결정할 경우,
→ 가정한 전력이 시간과 함께 변화할 때는 전력을 2으로 고정하지 말고
시점 k에서의 전력  k 을 이용.
2
 그 외에 계수조정 파라메타  를 적당히 조정함으로써 계산량은
LMS법보다 많아지지만 수렴속도가 빠른 학습 동정법도 많이 이용.
Circuits & Systems Lab.
25
11.4 적응 알고리즘
3) 점화적 최소자승(RLS)
 알고리듬 반복계산시 상관행렬과 기울기의 추정치를 이용하면
반복계산의 정확성이 향상되고 수렴속도의 개선도 가능.
 평활필터를 이용하여 상관행렬의 추정을 하면
 점화적 최소자승(Recursive Least Square:RLS) 알고리듬
→ 처음부터 역행렬의 추정이 가능한 알고리듬
Circuits & Systems Lab.
26
11.4 적응 알고리즘
^
 식 (11.38)에 행렬 R k
1
^ 1
을 왼쪽에서R
k 1
을 오른쪽에서
곱하여 정리하면
 오른쪽으로부터 벡터 Xk 를 곱하면
^
 S k 로 치환,
 전치행렬
Circuits & Systems Lab.
27
11.4 적응 알고리즘
^ T
→ 우변의 괄호 안은 스칼라양이므로 Sk 를 오른쪽으로부터
곱하여 정리하면
 이 관계식을 (11.39)의 우변 제2항에 대입하여 역행렬의
반복추정식을 얻음.
 기울기의 추정치인 식 (11.34)를 대입한 반복계산식
^
Where, R k  1 의 계산은 식 (11.45)에서 구한다.
Circuits & Systems Lab.
28
11.4 적응 알고리즘
 Kalman 필터의 이론에 입각하여서도 유도할 수 있기에
Kalman 알고리듬 이라고도 함.
 적응 알고리듬
→ 반복할 때마다 필요한 계산량이 줄어들고,
→ 가능한 최적 파라메타 값에 수렴해야 하며
→ 수렴속도가 빨라야 함.
 LMS법과 RLS법의 비교
 LMS법
→ E[(n)2 ]을 (n)2으로 근사시키는 극히 조악한 알고리듬.
 RLS법
→ n이 충분히 클 경우에는 이상적인 평균자승오차를 취급.
 RLS법은 LMS법보다 수렴속도가 빠르지만 계산량(승산 회수)은
1샘플 시간당 약 N2/2회가 요구되어 상당히 많아짐.
 RLS법을 하드웨어로 실현하는 경우 많은 비트수를 필요로 함.
Circuits & Systems Lab.