Transcript w k+1 - Free

Chapitre 1 - Introduction.
filtrage adaptatif
A. Thieltgen 2004/2005
1
1.1 Filtres adaptatifs.
1. Structures de filtrage adaptatif.
la plus commune : structure transversale
x(n)
z-1
w0(n)
z-1
z-1
d(n)
wN-1(n)
w1(n)
+
y(n)
-
algorithme
d'adaptation
e(n)
filtrage adaptatif
A. Thieltgen 2004/2005
2
sommateur linéaire (combiner)
x0(n)
w0(n)
d(n)
x1(n)
+
y(n)
w1(n)
xN-1(n)
wN-1(n)
e(n)
algorithme
d'adaptation
filtrage adaptatif
A. Thieltgen 2004/2005
3
filtres RII : application limitée (instabilité)
eqm d'un RII: coefficients du filtre  plusieurs minimum
locaux  étude RIF
RIF (et combiner): eqm  minimum unique
treillis meilleurs que transversaux dans certaines applications
MCM pour treillis  algorithme efficace
filtrage adaptatif
A. Thieltgen 2004/2005
4
2. Approche stochastique (théorie de Wiener).
adaptativité  algorithmes de type LMS
Wiener : optimalité des coefficients par minimisation de l'eqm
(formulation statistique)
LMS (least mean square)  gradient stochastique
convergence dépendant fortement de DPS de xk
entrée: signal blanc  convergence rapide
fréquences pas assez excitées  modes convergents très
lentement
possible: N>plusieurs 100 ou même 1000 retards 
filtres coûteux  algorithme de TFR (convolutions temporelles
 domaine fréquentiel)
filtrage adaptatif
A. Thieltgen 2004/2005
5
3. Approche déterministe (méthode des MCM).
MCM déterministes : algorithmes à convergence plus rapide
que LMS, moins sensibles à DPS de xk
plus complexes et mauvaise stabilité numérique
formulation : estimation par bloc des MCM (codage
prédictif linéaire des signaux de la parole)
préférence adaptatif  actualisation itérative des coefficients
filtrage adaptatif
A. Thieltgen 2004/2005
6
* algorithme RLS standard
lemme d'inversion matricielle
implémentation : manipulations de matrices ( N²)
* algorithme RLS –QRD (décomposition QR)
manipulation de matrices mais structures régulières (réseaux
systoliques)
plus robuste aux erreurs numériques
* algorithmes RLS rapides
résolvent le problème des MCM avec des calculs  N
algorithmes RLS:
- treillis (actualisations d’ordres et temporelles)
transversaux rapides : moins de calculs par itération mais
instabilité numérique
filtrage adaptatif
A. Thieltgen 2004/2005
7
4. Formes réelles et complexes.
xk et dk complexes (transmission de données)
bande de base : 2 composantes séparées  parties réelle et
imaginaire d'un signal à valeurs complexes
implémentation fréquentielle : signaux complexes,
même avec signaux réels  formulation en termes de
variables complexes
filtrage adaptatif
A. Thieltgen 2004/2005
8
5. Applications.
automatique, communications, traitement de signaux radar
ou sonar, annulation d'interférences et d’échos, régulation
active de bruit, ingénierie médicale, etc..
actualisation de coefficients à partir de mesures:
minimisation de l’écart entre sortie courante et réponse
désirée
filtrage adaptatif
A. Thieltgen 2004/2005
9
classes d'applications adaptatives :
- modélisation (identification)
- modélisation inverse (déconvolution)
- prédiction linéaire
- annulation d'interférences
filtrage adaptatif : nécessaire si incertitudes ou variations
des caractéristiques du signal
filtrage adaptatif
A. Thieltgen 2004/2005
10
1.2 Retour sur les méthodes de MCM.
1. Formulation de base.
RIF ordre N, poids w(k) (réel), entrée xk (durée infinie), sortie
actuelle yk , sortie désirée dk
yk=wtxk=w xkt, xk et dk stochastiques  ek=dk-yk stochastique
critère (IP) : eqm (MSE) x=E{ek2} 0  w
but : "meilleur" wopt minimisant eqm
meilleur estimé : wtxk=yk=dk  k
filtrage adaptatif
A. Thieltgen 2004/2005
11
2. Equations normales.
x=E{ek2}  x=E{dk2}-2wtRe(E{dk*xk})+wtE{xkxkh}w*
D=E{dk2} :puissance moyenne de dk,
P=E{dk*xk} : vecteur d'inter corrélation entre dk et xk,
R=E{xkxkh} : matrice d'auto corrélation des entrées
D, P et R invariants: dk et xk stationnaires  statistiques
d’ordres 1 et 2 invariantes
filtrage adaptatif
A. Thieltgen 2004/2005
12
processus à valeurs réelles x=D-2wtP+wtR w
optimum wopt minimisant eqm si et seulement :
wxw=wopt=0=x/wj w=wopt
Hw définie positive
* point critique pour chaque composante de w
* point critique: courbures dans la direction >0  wopt
minimum local pour x
filtrage adaptatif
A. Thieltgen 2004/2005
13
test de la dérivée seconde  ZtHZ ZZ>0
w x=wD-2w(wtP)+w(wtR w*)
wD=0
 wt P

 w npn   p j   w ( w t P )  P

w j
w j
même approche  w(wtR w)=2R w
 wx=-2P+2R w
1ère condition d'optimalité  R wopt=P (équations normales
ou de Wiener-Hopf ou de Yule-Walker)
filtrage adaptatif
A. Thieltgen 2004/2005
14
2nde condition : Hw défini positif
hij=x=D-2(wtP)+(wtR w*)
d j
p j
 0 et
0
w j
w j
2
3 ème terme 
  w k rkmw m   2rij
w i w j k m
hij=2rij  i, j  Hw=2R  courbure de l'eqm en wopt
w optimum :
R wopt=P
R définie positive
R inversible : équations normales  wopt=R-1P
R définie positive: R-1 existe et wopt unique
filtrage adaptatif
A. Thieltgen 2004/2005
15
3. Significations de R et de P.
i0 et j(N-1) :
(a) R matrice de Toeplitz (rij=rpqsi i-j=p-q),
(b) xk réel  rj-i=ri-j : R symétrique
xk complexe  R hermitienne
(c) puissance moyenne : apparaît N fois sur diagonale
principale
(d) dans r(D): plus grand décalage D utilisé pour construire R
 ± (N-1)  fenêtre de (2N-1) points de fonction d'auto
corrélation totale
stationnarité de d et de x  pi=E{dkxk-i}=E{dk+ixk}=ci
ci = intercorrélation moyennée entre dk et xk 
P : fenêtre de N points de ci
filtrage adaptatif
A. Thieltgen 2004/2005
16
1.2 Propriétés de la solution.
1. Evaluation de l'eqm.
x=D-2wtP+wtR w  solution R wopt=P
xmin=D-2 wopttP+wopttR wopt=D-wopttP
V=w-wopt : écart entre situations actuelle et optimale
x=D-2(wopt+V)tP+(wopt+V)tR(wopt+V)= xmin+VtR V
filtrage adaptatif
A. Thieltgen 2004/2005
17
eqm additionnel : Dx=x-xmin=VtR V  forme quadratique
de V=w – wopt
R définie semi positive  VtR V0  V0
Dx ne dépend que de xk
pénalisation quadratique  solution itérative pour aller de x
à xmin et wopt
filtrage adaptatif
A. Thieltgen 2004/2005
18
2. Positivité de R.
V0 sans pénalisation?
R définie positive  :
(a)  V0 : Dx>0
(b) R de rang plein,
(c) R inversible,
(d) équations normales : solution unique wopt=R-1P
filtrage adaptatif
A. Thieltgen 2004/2005
19
R définie positive ?
R=E{xkxkt}  VtR V=Vt[E{xkxkt}]V=E{VtxkxktV} Vtxk=sk :
sortie RIF d'ordre N de RI V et entrée xk  sk : sortie d'un
filtre "différence" si V=0  x(k)
Vtxk=sk=xktV  VtR V=E{sk²}
sk² 0  VtR V 0
forme quadratique nulle ?
sk² =0  k  VtR V =0: V avec Vtxk=sk=0  xk
si  xk,  Vo tel que sk=0  R définie non positive sinon R
définie strictement positive
filtrage adaptatif
A. Thieltgen 2004/2005
20
3. Système propre de R.
décomposition de R  matrice modale
système propre de coordonnées  RI et propriétés
caractéristiques des algorithmes simples
propriétés spécifiques de R :
(a) entrées réelles : R symétrique (hermitienne si
complexes)  rij=rji* pour i, j [1, N]
(b) R semi définie positive  VhR V0 si VhV0
filtrage adaptatif
A. Thieltgen 2004/2005
21
 valeurs propres et vecteurs propres de R :
(a) N vecteurs propres linéairement indépendants
arbitraires  UihUi=Ui=1
(b) UihUj=0 pour ij
(c) Ui : base du N-espace de produit scalaire
UihUj=dij
(d) xk réel  N vecteurs propres réels construits
filtrage adaptatif
A. Thieltgen 2004/2005
22
clé : matrice modale Q=[U1 .. UN]
vecteurs orthonormaux  QhQ=IN et Q-1=Qh
QhR Q=L et QhL Q=R (L : matrice diagonale des li)
avec Q : équations normales  "modes" scalaires découplés
w=Q w' ou Qhw=w' : transformation des coordonnées du
vecteur w (w' : poids découplé)
Q: changement de direction mais pas longueur de w
filtrage adaptatif
A. Thieltgen 2004/2005
23
R  QhL Q  si P'=QhP : R wo=P  L w’opt=P'
N équations : lij w’opt,i=p'i (w’opt,i et p'i : éléments scalaires
d'ordre i de w’opt et de P’)
w’opt,i : fonction de li et de p'i
li0 : w’opt,i=p’i/li
li=0 : w‘opt,i indéterminé  pas d'unicité dans w’opt
filtrage adaptatif
A. Thieltgen 2004/2005
24
autre forme découplée : xmin=D-p’i²/li
V=w-wopt=Q V’  Dx=x-xmin=VhR V=  li v’i² :
pénalisation quadratique par rapport à chaque terme de
différence découplé v'i,
li  degré de pénalisation
li=0: aucune modification de Dx
filtrage adaptatif
A. Thieltgen 2004/2005
25
Chapitre 2 - Algorithme LMS et algorithmes associés.
filtrage adaptatif
A. Thieltgen 2004/2005
26
2.1 Introduction.
but de l'algorithme  LMS ("Least Mean Square") "gradient
stochastique"  nature intrinsèque
si xk et dk accessibles à chaque pas: meilleur choix
solution wopt de R wopt=P  R et P puis wopt=R-1P
wopt calculé autrement car :
(a) R pas toujours inversible pendant l’adaptation
(b) R-1 calculable mais précision numérique requise
dépassant les possibilités du calculateur
(c) autres méthodes plus efficaces
filtrage adaptatif
A. Thieltgen 2004/2005
27
2.2 Approche de recherche par gradient.
R de rang plein :
(a) wopt : choix unique
(b) écart entre w et wopt  D x= x-xmin=VtR V
(c) Dx>0 pour V0
estimation itérative de wopt : choix initial w(0)= w0
sauf si w0=wopt : x en w0 supérieure à xmin
w1 tel que Dx (et donc x) diminue
Dx0 : x amélioré mais w1wopt  itérations w2, w3, etc.,
réduction de Dx à chaque pas  Dx  0 et wn  wopt
déplacement de wk à wk+1?
gradient  bonne méthode
filtrage adaptatif
A. Thieltgen 2004/2005
28
eqm x
dx
xmin
dw w ( k )
Dx
dx
w(k+1)=w(k)-c
dw w ( k )
w(k)
wo
w(k+1)
filtrage adaptatif
A. Thieltgen 2004/2005
poids w
29
wk : Dx>0  wkwopt
idée d’amélioration de w(k): aller vers wopt
direction de wopt donnée par dérivée de x en wk
dx/dw>0 : x diminue si pas dans direction négative  wk+1=wkc dx/dw w(k) (c : petite constante positive)
application répétée  wk  wopt et x  xmin
cas général: gradient de x par rapport wj
 wk+1=wk-cwxw=w(k) (k0 et c>0 petit)
filtrage adaptatif
A. Thieltgen 2004/2005
30
2.3 Approximation du gradient.
wx estimé à partir de {x, d}
G(k)=w[ek²]=2ekw{wtxk}=-2ekxk
G(k) ne dépend que de e et de xk
Gk moyenné  gradient de x
gradient wxw=w(k) remplacé par celui de l'eqm Gk
 algorithme LMS (Widrow) :
wk+1=wk-cGk=wk+mekxk (m>0 petit)
filtrage adaptatif
A. Thieltgen 2004/2005
31
wk actualisés pour chaque xk  LMS complet :
yk=wtxk
(sortie du filtre)
ek=dk-yk
(signal d'erreur)
wk+1=wk+mekxk
(actualisation du poids)
algorithme LMS :
(a) critère analytique basé sur un eqm
(b) gradient  poids minimisant l'eqm
(c) gradient approché à partir de données
filtrage adaptatif
A. Thieltgen 2004/2005
32
2.4 Convergence du LMS.
m petit  approximation acceptable
wxw=w(k)=-2P+2R wk + LMS  wk+1=(I-mR)wk+mP
wk=Q w'k, R=Q L Qh, L=QhR Q et P'=QhP
 wk+1=(I-m L)w'k+mP'
 N équations découplées : w'i,k+1=(1-mli) w'i,k+ mp'i
filtrage adaptatif
A. Thieltgen 2004/2005
33
1. Points de convergence.
 w'i,k= {m 0k-1(1-mli)np’i}+(1-mli)kw'i,0
m petit avec 1-mli<1  w'i,k p’i/ li =w’i,0
2. Limites de la constante d'adaptation m..
solution compacte de w'i,k : 1-mli<1 0<m<lmax
en pratique : mp m /10-2 à 10-3
filtrage adaptatif
A. Thieltgen 2004/2005
34
3. Constantes de temps adaptatives.
durée pour w'i,k=w'i,0/e si w'i,k={m}+(1-mli)kw'i,0 et p'i=0 :
tiLn(1-mli)=-1
mli<<1 avec 0<mli<<1  -1# ti(-mli) : ti#1/mli
filtrage adaptatif
A. Thieltgen 2004/2005
35
4. Temps de convergence.
convergence: vitesse du mode le plus lent
constante de temps de wk : t=Max{1/mli}= 1/mlmin
facteur de convergence normalisé  m=2a/lmax
0<m< 2/lmax  0<a<1  t=lmax/(2 almin)
filtrage adaptatif
A. Thieltgen 2004/2005
36
2.5 Effets d'une matrice R singulière.
R non singulière   wopt unique
R singulière?  au moins une li=0  p'i=0 
w'i,k+1=(1-mli)w'i,k+ mp'i=w'i,k
 coefficient découplé associé non commandé et non amorti
filtrage adaptatif
A. Thieltgen 2004/2005
37
li=0  t infini  wk non convergent
li=0 dans R associée à U (espace nul de R)
 R{gU}=gR U=0
R wopt=P ? wopt  wopt+ gU : équations normales encore
vérifiées  wopt non unique
 recherche des modes de l'espace nul inapplicable pour une
(et non la) solution des équations normales
t
l max
2al*min
avec l*min  min l i  0
filtrage adaptatif
A. Thieltgen 2004/2005
38
2.6 Algorithmes de recherche par gradient approché.
1. Algorithme LMS complexe.
xk, yk, dk wk complexes  LMS complexe
 gradient de ek2 par rapport à wk complexe
 LMS complexe :
yk=xktwk
ek=dk-yk
wk+1=wk+mekxk*
filtrage adaptatif
A. Thieltgen 2004/2005
39
2. LMS normalisé.
0<m<2/lmax : intérêt limité  autre approche : limites pour
lmax?
<xktxk>=N lmax et R étant définie positive (li0) 
<xktxk> lmax  m  m(k)=a/xktxk (0< a <2)
LMS normalisé :
yk=xktwk
ek=dk-yk
wk+1=wk+aekxk/(g+ xktxk)
filtrage adaptatif
A. Thieltgen 2004/2005
40
3. LMS normalisé avec estimation de puissance
récursive.
stabilité accrue: normalisation d'actualisation du poids par
estimation de la puissance pk du signal

yk=xktwk
ek=dk-yk
pk+1=(1-b) pk+N bxk²
wk+1=wk+ aekxk/(g+ pk)
filtrage adaptatif
A. Thieltgen 2004/2005
41
4. Algorithmes accélérés.
adaptation plus directe vers xmin?
yk=xktwk
ek=dk-yk
wk+1=wk+mekC xk
C approximation de R-1 : temps de convergence réduit si
lmax>>lmin  algorithmes de type Newton mais peu
intéressants car :
(a) "bon" choix de C dépend de R
(b) C: matrice (N, N)  N2 produits et N(N-1) additions
filtrage adaptatif
A. Thieltgen 2004/2005
42
5. Algorithme de Griffith.
dk non connu?  ek non défini  pas de LMS
Griffith : corrélation entre dk et xk accessible

wk+1=wk+mekxk=wk-mykxk+mdkxk
E[wk+1]=E[wk]-mE[ykxk]+mP 
algorithme de Griffith ou du vecteur P:
yk=xktwk
wk+1=wk- mykxk+mP
idée : substituer P au comportement moyen de dkxk
filtrage adaptatif
A. Thieltgen 2004/2005
43
2.7 Versions modifiées du LMS. Bruit dans le gradient.
1. LMS à erreur signée.
LMS réel : 2N produits - additions réels pour le calcul de yk et
l’actualisation de wk à chaque itération
* erreur signée :
yk=xktwk
ek=sign{dk-yk}
wk+1=wk+mekxk
(réduction des calculs aux dépens des performances)
filtrage adaptatif
A. Thieltgen 2004/2005
44
estimation bruitée du gradient instantané pour rechercher
xmin qui se reporte dans des estimations bruitées du poids
optimum
même qualité que LMS : m inférieur
éléments signés :
yk=xktwk
ek=dk-yk
wi,k+1=wi,k+me(k)sgn{xk-i}
signe-signe
wi,k+1=wi,k+msign{ek}sgn{xk-i}
filtrage adaptatif
A. Thieltgen 2004/2005
45
2. Effets d'absence de coefficients.
li nuls  modes ni commandés ni amortis :
(a) pas de convergence vers solution unique
(b) pas de convergence des mode découplés
(c) modes découplés commandés par des termes du second
ordre
 coefficients découplés croissant sans limites
filtrage adaptatif
A. Thieltgen 2004/2005
46
LMS avec "fuite" :
wk+1=(1-mg)wk-m^k=(1-mg)wk+ mekxk
m et g 0 (LMS: g=0) et << 1  (1-mg) légèrement inférieur à 1
(1-mg) au 1er ordre: estimé de ekxk=0 
wk+1=(1-mg)wk et wk+m=(1-mg)mwk, avec lim(wk+m)=0
absence de ekxk : wk tend à décroître (à "fuir") vers 0
filtrage adaptatif
A. Thieltgen 2004/2005
47
w'k+1= {I-m(gI+L)}w'k+mP'

(a) g modifie R avec Rnouv=gI+Ranc, Lnouv=gI+Lanc
et li, nouv=g+ li, anc
(b) g>0 : li >0 (même avec entrées nulles)
(c) ti limitées 
convergence avec tmax=1/m lnouv,min 1/mg
une complexité en plus dans l'actualisation et biais:
wk=(R+gI)-1P ne vérifie pas R wopt=P à la convergence
filtrage adaptatif
A. Thieltgen 2004/2005
48
3. Désadaptation.
eqm minimum: gradient nul et wk=wopt
gradient approché  bruit du gradient Nk=-WJ
LMS: Nk=ekxk-(R wk-P)
estimé de wk : bruit supérieur proche de wopt
 "cliquetis" proche de la convergence
réduction de bruit dans wk si m diminue
sk: bruit dans wk
wk=wopt+Vk  sortie : yk=xktwopt+xktVk=yopt,k+sk
quantification: déréglage M inversement proportionnel à m et
N
M: comparaisons de taux de convergence
filtrage adaptatif
A. Thieltgen 2004/2005
49
Chapitre 3 – Algorithmes récursifs.
filtrage adaptatif
A. Thieltgen 2004/2005
50
3.1 Recherche d’algorithmes récursifs.
xk=N-1k-1ym-dm², (N-1)k(L-1) : reflète le nombre
d'échantillons déjà utilisés
xL: toutes les données de k=(N-1) à (L-1)
xm et dm reçus avant (k-1) et wo,k calculé: après que xk et dk
reçus  xk+1= xk+yk-dk2
but : construire wopt pas à pas jusqu'à ce que les données finales
xL-1 et dL-1 reçues
 wopt,L calculé  poids optimum global wopt
filtrage adaptatif
A. Thieltgen 2004/2005
51
3.2 Moindres carrés récursifs (RLS).
1. Formule d'actualisation.
approche la plus simple :
(a) actualisation de R par Rk+1=Rk+xkxkt
(b) actualisation de P par Pk+1=Pk+dkxk
(c) inversion de Rk+1
(d) calcul de wopt,k+1 par wopt,k+1=Rk+1-1Pk+1
R et P actualisés utilisés pour calculer wopt,k+1
filtrage adaptatif
A. Thieltgen 2004/2005
52
procédure directe peu économique (N3+2N2+N produits et N3
pour inverser R par actualisation)
"lemme ABCD" d'inversion matricielle
(A+B C D)-1=A-1-A-1B(D A-1B+C-1)-1D A-1 avec A=Rk
B=xk
C=I
D=xkt
 Rk+1-1=Rk-1-(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk )
optimal wopt,k+1=Rk+1-1Pk+1 obtenu en combinant
Rk+1-1=Rk-1-(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk ) et Pk+1=Pk+dkxk
filtrage adaptatif
A. Thieltgen 2004/2005
53
wopt,k+1=Rk-1Pk-(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk )Pk+
dkRk-1xk-dk(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk )xk
simplification :
Rk-1Pk=wopt,k
Zk=Rk-1xk
yopt(k)=xktwopt,k
q=xktZk
(poids optimal de rang k)
(vecteur d'informations filtrées)
(sortie a priori)
(puissance d'entrée normalisée)
poids optimal w opt,k  1  w opt,k

dk  y opt,k 

Z
1 q
k
 algorithme récursif des moindres carrés (RLS)
filtrage adaptatif
A. Thieltgen 2004/2005
54
2. Interprétation des équations d'actualisation.
wopt,k+1: wopt,k + terme correctif fonction de xk et de dk
trois facteurs:
* erreur a priori eopt,k=dk-yopt,k
yopt,k : prédiction de la sortie du filtre optimal mais donné par
xk avec ancienne RI wk
yopt : sortie a priori et eopt,k : erreur de prédiction
* dépendance de l'actualisation de eopt,k
yopt,k=dk: pas actualisation
eopt=0 : nouvelle actualisation et si eopt0  correction dans
l'actualisation actuelle
filtrage adaptatif
A. Thieltgen 2004/2005
55
* Zk (vecteur d'informations filtrées)
q : mesure de la puissance de xk normalisée par Rk-1 valeur
moyenne de q = N
q + Zk + eopt  actualisation du poids
Rk définie non négative  (1+q) 1
filtrage adaptatif
A. Thieltgen 2004/2005
56
3. Algorithmes de descente associés.
RLS basé sur actualisation de wopt,k en utilisant juste la bonne
dose pour générer le poids wopt,k+1
wopt,k+1 : ressemblance avec algorithmes de descente
* LMS accéléré
wk+1=wk+mekC xk
C : agit sur xk en modifiant direction ou longueur
m
1
1
1

et
C

R
k :
t

1
1  q 1  xk R k xk
a lg orithme accéléré LMS  RLS
filtrage adaptatif
A. Thieltgen 2004/2005
57
* LMS normalisé
constante d'adaptation variable dans le temps m=a/(g+xktxk)
(0<a<2)
g : empêche la formation d'un dénominateur nul
 partie importante de l'actualisation
filtrage adaptatif
A. Thieltgen 2004/2005
58
4. Algorithme RLS.
procédure itérative d'actualisation de wopt,k :
(i) nouveaux échantillons xk et dk reçus
(ii) xk : décalage de xk dans le vecteur d'informations
(iii) calcul de la sortie a priori yopt,k=wopt,kt xk
(iv) calcul de l'erreur a priori eopt,k=dk-yopt,k
(v) calcul de Zk=Rk-1xk
(vi) calcul de q=xktZk
(vii) calcul de v=1/(1+q)
(viii) calcul de Z’k=vZk
(ix) actualisation de wopt,k+1=wopt,k+eopt,kZ’k
(x) actualisation de Rk+1-1=Rk-1-Z’kZ'kt
filtrage adaptatif
A. Thieltgen 2004/2005
59
initialisation :
* Rk et Pk d'après Rk+1=Rk+xkxkt et Pk+1=Pk+dkxk jusqu'à R de
rang plein, puis calculé direct de Rk-1 ainsi que wk
optimalité à chaque pas : N3 calculs (inversion initiale)
* RN-1-1 initialisée par RN-1-1=hIN (h : grande constante positive)
 imprécision
simplicité et faible coût de calcul  une des plus communément
utilisée
filtrage adaptatif
A. Thieltgen 2004/2005
60
5. Coût de l'algorithme RLS.
calculs nécessaire pour algorithme RLS:
(a) O(1) [calculs requis non liés N] : (iv) et (vii)
(b) O(N) [calculs proportionnels à N] : (iii), (vi), (viii) et (ix)
(c) O(N2) : (v) et (x)
filtrage adaptatif
A. Thieltgen 2004/2005
61
RLS pour {xk, dk} : 2N2+4N produits + autant d'additions et
une division
 produits totaux CRLS=(L-N+1)2N2+(L-N+1)4N
calcul de wopt : C=(L-N+1)N2+(L-N+1)N+N3+N
taille d’inversion importante si L-N+1<N, pas si L>>N: RLS
plus coûteux pour O(N) et O(N2)
L>>N: coût d'inversion inférieur à O(N2)  méthode directe
moins coûteuse en calculs que RLS
filtrage adaptatif
A. Thieltgen 2004/2005
62
1<N<<L: typique en filtrage adaptatif
raisons d’étude et d’utilisation du RLS :
(a) meilleur comportement numérique qu’ inversion directe
de R
(b) RLS: estimé du poids à chaque échantillon, méthode
directe: estimé du poids en fin de séquence
(c) formulation récursive: voie pour techniques moins
coûteuses
filtrage adaptatif
A. Thieltgen 2004/2005
63
6. Algorithme RLS à pondération exponentielle.
Rk=N-1k-1rk-1-mxmxmt et Pk=N-1k-1rk-1-mxmdm
r: facteur d'oubli ou de moyenne, constante>0, <1 mais l
r=1: Rk et Pk identiques à RLS
motivation: {x, d} changent sur L points de données
Rk et Pk définis récursivement par
k

xk xkt 
t
k m
Rk 1   r
xm xm  r  R k 

r 

N 1
dk xk 

Pk 1   r
xmdm  r  P k 

r


N 1
poids optimal au pas (k  1) :
k
k m
t 

x
x


1
k
k
w opt,k  1  R
Pk 1  R k 

k 1
r


1
filtrage adaptatif
A. Thieltgen 2004/2005
dk xk 

Pk 

r


64
dk  y opt,k
w opt,k  1  w opt,k 
Zk
rq
seule mod ification : actualisat ion de R k1 avec
t 

1
Z
Z


1
1
k
k
R k  R k 

r 
r  q 
(a) RLS usuel: r=1
(b) même quantité de calculs par moyenne exponentielle
(c) algorithme initialisé avec RN-1-1=hIN
filtrage adaptatif
A. Thieltgen 2004/2005
65
3.3 Algorithmes RLS "rapides".
1. Approche.
algorithmes "rapides": coût O(N) requis à chaque pas
plus efficace : exploitation d’une propriété spécifique
deux observations :
* xk évolue vers xk+1 par incorporation de xk+1 (propriété non
exploitée dans RLS)
* Zk = Zk+1 dans RLS: actualisation de Rk-1 et produit par x(k)
non nécessaires
filtrage adaptatif
A. Thieltgen 2004/2005
66
2. Formule récursive.
décalage de x(k)  actualisation O(N) de Zk
Z’k: résolution de Vk=wopt,k+1-wopt,k avec Rk+1wopt,k+1=Pk+1
récursivité de Rk et Pk 
{Rk+xkxkt}wopt,k+Rk+1Vk=Pk+dkxk
Rkwopt,k=Pk et yopt(k)=xktwopt,k  Rk+1Vk={dk-yopt,k}xk 
Vk=eopt,k Rk+1-1xk
Vk :actualisation de wopt,k dépendant directement de eopt(k) et
Z'k=Rk+1-1xk={N-1kxmxmt}-1x(k)
calcul de Z'k: Ak et Bk (prédicteurs direct et rétrograde) 
filtrage adaptatif
A. Thieltgen 2004/2005
67
(i ) eopt,k  1  xk  1  A kt xk
(ii ) actualisat ion de A k  1  A k  Z"k ek  1
(iii ) ek  1  xk  1  A kt  1 xk
(iv ) puissance de prédiction  k  1   k  ek  1eopt,k  1
 ek  1
ek  1 
( v ) vecteur augmenté F  
Zk  Ak  1



 k 1
k 1 
t
( vi ) partition F  M k  1 m k  1 t
( vii ) hopt,k  1  xk  N  1  Bkt xk  1
( viii ) actualisat ion Bk  1 
Bk  M k  1hopt,k  1
1  m k  1hopt,k  1
(ix ) actualisat ion Z'k  1  M k  1  Bk  1m k  1
filtrage adaptatif
A. Thieltgen 2004/2005
68
 prédiction de x(k)
méthode de calcul récursif de Z'k  algorithme "rapide" pour
calcul récursif de wopt,k+1
(a) calcul de yopt,k+1=xtwopt,k
(b) eopt,k+1=dk+1-yopt,k+1
(c) Z'k vers Z'k+1
(d) wopt,k+1=wopt,k+eopt,k+1Z'k+1
(c) : étapes (i) à (ix) précédentes
Z'k: majeure partie d'informations concernant xk pour
actualiser wk
Z'k+1 : transport de l'information directionnelle pour actualiser
wk
filtrage adaptatif
A. Thieltgen 2004/2005
69
3. Résultats.
(i) à (ix) et (a) à (d) : réduction de calculs atteinte
(i), (ii), (iii), (v), (vii), (viii) et (ix) : N additions–produits à
chaque pas
conversion de Z'k+1 vers wopt,k+1: 2N additions–produits
 9N additions–produits
récursivités avec Cnouv=s1Canc+s2D et r=xt(k)E
plus efficaces si s1 et/ou s2 =1
efficacité atteinte au détriment de stabilité
filtrage adaptatif
A. Thieltgen 2004/2005
70
Chapitre 4 - Structures en treillis et adaptation.
filtrage adaptatif
A. Thieltgen 2004/2005
71
4.1 Filtres adaptatifs en treillis.
f0(n)
x(n)
b0(n)
c0
f1(n)
1
b1(n)
2
N-1
bN-1(n)
d(n)
cN-1
c1
y(n)
filtrage adaptatif
A. Thieltgen 2004/2005
+
-
e(n)
72
puissance d’erreur de prédiction minimale si coefficients du
prédicteur optimum
PARCOR optimum m de l’étage m d’un prédicteur en treillis :
minimisation de xp,m=E[fm,n²+bm,n²]
xp,m équivalent à Pmf=E[fm,n²] et Pmb=E[bm,n²]
fonction de coût xp,m  utilisation des erreurs de prédiction
avant et rétrograde dans LMS  écart d’ajustement plus faible
obtenu
filtrage adaptatif
A. Thieltgen 2004/2005
73
LMS : n+1=n- mp,m(n)[x^p,m(n)/m]
x^p,m(n)=fm²(n)+bm²(n)
 n+1=n+2 m p,m(n)[fm,nbm-1,n-1+bm,nfm-1,n].
convergence rapide: mp,m normalisé à la puissance du signal
d’entrée de l’étage m du prédicteur
estimation: Pm-1,n=bPm-1,n-1+0,5(1-b) x^p,m(p)
pas normalisé : mp,m(n)=m p,o/(Pm-1,n+e)
m p,o : paramètre non normalisé commun à tous les étages
e : constante positive prévenant une instabilité de
l’algorithme si Pm-1,n proche de 0
filtrage adaptatif
A. Thieltgen 2004/2005
74
données :
1,n, 2,n, .., N-1,n,
et cn=[c0,n c1,n .. cN-1,n]t
xn le plus récent et sortie désirée dn
bn-1=[b0,n-1 b1,n-1 .. bN-1,n-1]t
P0,n-1 P1,n-1 .. PN-1,n-1
nécessaires :
1,n+1, 2,n+1, .., N-1,n+1,
cn+1=[c0,n+1 c1,n+1 .. cN-1,n+1]t
bn=[b0,n b1,n .. bN-1,n]t
P0,n P1,n .. PN-1,n
filtrage adaptatif
A. Thieltgen 2004/2005
75
partie treillis du prédicteur
f0,n=b0,n=xn
P0,n=bP0,n-1+0,5(1-b) [f0,n²+b0,n-1²]
pour m=1 à (N-1)
fm,n=fm-1,n-m,nbm-1,n-1
bm,n=bm-1,n-1-m,nfm-1,n
m,n+1=m,n+2 mp,o/(Pm-1,n+e)[fm-1,nbm,n+bm-1,n-1fm,n]
Pm,n=bPm,n-1+0,5(1-b) [fm,n²+bm,n-1²]
fin
filtrage adaptatif
A. Thieltgen 2004/2005
76
partie accumulateur linéaire
yn=cntbn
en=dn-yn
mc=mc,odiag[(P0,n+e)-1, (P1,n+e)-1, .. , (PN-1,n+e)-1]
cn+1=cn+1mcenbn
filtrage adaptatif
A. Thieltgen 2004/2005
77
4.2 Discussion et simulations.
estimateur en treillis de processus liés: adaptation simultanée de
2 ensembles de paramètres
m: ne dépend que des statistiques de xk
valeur optimale de c de l’accumulateur linéaire : dépend des m
et wopt
variation dans les m : réajustement obligatoire de c
filtrage adaptatif
A. Thieltgen 2004/2005
78
système à identifier
e0(n)
N 1
W0 (z)   w 0,i z  i
i 0
x(n)
d(n)
N 1
W (z)   w i z
i
y(n)
i 0
+
e(n)
algorithme
d'adaptation
filtre adaptatif
filtrage adaptatif
A. Thieltgen 2004/2005
79
filtrage adaptatif
A. Thieltgen 2004/2005
80
filtrage adaptatif
A. Thieltgen 2004/2005
81
LMS transversal: m  M=0.1
LMS en treillis: e=0,02, mp,o=0,001 et mc,o=0,1/N=0,0033 
M=0.1
perturbation des PARCOR: impact significatif sur M
 problème sérieux, encore plus si xk non stationnaire
 PARCOR optimaux temporellement variables 
adaptation continue des PARCOR aussi bien que de c
 retard dans adaptation de c  augmentation
supplémentaire de l’eqm  désadaptation supérieure
filtrage adaptatif
A. Thieltgen 2004/2005
82
Chapitre 5 - Autres algorithmes et structures.
filtrage adaptatif
A. Thieltgen 2004/2005
83
5.1 Algorithme LMS/Newton.
1. Algorithme LMS/Newton.
LMS/Newton: wk+1=wk-mR-1^k (converge en une seule
itération) w1=wopt
conditions idéales :
a) m=1/2,
b) connaissance de  à chaque pas
c) connaissance de R-1
filtrage adaptatif
A. Thieltgen 2004/2005
84
(a) non remplie : plus d'itérations pour converger
(b) non réalisée : wk+1=wk-mR-1k  algorithme idéal
uniquement par (c) (R-1 supposée connue exactement)
ek2 : estimé de x  ^k=-2ekxk  wk+1=wk+2mR-1ekxk
similitude avec LMS accrue: R diagonale avec lmR-1=I
 wk+1=wk+2mlmR-1ekxk (algorithme LMS-Newton)
convergence :
1/lmax>m>0
convergence en un seul pas (sans bruit) : m=1/2lm
filtrage adaptatif
A. Thieltgen 2004/2005
85
2. Propriétés de l'algorithme.
exemple comparatif entre le LMS et le LMS/Newton
conditions idéales non bruitées: LMS  méthode de plus
grande pente et LMS/Newton  méthode de Newton
filtrage adaptatif
A. Thieltgen 2004/2005
86
m  mlm : rapport géométrique de relaxation du n-ème poids :
Newton :
r=1-mlm
plus grande pente :
rn=1-2mln
(équivalentes si les li toutes égales)
teqm du mode n de courbe d'apprentissage :
Newton :
teqm=1/4mln
plus grande pente :
(teqm)n=1/4mln
N=16, m=0,05 et =0,01 : teqm =10 itérations pour LMS/Newton et
de l'ordre de 100 pour le LMS
filtrage adaptatif
A. Thieltgen 2004/2005
87
teqm : mesure de vitesse de convergence vers xmin
xmax: mesure de capacité à rester proche de xmin
cov[V'k]=mlmL-2cov[N’k]/4(1-mlm).
cov[V'k]=4xminL= mlmxminL-1cov[N’k]/(1-mlm)
 xmax=0Lln E[v’nk²]= (L+1)mlnxmin/(1-mln)
m<<1/2lm  xmax ~mxmintr[R]
filtrage adaptatif
A. Thieltgen 2004/2005
88
5.2 Algorithme de régression séquentielle (SER).
LMS
LMS-Newton
wk+1=wk+2mekxk
wk+1=wk+2mlmR-1ekxk
régression séquentielle : calcul d’un estimé de R-1 approchant
LMS/Newton
estimation de R=E[xkxkt]: plus simple qu’estimer R-1
filtrage adaptatif
A. Thieltgen 2004/2005
89
1 k
t
 xn xn
k 1 0
x non stationnaire: mauvaise estimation de R
 Qk=0k ak-mxmxmt
(Rk + facteur d'échelle)
a=2-1/longueur de la stationnarité de x (0<a<1)
conditions stationnai res : R^k 
k
1 a
1 a
t
^
k m
k itérations  R k 
Q

a
x
x

m m
k 1 k
k 1
1 a
1 a
m0
x stationnaire pour tout k: a  1  R^k
R^k connu  recherche d’algorithme SER
k
1 a
^
^
k m
w k : R k w k  Pk 
a
d m xm 

k 1
1 a
m0
k
Qk w k   ak  mdm xm : point de départ de l' algorithme
m0
filtrage adaptatif
A. Thieltgen 2004/2005
90
Qkwk+1=aQk-1wk+dkxk=[Qk-xkxkt]wk+dkxk
dk=ek+xktwk  Qkwk+1=(Qkxkxkt)wk+(ek+xktwk)xk=Qkwk+ekxk 
wk+1=wk+Qk-1ekxk
Qk1 
2ml 1
^ 1
Q k ek x k 

w

w

R
k
k 1
k 1 k
1 a
1 a
1 a
Qk11  aQk1  Qk1 xk x t Qk11
k

 Qk11 xk  Qk1 xk a  x t Qk11 xk
k

Qk11 xk x t Qk11
k
t
1
1
)
x
Q
)(
x
Q
(
1
1
k 1 k
k 1 k

Q

 Qk1 xk x t Qk1 
k
1

k
a a  x t (Qk11 xk )
a  x t Qk 1 xk
k
k
filtrage adaptatif
A. Thieltgen 2004/2005
91
régression séquentielle
a=2-1/(longueur du signal stationnaire)
Q0-1=(grande constante).I
w0=valeur de départ du poids
w1=w0+2mlmQ0-1e0x0
pour k≥1
S=Qk-1-1xk
g=a+xkt S
Qk-1={Qk-1-1-(S St)/g}/a
wk+1=wk+2mlm(1-ak+1)Qk-1ekxk/(1-a)
avec 0<m<1/lmax ou mlm<<1
filtrage adaptatif
A. Thieltgen 2004/2005
92
5.3 Filtres adaptatifs récursifs.
mono-entrée yk=0Lanxk-n+1Lbnyk-n
wk =[a0k a1k..aLk b1k..bLk]t et Uk=[xk xk-1..xk-L yk-1..yk-L]t
ek=dk-wktUk
LMS: ^k=-2ek[yk/a0k yk/aLkyk/b1k yk/bLk]t
an,k=yk/an=xn-k+1Lbm an,k-m
bn,k=yk/bn=yn-k+1Lbm bn,k-m
filtrage adaptatif
A. Thieltgen 2004/2005
93
^k=-2ek[a0,k aL,k b1k bLk] et LMS :wk+1=wk-M ^k
m  matrice diagonale M=diag[ m..m 1..L ]
LMS RII
0≤n≤L
1≤n≤L
yk=wkUk
an,k=xn-k+1Lbm an,k-m
bn,k=yn-k+1Lbm bn,k-m
^k=-2(dk-yk)[a0,k aL,k b1k bLk]
wk+1=wk-M ^k
Ak(z)=0Lamk z-m et Bk(z)=1Lbmk z-m
 FT=z-n/[1-Bk(z)]
filtrage adaptatif
A. Thieltgen 2004/2005
94
filtrage adaptatif
A. Thieltgen 2004/2005
95
algorithmes HARF (hyperstable adaptative recursive filter)
remplace ank et bnk par xk-n et yk-n puis estimation de ^k par
version lissée de ek (filtrage de ek)
forme la plus simple: SHARF
yk=wktUk
ek=dk-yk
k=ek+1Ncn ek-n
^k=-2k[xk xk-L yk-1 yk-L]t
wk+1=wk-M ^k
c : constantes lissant ek  k
filtrage adaptatif
A. Thieltgen 2004/2005
96
SER (régression séquentielle) pour RII : remplacement de x
par U + estimé RII du gradient

non récursif récursif
ek=dk-wktxk
ek=dk-wktUk
^k=-2ekxk
^k=-2ek[a0,k aL,k b1k bLk]t
 x=E[ek2]=E[dk2]+wtR w-2Ptw
SER: R et P non fonction de w
hypothèse non licite pour RII pendant la convergence
après convergence avec entrées stationnaires 
R et P constants (=0=2R wopt-2P pour w proche de wopt)
filtrage adaptatif
A. Thieltgen 2004/2005
97
valeurs révisées de R et de P et si R^kwk=P^k solution pour w 
SER-RIF
 wk+1=wk-Mlm(1-ak+1)Qk-1^k/(1-a)
m  M : permet des convergences différentes pour bi
filtrage adaptatif
A. Thieltgen 2004/2005
98
SER complet :
S=Qk-1-1xk
g=a+Ukt S
Qk-1={Qk-1-1-(S St)/g}/a
an,k=xn-k+1Lbm an,k-m
0≤n≤L
bn,k=yn-k+1Lbm bn,k-m
1≤n≤L
^k=-2(dk-yk)[a0,k aL,k b1k bLk]
wk+1=wk-Mlm(1-ak+1)Qk-1^k/(1-a)
filtrage adaptatif
A. Thieltgen 2004/2005
99
filtrage adaptatif
A. Thieltgen 2004/2005
100
début : a0=b1=b2=0
système inconnu a0=1, b1=1,2 et b2=-0,6
entrée :bruit blanc  convergence vers ces valeurs avec
x=E[ek2]  0
traces de convergence typiques pour RII LMS et SER avec 800
pas pour le LMS et 600 pour le SER :
filtrage adaptatif
A. Thieltgen 2004/2005
101
filtrage adaptatif
A. Thieltgen 2004/2005
102
filtrage adaptatif
A. Thieltgen 2004/2005
103
stabilité : triangle  bi dans cette région
paramètres de convergence :
LMS :
M=diag[ 0,05 0,005 0,0025 ]
SER : M=diag[ 0,5 0,1 0,05 ]
SER :début q0=1, a=0,93, 10 échantillons stationnaires
LMS: plus ou moins plus grande pente, erratique au fond du bol
(typique des filtres RII)
SER: mauvaise approximation d'un Newton si wk non proche de
wopt
proche de wopt : plus régulier que LMS  moins d'itérations
pour valeur optimale
filtrage adaptatif
A. Thieltgen 2004/2005
104