Transcript Théorie mathématique de la communication
Slide 1
La théorie de la communication
de C. Shannon
Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques
1949 « Théorie mathématique de la communication » avec W. Weaver
• quantité d’info issue d’une source
• propriété des canaux
• relation entre l’info à transmettre et le canal pour une utilisation
optimale
Pr. I. Zambettakis
1
Slide 2
Les 3 niveaux
des problèmes de communication
A technique : exactitude de transmission
B sémantique : précision de la signification
C efficacité : influence sur la conduite
bruit
bruit
bruit
bruit
bruit
codage
émetteur
source
message
décodage
canal
récepteur
destination
signal
signal
message
émis
reçu
Pr. I. Zambettakis
2
Slide 3
Quatre questions
comment mesurer la quantité d’information ?
Comment mesurer la capacité d’un canal ?
Qu’est-ce qu’un codage efficace ?
Comment diminuer le bruit et jusqu’à quel point ?
Pr. I. Zambettakis
3
Slide 4
Entropie : mesure de la quantité d’info
Information signification
sa mesure est liée non pas à ce que l’on dit,
mais à ce que l’on pourrait dire
c’est une mesure de la liberté de choix
basée sur la fonction log2 :
•
•
•
•
fn du nombre de cas possibles
nulle si pas de choix
unité si 2 choix possibles : bit
si infinité de choix
Pr. I. Zambettakis
4
Slide 5
Entropie d’une source
Les messages ou symboles sont équiprobables
E = log2 (nbre de symboles possibles)
Les symboles ne sont pas équiprobables
processus de Markoff : système produisant une séquence
finie de symboles (s1 , s2 ,… si ,…sn) selon certaines
probabilités pi dépendant ou non des symboles précédents
1- cas simple : symboles indépendants E = - ipi log2 (pi)
2- symboles dépendant du précédent
pi(j) : probabilité d’avoir sj après si
E = - i,jpi pi(j)log2 (pi(j))
fi : fréquence du symbole i
Es = - i,jfi pi(j)log2 (pi(j))
Pr. I. Zambettakis
5
Slide 6
E = quantité d’info (nombre de bits) produite par la source,
par symbole
Es = quantité d’info (nombre de bits) produite par la source,
par seconde
E = 0 : pas de choix, pas d’information
Emax= log2(n) max d’incertitude pour
pi =1/n
E augmente avec le nombre de symboles possibles
Pr. I. Zambettakis
6
Slide 7
Capacité d’un canal
C = débit maximal possible ( en bits/s)
mesure la quantité d’info. transmise, issue d’une source
dépend :
- des propriétés statistiques de la source
- de l’aptitude du canal à transmettre les signaux
c.a.d. du codage utilisé
Pr. I. Zambettakis
7
Slide 8
Codage
Efficacité :
redondance :
= E / Emax
r = 1-
en %
+ r est grand + on perd de tps à la transmission
Pour diminuer r :
coder des extensions d’ordre m de la source
Le meilleur codage est celui qui assure C = Es
c’est-à-dire la plus grande entropie pour le signal
Pr. I. Zambettakis
8
Slide 9
Codage optimal
Le codage qui assure le débit moyen le plus grand peutêtre obtenu par :
ranger les messages de longueur N par ordre de
probabilité décroissante ps
coder chaque message en binaire, la longueur ms du
code vérifiant :
1/(2 ms) ps 1/(2 ms-1)
Le nombre moyen de bits utilisés par symbole est :
EN = 1/N ms ps
quand N augmente, tend vers l’entropie E de la source
Pr. I. Zambettakis
9
Slide 10
Théorème 1 de Shannon
Il est possible de comprimer une source d’information
à l’aide d’un codage de source
tel que la longueur moyenne EN du code
tende vers l’entropie de la source E
Il n’est pas possible de transmettre
à un débit moyen supérieur à C / E symb/s.
C : capacité du canal (bits / sec.)
E : entropie de la source (bits / symboles)
Pr. I. Zambettakis
10
Slide 11
Cas d’un canal bruité
1) Distorsion :
Un signal X donne tjs le même signal Y = f(X)
correction possible par f -1(Y) = X
si f inversible : x1 x2
f(x1) f(x2)
2) Source X et bruit B : 2 signaux aléatoires
E(X) = entropie de la source (entrée du canal)
EY(X) = entropie de l’entrée connaissant la sortie
E(X) - EY(X) = E(Y) - EX(Y) = I(X,Y) info réellement transmise
Pr. I. Zambettakis
11
Slide 12
Capacité d’un canal bruité
l’équivoque EX(Y) mesure l’ambiguité du signal reçu, donc
l’info supplémentaire à ajouter pour le corriger
EX(Y) = SsourceXp(xi)Exi(Y) où Exi(Y) = - SrecY pyi(xi) log2(pyi(xi))
le débit max possible de transmission, c.a.d. quand la source
est correctement adaptée au canal est :
C = max(Is (X,Y))
Si Es C
il existe un codage tel que la sortie de la source soit transmise
avec une fréquence d’erreur (équivoque) arbitrairement petite
Si Es C
il est possible de coder la source avec
Pr. I. Zambettakis
EsY Es - C
12
Slide 13
Théorème 2 de Shannon
Si le canal peut acheminer l’information issue
de la source ( Es < C ),
alors il peut le faire avec une probabilité
d’erreur aussi petite que l’on veut : TEB <
Codage de canal
Pr. I. Zambettakis
13
Slide 14
inutile, pour annuler les erreurs, d’accroître indéfiniment
la redondance, ( débit de transmission 0 )
On ne peut pas avoir de transmission sans
C,
erreur si Es
le code idéal, assurant EsY = min(Es - C), n’a pas été
trouvé !
cas particulier du canal AGB à bande limitée LB pour une
puissance d'émission PS :
C= LB log₂(1 +PS /PB).
Pr. I. Zambettakis
14
La théorie de la communication
de C. Shannon
Ingénieur aux Bell Tel. Lab. : rendement des lignes télégraphiques
1949 « Théorie mathématique de la communication » avec W. Weaver
• quantité d’info issue d’une source
• propriété des canaux
• relation entre l’info à transmettre et le canal pour une utilisation
optimale
Pr. I. Zambettakis
1
Slide 2
Les 3 niveaux
des problèmes de communication
A technique : exactitude de transmission
B sémantique : précision de la signification
C efficacité : influence sur la conduite
bruit
bruit
bruit
bruit
bruit
codage
émetteur
source
message
décodage
canal
récepteur
destination
signal
signal
message
émis
reçu
Pr. I. Zambettakis
2
Slide 3
Quatre questions
comment mesurer la quantité d’information ?
Comment mesurer la capacité d’un canal ?
Qu’est-ce qu’un codage efficace ?
Comment diminuer le bruit et jusqu’à quel point ?
Pr. I. Zambettakis
3
Slide 4
Entropie : mesure de la quantité d’info
Information signification
sa mesure est liée non pas à ce que l’on dit,
mais à ce que l’on pourrait dire
c’est une mesure de la liberté de choix
basée sur la fonction log2 :
•
•
•
•
fn du nombre de cas possibles
nulle si pas de choix
unité si 2 choix possibles : bit
si infinité de choix
Pr. I. Zambettakis
4
Slide 5
Entropie d’une source
Les messages ou symboles sont équiprobables
E = log2 (nbre de symboles possibles)
Les symboles ne sont pas équiprobables
processus de Markoff : système produisant une séquence
finie de symboles (s1 , s2 ,… si ,…sn) selon certaines
probabilités pi dépendant ou non des symboles précédents
1- cas simple : symboles indépendants E = - ipi log2 (pi)
2- symboles dépendant du précédent
pi(j) : probabilité d’avoir sj après si
E = - i,jpi pi(j)log2 (pi(j))
fi : fréquence du symbole i
Es = - i,jfi pi(j)log2 (pi(j))
Pr. I. Zambettakis
5
Slide 6
E = quantité d’info (nombre de bits) produite par la source,
par symbole
Es = quantité d’info (nombre de bits) produite par la source,
par seconde
E = 0 : pas de choix, pas d’information
Emax= log2(n) max d’incertitude pour
pi =1/n
E augmente avec le nombre de symboles possibles
Pr. I. Zambettakis
6
Slide 7
Capacité d’un canal
C = débit maximal possible ( en bits/s)
mesure la quantité d’info. transmise, issue d’une source
dépend :
- des propriétés statistiques de la source
- de l’aptitude du canal à transmettre les signaux
c.a.d. du codage utilisé
Pr. I. Zambettakis
7
Slide 8
Codage
Efficacité :
redondance :
= E / Emax
r = 1-
en %
+ r est grand + on perd de tps à la transmission
Pour diminuer r :
coder des extensions d’ordre m de la source
Le meilleur codage est celui qui assure C = Es
c’est-à-dire la plus grande entropie pour le signal
Pr. I. Zambettakis
8
Slide 9
Codage optimal
Le codage qui assure le débit moyen le plus grand peutêtre obtenu par :
ranger les messages de longueur N par ordre de
probabilité décroissante ps
coder chaque message en binaire, la longueur ms du
code vérifiant :
1/(2 ms) ps 1/(2 ms-1)
Le nombre moyen de bits utilisés par symbole est :
EN = 1/N ms ps
quand N augmente, tend vers l’entropie E de la source
Pr. I. Zambettakis
9
Slide 10
Théorème 1 de Shannon
Il est possible de comprimer une source d’information
à l’aide d’un codage de source
tel que la longueur moyenne EN du code
tende vers l’entropie de la source E
Il n’est pas possible de transmettre
à un débit moyen supérieur à C / E symb/s.
C : capacité du canal (bits / sec.)
E : entropie de la source (bits / symboles)
Pr. I. Zambettakis
10
Slide 11
Cas d’un canal bruité
1) Distorsion :
Un signal X donne tjs le même signal Y = f(X)
correction possible par f -1(Y) = X
si f inversible : x1 x2
f(x1) f(x2)
2) Source X et bruit B : 2 signaux aléatoires
E(X) = entropie de la source (entrée du canal)
EY(X) = entropie de l’entrée connaissant la sortie
E(X) - EY(X) = E(Y) - EX(Y) = I(X,Y) info réellement transmise
Pr. I. Zambettakis
11
Slide 12
Capacité d’un canal bruité
l’équivoque EX(Y) mesure l’ambiguité du signal reçu, donc
l’info supplémentaire à ajouter pour le corriger
EX(Y) = SsourceXp(xi)Exi(Y) où Exi(Y) = - SrecY pyi(xi) log2(pyi(xi))
le débit max possible de transmission, c.a.d. quand la source
est correctement adaptée au canal est :
C = max(Is (X,Y))
Si Es C
il existe un codage tel que la sortie de la source soit transmise
avec une fréquence d’erreur (équivoque) arbitrairement petite
Si Es C
il est possible de coder la source avec
Pr. I. Zambettakis
EsY Es - C
12
Slide 13
Théorème 2 de Shannon
Si le canal peut acheminer l’information issue
de la source ( Es < C ),
alors il peut le faire avec une probabilité
d’erreur aussi petite que l’on veut : TEB <
Codage de canal
Pr. I. Zambettakis
13
Slide 14
inutile, pour annuler les erreurs, d’accroître indéfiniment
la redondance, ( débit de transmission 0 )
On ne peut pas avoir de transmission sans
C,
erreur si Es
le code idéal, assurant EsY = min(Es - C), n’a pas été
trouvé !
cas particulier du canal AGB à bande limitée LB pour une
puissance d'émission PS :
C= LB log₂(1 +PS /PB).
Pr. I. Zambettakis
14