Transcript Presentación Práctico 1
Slide 1
Práctico 1
Teoría de la Información y
Codificación
Slide 2
Cantidad de Información
• La cantidad de información es proporcional a
la probabilidad de un suceso:
– Si la probabilidad de un estado fuera 1, la
cantidad de información que aporta sería 0.
– Si la probabilidad se acercara a 0, la cantidad de
información tenderá a infinito: un suceso que no
puede suceder aportará una cantidad infinita de
información si llegara a ocurrir.
Slide 3
Cantidad de Información
• La cantidad I de información contenida en un mensaje, es
un valor matemático medible referido a la probabilidad p
de que una información en el mensaje sea recibida.
Según shannon:
I manifiesta la cantidad de símbolos posibles que
representan el mensaje.
• Si la base es 2 la unidad se denomina bits.
• Si la base es el número natural e la unidad se denomina
nats.
• Si la base es decimal la unidad se denomina Hartley.
Slide 4
Entropía
• La entropía H de un sistema de transmisión es
igual a la cantidad de información media de sus
mensajes, es decir:
Si la entropía H es igual a 5, desde la óptica
binaria esto significa que se necesitan 5 bits
para codificar cada símbolo: 00000, 00001,
00010, 11111, etc.
• Permite ver la cantidad de bits necesarios para
representar el mensaje que se va a transmitir.
• Se supone que se expresa c/ suceso empleando
un mensaje escrito en un alfabeto binario.
• Cuanto más probable sea un valor individual,
aportará menos información cuando aparezca.
Slide 5
Entropía
Slide 6
Entropía
• El concepto básico de entropía en teoría de la
información tiene mucho que ver con la
incertidumbre que existe en cualquier
experimento o señal aleatoria.
• Es también la cantidad de "ruido" o "desorden"
que contiene o libera un sistema.
Slide 7
Ejercicios
Ejercicio 1: Calcular la información asociada a la
caída de una moneda (suceso
estadísticamente independiente).
Slide 8
Ejercicios
Ejercicio 2: Calcular la probabilidad que
aparezcan 3 caras consecutivas en la tirada de
una moneda y su información asociada.
Slide 9
Ejercicios
Ejercicio 3: Supongamos que una fuente
produce los símbolos A, B, C y D con
probabilidades 1/2, 1/4, 1/8 y 1/8.
– Calcular la información en cada caso.
– Si los símbolos son independientes, calcular los
bits de información del mensaje: CADABA.
– Que letra proporciona la mínima cantidad de
Información.
Slide 10
Ejercicios
Ejercicio 4: Calcular la tasa de información o
velocidad de información de una fuente
telegráfica teniendo: P (punto) = 2/3, P (raya)
= 1/3;
Siendo Ω = Duración promedio del símbolo:
Ω (punto) = 0,2 seg.,
Ω ( raya) = 0,4 seg.
Slide 11
Ejercicios
Ejercicio 5: Calcular e informar la situación del
siguiente alfabeto en el cual la probabilidad de
ocurrencia de las diferentes letras se da en la
siguiente tabla:
a. Informar ¿cuál letra proporciona la máxima cantidad
de información?
b. Informar ¿cuál letra proporciona la mínima cantidad
de información?
c. Suponiendo que las letras se eligen
independientemente para formar palabras, calcular e
informar la entropía (H) de este alfabeto.
d. Informar la cantidad de información que contiene la
palabra CERTAMEN.
Slide 12
Ejercicios
• Ejercicio 6: Una fuente de datos tiene 8
símbolos equiprobables y emite en bloques de
tres a una tasa de 1000 bloques por segundo.
Si el primer símbolo de cada bloque es
siempre el mismo (sincronización) y los
restantes pueden ser cualquiera de los 8
símbolos de la fuente. Calcular la Tasa de
Información R y la velocidad de señalización.
Slide 13
Ejercicios
• Ejercicio 7: Supongamos una fuente binaria
cuyos símbolos tienen las siguientes
probabilidades:
P(0) = 1/3
P(1) = 2/3
a. Calcular la entropía.
b. Considerar una fuente de segundo orden de la
anterior, definir los nuevos símbolos, su
probabilidad y la nueva entropía.
c. Idem al anterior pero considerando una fuente
de tercer orden.
Slide 14
Ejercicios
• Ejercicio 8: Una fuente produce 5 símbolos con
probabilidades 1/2, 1/4, 1/8, 1/16 y 1/16. Calcular la
entropía de la fuente.
Slide 15
Ejercicios
• Ejercicio 9: Un fax transmite una imagen que tiene
250 líneas horizontales y 200 puntos por línea. Si
cada punto puede tomar 32 niveles equiprobables de
brillo, calcular la Información de la imagen. Si la
imagen una vez explorada se almacena
eléctricamente en una memoria y se envía por un
canal de transmisión de 208,33 bit/seg. ¿Cuánto
tiempo se tarda en transmitirla?
Práctico 1
Teoría de la Información y
Codificación
Slide 2
Cantidad de Información
• La cantidad de información es proporcional a
la probabilidad de un suceso:
– Si la probabilidad de un estado fuera 1, la
cantidad de información que aporta sería 0.
– Si la probabilidad se acercara a 0, la cantidad de
información tenderá a infinito: un suceso que no
puede suceder aportará una cantidad infinita de
información si llegara a ocurrir.
Slide 3
Cantidad de Información
• La cantidad I de información contenida en un mensaje, es
un valor matemático medible referido a la probabilidad p
de que una información en el mensaje sea recibida.
Según shannon:
I manifiesta la cantidad de símbolos posibles que
representan el mensaje.
• Si la base es 2 la unidad se denomina bits.
• Si la base es el número natural e la unidad se denomina
nats.
• Si la base es decimal la unidad se denomina Hartley.
Slide 4
Entropía
• La entropía H de un sistema de transmisión es
igual a la cantidad de información media de sus
mensajes, es decir:
Si la entropía H es igual a 5, desde la óptica
binaria esto significa que se necesitan 5 bits
para codificar cada símbolo: 00000, 00001,
00010, 11111, etc.
• Permite ver la cantidad de bits necesarios para
representar el mensaje que se va a transmitir.
• Se supone que se expresa c/ suceso empleando
un mensaje escrito en un alfabeto binario.
• Cuanto más probable sea un valor individual,
aportará menos información cuando aparezca.
Slide 5
Entropía
Slide 6
Entropía
• El concepto básico de entropía en teoría de la
información tiene mucho que ver con la
incertidumbre que existe en cualquier
experimento o señal aleatoria.
• Es también la cantidad de "ruido" o "desorden"
que contiene o libera un sistema.
Slide 7
Ejercicios
Ejercicio 1: Calcular la información asociada a la
caída de una moneda (suceso
estadísticamente independiente).
Slide 8
Ejercicios
Ejercicio 2: Calcular la probabilidad que
aparezcan 3 caras consecutivas en la tirada de
una moneda y su información asociada.
Slide 9
Ejercicios
Ejercicio 3: Supongamos que una fuente
produce los símbolos A, B, C y D con
probabilidades 1/2, 1/4, 1/8 y 1/8.
– Calcular la información en cada caso.
– Si los símbolos son independientes, calcular los
bits de información del mensaje: CADABA.
– Que letra proporciona la mínima cantidad de
Información.
Slide 10
Ejercicios
Ejercicio 4: Calcular la tasa de información o
velocidad de información de una fuente
telegráfica teniendo: P (punto) = 2/3, P (raya)
= 1/3;
Siendo Ω = Duración promedio del símbolo:
Ω (punto) = 0,2 seg.,
Ω ( raya) = 0,4 seg.
Slide 11
Ejercicios
Ejercicio 5: Calcular e informar la situación del
siguiente alfabeto en el cual la probabilidad de
ocurrencia de las diferentes letras se da en la
siguiente tabla:
a. Informar ¿cuál letra proporciona la máxima cantidad
de información?
b. Informar ¿cuál letra proporciona la mínima cantidad
de información?
c. Suponiendo que las letras se eligen
independientemente para formar palabras, calcular e
informar la entropía (H) de este alfabeto.
d. Informar la cantidad de información que contiene la
palabra CERTAMEN.
Slide 12
Ejercicios
• Ejercicio 6: Una fuente de datos tiene 8
símbolos equiprobables y emite en bloques de
tres a una tasa de 1000 bloques por segundo.
Si el primer símbolo de cada bloque es
siempre el mismo (sincronización) y los
restantes pueden ser cualquiera de los 8
símbolos de la fuente. Calcular la Tasa de
Información R y la velocidad de señalización.
Slide 13
Ejercicios
• Ejercicio 7: Supongamos una fuente binaria
cuyos símbolos tienen las siguientes
probabilidades:
P(0) = 1/3
P(1) = 2/3
a. Calcular la entropía.
b. Considerar una fuente de segundo orden de la
anterior, definir los nuevos símbolos, su
probabilidad y la nueva entropía.
c. Idem al anterior pero considerando una fuente
de tercer orden.
Slide 14
Ejercicios
• Ejercicio 8: Una fuente produce 5 símbolos con
probabilidades 1/2, 1/4, 1/8, 1/16 y 1/16. Calcular la
entropía de la fuente.
Slide 15
Ejercicios
• Ejercicio 9: Un fax transmite una imagen que tiene
250 líneas horizontales y 200 puntos por línea. Si
cada punto puede tomar 32 niveles equiprobables de
brillo, calcular la Información de la imagen. Si la
imagen una vez explorada se almacena
eléctricamente en una memoria y se envía por un
canal de transmisión de 208,33 bit/seg. ¿Cuánto
tiempo se tarda en transmitirla?