Transcript Complementos de Procesado de Señales y Comunicaciones Ángel de la Torre

Complementos de Procesado
de Señales y Comunicaciones
PROGRAMA DE POSGRADO EN
SISTEMAS MULTIMEDIA
Ángel de la Torre
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
1
Organización 2ª parte:
• La cuantización en procesado de señales y
comunicaciones.
• Cuantización escalar.
• Cuantización vectorial.
• Presentación de trabajos.
– ( 1/2 hora y/o memoria)
Transparencias en:
http://www.ugr.es/~atv
E-mail: [email protected]
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
2
La cuantización en procesado de
señales y comunicaciones
• La cuantización para adquisición de señales:
– Representación digital de señales:
• Muestreo
• Cuantización
• Codificación
• Para procesamiento digital de señales:
– Compresión de datos
– Transmisión de datos
– Reconocimiento de formas
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
3
Adquisición de señales
• Muestreo:
– Discretizar el
tiempo:
x(t) => x(n)
• Cuantización:
– Discretizar la
variable:
x(n) => ^
x(n)
• Codificación
1
0.8
0.6
0.4
0.2
0
-0.2
-0.4
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
0
0.2
0.4
0.6
0.8
1
4
Circuitos para adquisición de señales
vref
-
-
+
+
A/D
Codif.
• Amplificación y
Filtrado
• Muestreo
• Retención
• Cuantización
• Codificación
Rl
• Características circuitos de adquisición de señales:
• Número de bits: B bits => 2B estados
• Rango de entrada: Vref
• Tiempo de conversión (limita freq. muestreo)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
5
Conversor de comparadores en paralelo
vref
vi
• Diseño simple
• Rápido
• Caro:
-
+
+
Conversor de
códigos
+
-
– Para N bits, 2N
comparadores
• Fácil determinar el
nivel de referencia
• Fácil establecer
valores de los cuantos
+
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
6
Conversor de contador
Control (Ts)
• Más barato:
AND
contador
Rl
D/A
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
• Mucho más lento:
Conversor de
códigos
+
vi
– Sólo 1 comparador
reset
– Requiere 2N pulsos
de reloj para
cuantizar
7
Diagrama de bloques de un sistema
adquisición de datos
x(t)
^x(n)
x(n)
m
Q
bits
Codif.
Almacenamiento
DSP
Transm. Digital
Etc.
Representación digital
de la señal x(t)
• Muestreo: discretización en el tiempo: no hay
pérdida de información (T. Muestreo)
• Cuantización: discretización en amplitud (pérdida de
información)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
8
Representación digital de señales
• Precisión finita:
– Concepto de ruido de cuantización.
• Velocidad de transmisión:
– Fs B (bits por segundo) (bit-rate)
• Compromiso entre ruido de cuantización y
bit-rate
– Precisión – recursos DSP / canal
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
9
Cuantización escalar
• Señales muestreadas unidimensionales:
x(n)
F(n,m)
{F1(n,m),F2(n,m),F3(n,m)}
• Cuantización instantánea:
– Uniforme
– Compresión instantánea
• Cuantización adaptable:
– Hacia adelante
– Hacia atrás
• Cuantización diferencial
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
10
Cuantización uniforme
• Todos los cuantos son iguales: D
• B bits => 2B niveles en [–Xmax,Xmax]
• Xmax= 2B-1 D
100
011
010
^x
001
000
D
x
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
11
Cuantizador de
media contrahuella
^x
Cuantizador de
media huella
^x
x
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
x
12
Ruido de cuantización
Relación señal ruido
Estimación de la SNR (señal / distribución)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
13
Cálculo del ruido de cuantización (ejemplo)
Saturación:
Relación señal ruido:
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
14
Cálculo del ruido de cuantización (ejemplo)
B = 8 bits => SNR = 40.8 dB
B = 12 bits => SNR = 64.8 dB
B = 16 bits => SNR = 88.8 dB
En procesamiento de audio:
80 dB......... HiFi
60 dB......... Equipos música gama media
40 dB......... Ruido se aprecia
20 dB......... Teléfono
<10 dB....... Molesta / dificultades para entender voz
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
15
Cuantización vs. Saturación
• Si Xmax >> 4 sx:
p(x)
– Poco ruido de saturación
– Mucho ruido de cuantización
-Xmax
Xmax
• Si Xmax << 4 sx:
p(x)
– Mucho ruido de saturación
– Poco ruido de cuantización
• Ajuste de nivel de entrada crítico
(ganancia de entrada)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
-Xmax
Xmax
16
Ejercicio 1
• a) En el ejemplo anterior, calcular SNR
asociada al ruido de saturación.
– p(es)
– s e2
– SNR
• b) Relación entre Xmax y sx para cuantización
óptima.
– SNRsat = SNRQ
– (depende de B)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
17
Ejercicio 2
• A partir de una señal de voz muestreada,
cuantizarla fijando varios valores de Xmax y B:
– a) Estimar la SNRsat y la SNRQ para cada Xmax, B
– b) Buscar el valor óptimo Xmax para 6 bits
– c) Determinar el número de bits mínimo para una
SNR de 12 dB.
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
18
Compresión instantánea
• Problema de Q-uniforme:
– Hay que preocuparse del nivel de la señal
• Objetivo compresión instantánea:
– SNR independiente de nivel de señal
• Cuantos D diferentes: D /x ≃ cte
^y
x
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
19
^y
y
log
sgn
Q
sgn(x)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
Codif.
x
Decod.
Compresión logarítmica
^y
^
|x|
^x
log
sgn(x)
20
^y
y
F
sgn
Q
sgn(x)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
Codif.
x
Decod.
Otras leyes de compresión: ley m
^y
ley A
^
|x|
^x
F-1
sgn(x)
21
1
0.9
m=255
0.8
m=20
0.7
m=5
0.6
0.5
m=0
0.4
0.3
0.2
0.1
0
0
0.2
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
0.4
0.6
0.8
1
22
1
0.9
A=87.6
0.8
A=20
0.7
A=5
0.6
A=2
0.5
0.4
0.3
0.2
0.1
0
0
0.2
0.4
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
0.6
0.8
1
23
Ejercicio 3
• Repetir el ejercicio 2 para compresión ley-m
con m=255.
Ejercicio 4
• Demostrar la expresión de la SNR para ley-m.
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
24
Cuantización adaptable
• Interesa D grande para evitar saturación
• Interesa D pequeña para reducir eq
• Señales no estacionaria:
sx2 varía con el tiempo
Solución:
Adaptar G ó D a la
varianza de la señal
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
25
Adaptación de D o de G
• Estimación local de sx2 :
– Mediante filtro pasa-baja aplicado sobre x2(n):
• Problemas:
– Causalidad
– Retardo
– Tiempo de estabilización
• Como sx2 varía lentamente, se calcula y transmite
únicamente cada N muestras
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
26
Adaptación hacia adelante
^x(n)
x(n)
Q
bits
Codificador
^x’(n)
Decodif.
Adapt. D
x(n)
^y(n)
y(n)
Q
^y’(n)
bits
Codif.
Decodif.
^x’(n)
÷
Adapt. G
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
27
Adaptación hacia atrás
^x(n)
x(n)
Q
bits
Codificador
Decodif.
Adapt. D
x(n)
Adapt. D
^y(n)
y(n)
Q
^x’(n)
^y’(n)
bits
Codif.
Adapt. G
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
Decodif.
^x’(n)
÷
Adapt. G
28
Cuantización adaptable: limitaciones
• Útil si la varianza varía lentamente
• Adaptación hacia delante:
– Requiere precisión en la transmisión del
cuanto o de la ganancia
– ¿Qué ocurre si la varianza cambia
demasiado rápidamente?
• Adaptación hacia atrás:
– Sensible a errores de transmisión (el
resultado depende de toda la historia del
sistema)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
29
Ejercicio 5
• Repetir el ejercicio 2 para cuantización adaptable
hacia adelante. Cambiar la ventana utilizada para la
estimación de la varianza. Hacerlo con señales cuya
varianza cambia poco y cuya varianza cambia mucho.
Ejercicio 6
• Repetir el ejercicio 2 para cuantización adaptable
hacia atrás. Introducir errores en el código transmitido
y determinar la SNR de la señal en función del
porcentaje de bits cambiados.
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
30
Cuantización diferencial
• Si la señal varía lentamente, la varianza
de [x(n)-x(n-1)] es mucho menor que la
de x(n)
• Q diferencial:
– Cuantizaión de x(n)-x(n-1)
• Q predictiva:
– Predicción de x(n): p(x(n))
– Cuantización del “error de predicción” d(n):
d(n)=x(n)-p(x(n))
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
31
Cuantización diferencial
x(n)
^d(n)
d(n)
Q
^d’(n)
bits
Codif.
Decodif.
^x(n)
p(x(n))
predic.
^x’(n)
predic.
p(x(n))
Ganancia de predicción:
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
32
Predicción lineal (LPC)
• Predicción: combinación lineal de p muestras
anteriores
• Coeficientes: se determinan para maximizar la
ganancia de predicción (minimizar sd2)
• Sistema de p ecuaciones con p incógnitas
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
33
Predicción lineal de orden 1
• Sólo hay que calcular 1 coef. predicción lineal:
• Si r(1) próximo a 1, mucha ganancia de
predicción
• Si r(1) << 1, poca ganancia de predicción
• Si r(1) < 0 => Gp < 1
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
34
¿Dónde está el truco?
• Compresión:
reducir la cantidad de datos sin perder
información
• Aprovechar redundancias:
Si se puede obtener una Gp muy alta
es porque la fs es muy alta
• Bit – rate para una determinada SNR
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
35
Ejercicio 7
• Repetir el ejercicio 2 para cuantización
diferencial con predicción lineal de orden 1.
– Usar una señal con fmax<fs/8
– Calcular el bit-rate para una SNR de 12 dB
– Sub-muestrear la señal dividiendo por 8 fs y volver
a construir el cuantizador
– Recalcular el bit-rate para SNR de 12 dB
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
36
Cuantización de vectores
• Señales unidimensionales:
A(n)
A(n,m)
• Señales vectoriales:
{A1(n,m),A2(n,m),A3(n,m)}
• Eficiencia cuantización: aprovechar los estados
–
–
–
–
Cuantización uniforme: ajuste de nivel
Compresión instantánea
Cuantización adaptable
Cuantización diferencial
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
37
Cuantización vectorial (VQ)
• Correlaciones temporales:
– Cuantización diferencial (predicción)
• Correlaciones entre componentes de señal
vectorial:
– Cuantización vectorial (VQ)
• La cuantización vectorial permite aprovechar
las correlaciones entre componentes
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
38
Cuantización escalar / vectorial
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
39
Cuantización escalar / vectorial
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
40
Cuantización escalar / vectorial
36 centroides
28 centroides
VQ reduce el error de cuantización
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
41
Diagrama VQ
bits
x(n) VQ
l
c
010
000
001
100
x1
x2
011
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
Codif.
Decod. c
l
• Cada vector se sustituye
por el centroide más
próximo
• Se transmite el código del
centroide
• Diccionario VQ
• Error de cuantización
42
Proceso de cuantización
• El espacio vectorial se divide en K regiones disjuntas
• Un vector se sustituye por el vector característico
asociado a su región (centroide)
• Se transmite el código que identifica al centroide
• El receptor sustituye el código por el centroide
• Regiones definidas por centroides y una DISTANCIA
(usualmente la distancia euclídea)
• Diseño diccionario VQ: decidir dónde se ponen los
centroides de modo que se2 sea mínimo:
ENTRENAMIENTO DEL DICCIONARIO
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
43
Diseño diccionario VQ
• Algoritmo k-medias (k-means) o algoritmo LBG
(Linde-Buzo-Gray 1980):
“An algorithm for Vector Quantizer Design”
Y. Linde, A. Buzo, R. Gray, IEEE Trans. on Communications, Vol 28,
num. 1, Jan-1980 pp 84-95
• Algoritmo: para 2B centroides:
–
–
–
–
Inicializacion: centroide 1: media
Bipartición con perturbación
Clasificación y reestimación de centroides iterativa
Cuando converge, si no tenemos los 2B centroides,
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
44
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
45
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
46
Ejercicio 8
• Construir un diccionario VQ para los valores
RGB de una imagen, mediante algoritmo kmedias:
– Escribir distorsión para cada iteración, para cada
valor del número de centroides.
– Dibujar la imagen cuantizada con 4,8 y 16
centroides.
– Determinar la SNR y el número de bits necesario
para codificar la imagen
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
47
Distorsión promedio
Capacidad de generalización
Vectores no de
entrenamiento
Vectores de
entrenamiento
Núm vectores entrenamiento
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
48
Ejercicio 9
• Verificar para qué número de vectores de
entrenamiento el algoritmo k-medias
generaliza al cuantizar los valores RGB de
una imagen:
– Separar los pixels de la imagen en pixels para
“entrenamiento” y pixels para “test” de forma
aleatoria.
– Entrenar con parte de los pixels de entrenamiento y
analizar la distorsión promedio de entrenamiento y
de test.
– Repetir los calculos para cuantización con 4,8 y 16
centroides.
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
49
Dimensionalidad en VQ
• 2 dimensiones: hipercubo con 22 esquinas (4)
• 20 dimensiones: hipercubo con 220 esquinas
(1.048.576)
• Problemas:
– La distancia entre cada vector y el más próximo es
grande
– Es difícil la generalización
– Hacen falta muchos vectores de entrenamiento
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
50
Ejercicio 10
• Generar un conjunto de vectores aleatorios de
dimensión N. Distribuirlos en dos particiones
(entrenamiento y test):
– Calcular la relación entre la varianza y la “distancia
promedio al vecino más próximo”, en función del
número de dimensiones.
– Calcular la capacidad de generalizar en función del
número de dimensiones (relación entre distorsión
de entrenamiento y distorsión de test)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
51
Entrenamiento adecuado
• Factores involucrados:
– Número de dimensiones
– Número de vectores de entrenamiento
– Número de centroides
• Consecuencias de mal entrenamiento:
– En codificación
– En compresión
– En reconocimiento de formas
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
52
La distancia
• Usualmente se usa distancia euclídea:
– Sensible a transformaciones no ortonormales:
• Compresión de un eje
• Transformaciones no lineales
• El algoritmo k-medias trata de minimizar la distancia
entre vectores de entrenamiento y los centroides más
próximos
• Importancia de esto en:
– codificación
– reconocimiento
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
53
Ejercicio 11
• Cuantizar los niveles RGB de una imagen.
• Comprimir la componente R en la definición
de la distancia y volver a cuantizar.
• Comparar ambos resultados
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
54
Aplicaciones VQ
• Compresión y codificación de voz
• Compresión de imágenes
• Reconocimiento de formas
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
55
VQ en Reconocimiento de formas
Reconocimiento de formas:
Clases
Objetos representados por
vectores
Conjunto de vectores de
entrenamiento
Planteamiento:
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
56
Marco estadístico
Clase reconocida
Regla de Bayes
Determinación clase
reconocida
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
57
Probabilidad a priori de la clase
Densidad de probabilidad de que la clase
genere el vector
MODELO DE GENERACIÓN DE VECTORES
VQ se utiliza para construir el modelo
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
58
Construcción pdf
1.- Cálculo de centroides k-medias
2.- Cada centroide: media, matriz
de covarianza y Mk vectores
asociados
3.- Construcción pdf para la nube
de vectores asociada a cada
centroide: (usualmente una
Gaussiana)
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
59
Construcción de la Gaussiana
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
60
Construcción pdf
4.- Probabilidad a priori de
cada Gaussiana
5.- Probabilidad de que la
clase genere el vector
observado
Aproximación:
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
61
Reconocimiento patrones: Resumen
• Para cada clase:
– Probabilidad a priori de la clase
– Centroides con VQ
– Para cada centroide:
• pdf asociada a cada centroide
• probabilidad a priori del centroide
– pdf de la clase
• Comparación entre clases
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
62
Ejercicio 12
• Leer una imagen con un “paisaje”.
• Con un trozo de “cielo” y un trozo de “no-cielo”
entrenar modelos de “cielo” y de “no cielo”
utilizando como vector de características los
valores RGB.
• Clasificar los pixels de la imagen a partir de
los modelos de “cielo” y “no-cielo” anteriores.
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
63
Clasificación y VQ
• Un clasificador separa el espacío de
representación en tantas regiones como
clases
• Superficies de separación más
complejas que en VQ:
– Clasificador: definidas a partir de “probabilidad
máxima”
– VQ: definidas con criterio “distancia mínima”
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
64
Criterios de entrenamiento
• Maximum Likelihood (ML)
– La pdf de cada clase se construye de modo que
represente de forma óptima los vectores de esta
clase (mínima distorsión promedio)
• Minimum Classification Error (MCE)
– La pdf de cada clase se construye de modo que
se minimice el error de clasificación de vectores
de entrenamiento.
• ¿Cuándo interesa ML ó MCE?
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
65
Entrenamiento discriminativo
Elementos a entrenar
Estimación iterativa de los
elementos a entrenar para
minimizar una “función de coste”
Cuando se entrenan discriminativamente los centroides
de un clasificador, éstos se mueven, de modo que las
fronteras entre las clases se desplazan hasta minimizar
el error de entrenamiento.
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
66
Formulación
Función de coste
Función de coste
para cada
elemento
Medida del error
Función
discriminante
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
67
Formulación
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
68
Problemas del entrenamiento
discriminativo
• Alcanza mínimos locales
– El algoritmo no garantiza una solución
globalmente óptima
– (Combinación con algoritmos genéticos)
• Problema de sobreentrenamiento
– Excesivamente adaptado a datos de
entrenamiento: pierde capacidad de
generalización
ATV 2007 – Dpto. Teoría de la Señal, Telemática y Comunicaciones - UGR
69