Transcript Regresión logística Eva Medina Moral Profesora Economía Aplicada (UAM) Febrero 2007

Regresión logística
Eva Medina Moral
Profesora Economía Aplicada (UAM)
Febrero 2007
INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
INTRODUCCIÓN (I)
TÉCNICA DE ANALISIS DE GRUPOS
- Análisis Discriminante
- Regresión logística
Diferencias
ANÁLISIS DE REGRESIÓN
Y = f (X1, X2, …, XK)
con Y: variable categórica
f(): función logística
–
–
–
Método
Variables explicativas
Resultado
INTRODUCCIÓN (II)
AJUSTE LINEAL
Regresión tradicional
ENDOGENA v s. X1
Regresión logística
10
1.5
8
ENDOGENA
1.0
ENDOGENA
NUBE DE PUNTOS
A AJUSTAR
6
4
0.5
0.0
2
0
0
2
4
6
X1
8
10
-0.5
0
10
20
30
XI
PROBLEMAS DEL AJUSTE LINEAL:
–
–
–
Distribución no normal de la perturbación aleatoria
Heterocedasticidad
Valor estimado fuera del rango 0-1
40
50
60
INTRODUCCIÓN (III)
AJUSTE NO LINEAL
Modelo Probit
1
  X i
Yi  

1
e
1/ 2
(2 )
s2

2
ds  ui
0,5
Logit
Modelo Logit
Probit
0
Yi 
1
1 e
   k X k i
  X
e k ki
 ui 
 ui
 k X k i
1 e
INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
TIPOLOGÍA DE MODELOS LOGIT(I)
Respuesta binaria: LOGIT DICOTÓMICO
(0, 1)
Datos no ordenados:
LOGIT
LOGIT MULTINOMIAL
Respuesta múltiple
(1, 2, …, J)
Datos ordenados:
LOGIT ORDINAL
TIPOLOGÍA DE MODELOS LOGIT(II)
LOGIT DICOTÓMICO
Características:
Se modeliza una ecuación cuyo resultado se interpreta como
probabilidad de pertenencia al grupo codificado como 1.
Expresión general del modelo:
Pr ob(Yi  1) 
Ejemplo:
1
1 e
(   k X k i )
 k X k i
e

   k X ki
1 e
Para el caso de dos variables explicativas
Pr ob(Yi  1) 
1
1 e
  1 X 1i   2 X 2 i
  1 X 1i   2 X 2 i
e

  1 X 1i   2 X 2 i
1 e
TIPOLOGÍA DE MODELOS LOGIT(III)
LOGIT MULTINOMIAL
Características:
- Se modelizan tantas ecuaciones como alternativas tiene Y.
- Para cada variable se estiman tantos parámetros como alternativas
de Y menos una.
- Es necesario identificar una categoría de referencia.
Expresión general del modelo:
Pr ob(Yi  0) 
1
J 1
1  e
 kj' X ki
para j  0
j 1
Pr ob(Yi  j ) 
e
 kj' X ki
J 1
1  e
j 1
 kj' X ki
para j  1, 2, ..., ( J  1)
TIPOLOGÍA DE MODELOS LOGIT(IV)
LOGIT MULTINOMIAL
Ejemplo:
Para el caso de 3 alternativas de Y (la primera es la que se toma como
referencia) y 2 variables explicativas
Pr ob(Yi  1) 
1
1  e 2  12 X1i   22 X 2 i  e 3  13X1i   23X 2 i
e 2  12 X1i   22 X 2 i
Pr ob(Yi  2) 
 2  12 X 1i   22 X 2 i
 3  13 X 1i   23 X 2 i
1 e
e
Pr ob(Yi  3) 
 3  13 X 1i   23 X 2 i
e
1  e 2  12 X1i   22 X 2 i  e 3  13X1i   23X 2 i
TIPOLOGÍA DE MODELOS LOGIT(V)
LOGIT ORDINAL
Características:
- Se modelizan tantas ecuaciones como alternativas tiene Y.
- Se estima un parámetro para cada variable explicativa y tantos
parámetros “límites” como alternativas tiene Y menos una.
Expresión general del modelo:
Pr ob(Yi  0)  ( k ' X k i )
Pr ob(Yi  1)  ( 1   k ' X ki )  ( k ' kXi )
Pr ob(Yi  2)  ( 2   k ' X ki )  ( 1   k ' X ki )
...
Pr ob(Yi  ( J  1))  1  ( ( J  2)   k ' X k i )
TIPOLOGÍA DE MODELOS LOGIT(VI)
LOGIT ORDINAL
Ejemplo:
Para el caso de 3 alternativas de Y y 2 variables explicativas
Pr ob(Yi  1) 
1
1  e LIMIT1  1 X1i   2 X 2 i 
1
1
Pr ob(Yi  2) 

 LIMIT2   1 X 1i   2 X 2 i 
 LIMIT1   1 X 1i   2 X 2 i 
1 e
1 e
Pr ob(Yi  3)  1 
1
1  e LIMIT2  1 X 1i   2 X 2 i 
INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
ETAPAS PARA CONSTRUIR UN MODELO LOGIT(I)
ESPECIFICACIÓN
ESTIMACIÓN
VALIDACION
UTILIZACIÓN
Definición de la variable endógena,
explicativas y forma funcional
Cálculo de los parámetros
Individual: Ver que variables resultan
significativas estadísticamente
Conjunta: Ver si en conjunto el modelo es
aceptable
Predicción
Interpretación de los parámetros
ETAPAS PARA CONSTRUIR UN MODELO LOGIT(II)
ESTIMACIÓN
Método de máxima verosimilitud
max prob Yi  Yˆi
max prob ui  0
max prob u1  0 y u2  0 y ... y un  0
max f (u )  f (u1 ) * f (u2 ) * ... * f (un )
max log( f (u ))  log( función de verosimili tud )  log( L)
 e  X i 

e  X i 
log L   Yi ln 
 (1  Yi ) ln 1 
  X i  
  X i 
1

e
1

e




RESOLUCIÓN A TRAVÉS DE UN ALGORITMO DE OPTIMICACIÓN
ETAPAS PARA CONSTRUIR UN MODELO LOGIT(III)
VALIDACIÓN
INDIVIDUAL: Contraste de hipótesis
1.
H0 :   0
2
 ˆ

2. Estadístico de contraste Wald      
 DT ( ˆ ) 


Distrib.
similar a
t2
ˆ
2




 DT ( ˆ )  


Distrib.
similar a t2
si H0 cierta
3. Regla de decisión
Acepto H0 si:
0,30
0,25
0,20
 /2
0,15
0,10
1. Pseudo
R2 =
17
15
 t n / k2
13
11
7
5
3
1
 t n / k2
CONJUNTA
9
0,00
Niv. sig. > 
19
0,05
 /2
t
Valor de estadístico Wald < n  k
log L(completo)
1
log L(reducido )
3. Razón de Verosimilitud = X2 =
 2 log L(reducido)   2 log L(completo)
2. Porcentaje de aciertos: a través de un punto de corte
ETAPAS PARA CONSTRUIR UN MODELO LOGIT(IV)
UTILIZACIÓN
PREDICCIÓN
Yˆi 
1
1 e
ˆ  ˆk X k i
Signo
INTERPRETACIÓN DEL PARÁMETRO:
Yˆi
  xi

e
Ratio odds:
1  Yˆi
Yˆi
   xi
Razón entre 1  Yˆ
e
i
odds:
   x j
ˆ
Yj
e
1  Yˆ
Cuantía
Caso especial:
Obs j con x=x
Obs i con x=x+1
j
Efecto Marginal:
EM i  ˆk *Yˆi * (1  Yˆi )
e  x     x  e 
INDICE
INTRODUCCIÓN
TIPOLOGÍA DE MODELOS LOGIT
ETAPAS PARA CONSTRUIR UN MODELO LOGIT
APLICACIÓN PRÁCTICA
APLICACIÓN PRÁCTICA
1. LOGIT DICOTÓMICO
- Salida básica
- Salida completa
-
Identificación de atípicos
- Otros estadísticos para la valoración global del modelo
- Elección del punto de corte óptimo: Curva COR
- Tratamiento de las variables categóricas
- Cálculo del Efecto Marginal
- Estimación por pasos
2. LOGIT MULTINOMIAL
3. LOGIT ORDINAL