Transcript Tema 8 teoria

Análisis de asociación
Parte teórica
Tema 8
Minería de datos
Dr. Francisco J. Mata
1
Análisis de asociación
Encuentra reglas de asociación las cuales
especifican cuáles eventos pueden ocurrir
simultáneamente
Análisis de canasta de supermercado
Objetos que se consumen simultáneamente
Análisis de patrones secuenciales
Orden en que las cosas ocurren
Minería de datos
Dr. Francisco J. Mata
2
Análisis de canasta de supermercado
Minería de datos
Dr. Francisco J. Mata
3
Aplicaciones de análisis de canasta de
supermercado
 Elementos comprados simultáneamente
 Compras hechas con una misma tarjeta de
crédito (ej., hotel y carro de alquiler)
 Servicios optativos u opcionales
 Combinaciones inusuales en reclamos de
seguros (pueden ser un indicador de fraude)
 Combinaciones de tratamiento e historia de
pacientes (pueden indicar complicaciones)
Minería de datos
Dr. Francisco J. Mata
4
Asociación
Útil para
Minería indirecta
Utilizada como punto de arranque
Puede servir para plantear hipótesis de
asociaciones en minería directa
Diferencia entre almacenes nuevos y viejos
Minería de datos
Dr. Francisco J. Mata
5
Tipos de reglas
 Útiles
Los días jueves los compradores de supermercados
frecuentemente compran pañales desechables y
cerveza
 Triviales
Consumidores que compran contratos de
mantenimiento son más propensos a comprar
electrodomésticos grandes
 Inexplicables
Al abrir un almacén de ferretería nuevo, uno de los
productos más vendidos son sillas de inodoro
Minería de datos
Dr. Francisco J. Mata
6
Datos para el análisis de canasta de
supermercado
Minería de datos
Dr. Francisco J. Mata
7
Preparación de datos para análisis de
canasta de supermercado
Minería de datos
Dr. Francisco J. Mata
8
Análisis de canasta de supermercado
Cliente
Productos adquiridos
Transacciones
1
jugo, soda
2
leche, jugo, limpiador ventanas
3
jugo, detergente
4
jugo, detergente, soda
5
limpiador ventanas, soda
Tabla de co-ocurrencia
de ítems
Jugo
Limpiador
ventanas
Leche
Soda
Detergente
Jugo
4
1
1
2
2
Limpiador
ventanas
1
2
1
1
0
Leche
1
1
1
0
0
Soda
2
1
0
3
1
Detergente
2
0
0
1
2
Minería de datos
Dr. Francisco J. Mata
9
Análisis de canasta de supermercado
Extensión de una tabla de co-ocurrencia a 3 dimensiones
Minería de datos
Dr. Francisco J. Mata
10
Reglas de asociación
Jugo
Limpiador
ventanas
Leche
Soda
Detergente
Jugo
4
1
1
2
2
Limpiador
ventanas
1
2
1
1
0
Lecha
1
1
1
0
0
Soda
2
1
0
3
1
Detergente
2
0
0
1
2
Patrones que se pueden observar
1. Jugo y soda al igual que jugo y detergente son más propensos
a comprarse juntos que cualquiera otros dos productos
2. Detergente nunca se compra con limpiador de ventanas o
leche
3. Leche nunca se compra con soda o detergente
Minería de datos
Dr. Francisco J. Mata
11
¿Qué tan buena es una regla de
asociación?
Confianza
Número de transacciones con todos los ítemes
mencionados en la regla dividido por el número
de transacciones con los ítemes que aparecen
en la parte si de la regla
Proporción de transacciones en las cuales la
regla es verdadera
• p(condición y resultado)/p(condición)
Minería de datos
Dr. Francisco J. Mata
12
¿Qué tan buena es una regla de
asociación?
Cliente
Productos adquiridos
Transacciones
1
jugo, soda
2
leche, jugo, limpiador ventanas
3
jugo, detergente
4
jugo, detergente, soda
5
limpiador ventanas, soda
 ¿Cuál es la confianza para la regla si un cliente compra soda entonces
también compra jugo?:
 2 de 3 compras de soda también incluyen jugo, por lo tanto 67%
 p(soda y jugo)/p(soda)= 0.4/0.6=67%
 ¿Cuál es la confianza de la regla reversa: si un cliente compra jugo
entonces también compra soda?
 2 de 4 compras de jugo también incluyen soda, por lo tanto 50%
 p(jugo y soda)/p(jugo)=0.4/0.8=50%
Minería de datos
Dr. Francisco J. Mata
13
¿Qué tan buena es una regla de
asociación?
Apoyo
Número de transacciones que contienen todos
los ítemes que aparecen en la regla dividido
entre el número total de transacciones
Porcentaje de transacciones que contienen todos los
ítemes que aparecen en la regla
• p(condición y resultado)
Minería de datos
Dr. Francisco J. Mata
14
¿Qué tan buena es una regla de
asociación?
Cliente
Productos adquiridos
Transacciones
1
jugo, soda
2
leche, JN, limpiador ventanas
3
jugo, detergente
4
jugo, detergente, soda
5
limpiador ventanas, soda
 ¿Cuál es la apoyo para la regla si un cliente compra soda entonces también
compra jugo?:
 2 de 5 compras contienen de soda y jugo, por lo tanto 40%
 p(soda y jugo)=2/5=40%
 ¿Cuál es el apoyo de la regla reversa: si un cliente compra jugo entonces
también compra soda?
 La misma de la regla anterior, 40%
 p(soda y jugo)=p(jugo y soda)
Minería de datos
Dr. Francisco J. Mata
15
¿Qué tan buena es una regla de
asociación?
 “Lift” o mejoría
Mide cuánto mejor es una regla para predicción que una
estimación hecha tomando un cliente al azar
Número de transacciones que soportan la regla dividido
entre número de transacciones esperado asumiendo
que no existe relación entre los ítemes
 p(condición y resultado)/(p(condición) * p(resultado))
Cuando el lift < 1 la regla es peor que una estimación
educada y la negación de la regla produce una mejor
regla que una estimación al azar
Minería de datos
Dr. Francisco J. Mata
16
¿Qué tan buena es una regla de
asociación?
Cliente
Productos adquiridos
Transacciones
1
jugo, soda
2
leche, jugo, limpiador ventanas
3
jugo, detergente
4
jugo, detergente, soda
5
limpiador ventanas, soda
 ¿Cuál es el “lift” para la regla si un cliente compra soda
entonces también compra jugo?:
 p(soda y jugo)/(p(soda) * p(jugo))=0.4/(0.6 * 0.8)=0.83
 ¿Cuál es el “lift” de la regla negada: si un cliente compra
soda entonces no compra jugo?
 p(soda y no jugo)/(p(soda) * p(no jugo))= 0.2/(0.6 * 0.2)=1.66
Minería de datos
Dr. Francisco J. Mata
17
Ejercicio
Ítemes
A
B
C
AyB
AyC
ByC
B y C y no A
AyByC
Probabilidad
45%
42.5%
40%
25%
20%
15%
?????
5%
Calcular apoyo, confianza y “lift” para reglas si A y B entonces C, si A y C
entonces B, si B y C entonces A, y si A entonces B
Minería de datos
Dr. Francisco J. Mata
18
Respuesta
Apoyo
Confianza
“Lift”
Si A y B
entonces C
5%
20%
0.50
Si A y C
entonces B
5%
25%
0.59
Si B y C
entonces A
5%
33%
0.74
Si A entonces B
25%
59%
1.31
Regla
Minería de datos
Dr. Francisco J. Mata
19
Pasos básicos para obtener reglas de
asociacíón
Minería de datos
Dr. Francisco J. Mata
20
Seleccionar conjunto adecuado de
ítemes
Debe considerarse necesidades del
negocio
Nivel de detalle debe ser adecuado
Minería de datos
Dr. Francisco J. Mata
21
Seleccionar conjunto adecuado de
ítemes
Minería de datos
Dr. Francisco J. Mata
22
Seleccionar conjunto adecuado de
ítemes
Minería de datos
Dr. Francisco J. Mata
23
Seleccionar conjunto adecuado de
ítemes
 Taxonomías de productos son de utilidad
 Análisis de asociación produce mejores
resultados cuando los productos aparecen
aproximadamente en el mismo número de
transacciones (reglas no están dominadas por
los productos más comunes)
 Productos raros pueden ser subidos en la
taxonomía para que aparezcan más
frecuentemente
Minería de datos
Dr. Francisco J. Mata
24
Ítemes virtuales
Ítemes virtuales no aparecen en la
taxonomía
Pueden ser agregados para identificar
Localización
Tiempo (día, mes)
Almacenes nuevos vrs. viejos
Marcas
Minería de datos
Dr. Francisco J. Mata
25
Ítemes virtuales
Deben ser escogidos cuidadosamente
para evitar reglas redundantes
Minería de datos
Dr. Francisco J. Mata
26
Ítemes virtuales
 Si reglas redundates aparecen entonces
utilice elementos generalizados
Minería de datos
Dr. Francisco J. Mata
27
Cálculo de probabilidades
Minería de datos
Dr. Francisco J. Mata
28
Determinar reglas
Minería de datos
Dr. Francisco J. Mata
29
Determinar reglas
Entre más “accionable” sea la regla mejor
En la práctica las reglas más accionables
tienen un ítem como resultado
Mejor: Si pañales desechables y jueves entonces
cerveza
Peor: Si jueves entonces pañales desechables y
cerveza
Minería de datos
Dr. Francisco J. Mata
30
Determinar reglas
Cuando el “lift” para una regla es menor
que 1, negar el resultado produce una
mejor regla
Minería de datos
Dr. Francisco J. Mata
31
El problema de reglas con muchos
ítemes
 Generar reglas de asociación requiere múltiples
pasos:
 Generar matriz de co-ocurrencias para un ítem
 Generar matriz de co-ocurrencia para dos ítemes (sirve para
generar reglas con dos productos)
 Generar matriz de co-ocurrencia para tres ítemes (sirve para
generar reglas con tres productos)
 Se puede continuar hasta el número total de ítemes
Cada paso incrementa exponencialmente el tiempo
Minería de datos
Dr. Francisco J. Mata
32
El problema de muchos ítemes
Número de combinaciones para 100 ítemes
Fórmula binomial
¡Un supermercado puede tener entre 10,000 y 30,000 productos!
Minería de datos
Dr. Francisco J. Mata
33
El problema de muchas transacciones
El número de transacciones por lo general
es muy grande
En el transcurso de un año una cadena de
supermecados de tamaño mediano puede
generar millones de transacciones
Minería de datos
Dr. Francisco J. Mata
34
Superación de limitaciones prácticas
 Soluciónes:
Utilizar “prunning” considerando un apoyo mínimo
(mínimo número de transacciones conteniendo la
combinación)
Si existe 1 millón de transacciones y se utiliza unapoyo
mínimo del 1% entonces sólo las reglas apoyadas por
10,000 transacciones serán consideradas
Apoyo mínimo tiene un efecto de cascada
• Si utilizamos el apoyo mínimo de 1% y la regla es si A, B
y C entonces D para que la combinación A, B, C y D
aparezca por lo menos un 1% todos los elementos en la
combinación deben aparecer por lo menos 1% y todas
las combinaciones de dos y tres elementos deben
aparecer por lo menos un 1%
Minería de datos
Dr. Francisco J. Mata
35
Superación de limitaciones prácticas
Solución:
Limitar el número de ítemes en una regla
Uso de taxonomías para reducir el número de
ítemes
Minería de datos
Dr. Francisco J. Mata
36
Algoritmo apriori
Mejora el rendimiento utilizando
conocimiento a priori
Utiliza “prunning”
Todos los subconjuntos de un conjunto
frecuente de elementos deben ser frecuentes
apoyo (I) < min_apoyo entonces apoyo (I unión
{a}) < min_apoyo para todo elemento a
Minería de datos
Dr. Francisco J. Mata
37
Algoritmo apriori
Pasos:
Sea L-1 el conjunto de k-1 elementos que
satisfacen el criterio de apoyo mínimo
Join para k elementos: añadir un ítem diferente a
cada uno de los elementos en L-1
Prune para k: eliminar todos los conjuntos de L con k
ítemes que no satisfacen el criterio de apoyo mínimo
Minería de datos
Dr. Francisco J. Mata
38
Ejemplo algoritmo apriori
Apoyo 2 o 2/9=22%
Minería de datos
Dr. Francisco J. Mata
39
Ejemplo algoritmo apriori
Apoyo 2 o 2/9=22%
Minería de datos
Dr. Francisco J. Mata
40
Fortalezas del análisis de canasta de
supermercado
Resultados se pueden entender
claramente
De gran utilidad para minería indirecta
Computacionalmente simple aunque con
crecimiento exponencial en tiempo
Minería de datos
Dr. Francisco J. Mata
41
Debilidades del análisis de canasta
de supermecado
Complejidad crece exponencialmente
conforme crece el tamaño del problema
Difícil determinar los elementos
apropiados
Elementos raros pueden producir
problemas
Minería de datos
Dr. Francisco J. Mata
42
Cuando aplicar análisis de
asociación
Problemas de minería indirecta que
consisten en elementos bien definidos los
cuales se agrupan de maneras
interesantes
Estos problemas ocurren usualmente en
el comercio, donde transacciones de
punto de venta son las bases del análisis
Minería de datos
Dr. Francisco J. Mata
43
Cuando aplicar análisis de
asociación
Se puede aplicar también en problemas
de minería directa
Comparar ventas en almacenes nuevos y
viejos
El algoritmo se puede modificar para
considerar reglas que contienen un
producto en particular (comprender sus
patrones de venta)
Minería de datos
Dr. Francisco J. Mata
44