Customer Intelligence Overview

Download Report

Transcript Customer Intelligence Overview

Una guía para hacer Data Mining en la Empresa Guido Sagasti

Consultor Pilar, 16 de Octubre de 2009

AGENDA

   

Presentación Corporativa SAS Guía para hacer Data Mining en la Empresa



Problemática

 

Es necesaria una metodología Algunos consejos Metodología SAS para Data Mining: SEMMA en SAS Enterprise Miner.

Errores más comunes en el desarrollo de modelos analíticos.



Aumente la Rentabilidad y Potencie su Negocio

• El análisis de grandes volúmenes de datos está afectando nuestras vidas en forma impensada.

• Sin Analytics estamos trabajando sobre supuestos, intuición.

• Las organizaciones que usan Analytics son exitosas, logran ahorros reales y aumentan su rentabilidad.

• Analytics es diferenciador, implica mejores decisiones.

SAS

 Empresa de soluciones analíticas privada más grande del mundo   Más de 400 oficinas Clientes en 113 países diferentes  Más de 11,000 empleados  Más de 2,000 empleados en R&D  Más de 43,000 Clientes  Foco en Business Analytics 

Soluciones de acuerdo al tamaño de las empresas

2008 Performance

$2.26B en facturación (USD)

De los Datos a la Inteligencia

Qué es lo mejor que podría pasar?

Optimización

Qué será lo próximo que va a pasar?

Qué pasa si esta tendencia continúa?

Forecasting Modelado Predictivo

Por qué está pasando?

Análisis Estadístico Alertas

Qué acciones son necesarias?

Query Drill-Down Reportes

Dónde está exactamente el problema?

Reportes Standard Ad-Hoc

Cuánto, con qué frecuencia, dónde?

Qué pasó?

Grado de Inteligencia

REPORTES STANDARD Preguntas: Qué pasó? Cuándo pasó?

Ejemplo: Reportes financieros mensuales o trimestrales.

Estos reportes son generados regularmente y muestran solamente qué pasó en un área particular. Son útiles en cierto modo, pero no para tomar decisiones de largo plazo.

REPORTES AD-HOC Preguntas: Cuántos? Con qué frecuencia? Dónde?

Ejemplo: Reporte que sumariza la cantidad de clientes atendidos en un hospital por código de diagnóstico y día de la semana.

Como máximo, los reportes ad-hoc permiten obtener respuestas a preguntas sencillas.

QUERY DRILL-DOWN, OLAP Preguntas: Dónde está exactamente el proglema? Cómo encuentro las respuestas?

Ejemplo: Qué locales fueron los que tuvieron caídas más importantes en las ventas? Y qué categorías dentro de esos locales?.

Query drill-down brinda mayor capacidad de investigación sobre los datos, permitiendo profundizar y obtener respuestas para diferentes criterios de análisis.

ALERTAS Preguntas: Cuándo debería reaccionar? Qué acciones se necesitan ahora?

Ejemplo: Ejecutivos de ventas reciben alertas cuando no se están cumpliendo los objetivos de comerciales.

Con alertas, es posible entender cuándo se tiene un problema y ser notificado cuando una situación similar ocurre en el futuro. Las alertas pueden ser por email, RSS Feeds, o semáforos rojos en un scorecard o dashboard.

ANALISIS ESTADISTICO Preguntas: Qué está pasando? Porqué esta pasando? Qué oportunidades estamos perdiendo?

Ejemplo: Qué factores influenciaron el aumento de llamadas al Call Center? Qué condiciones cumplen los grupos de más altas tasas de resolución?

Estas preguntas requieren aplicar análisis estadístico, desde análisis de frecuencias hasta modelos de regresión.

FORECASTING Preguntas: Qué pasa si continúa esta tendencia? Cuánto se necesita? Cuándo?

Ejemplo: Retailers pueden predecir la demanda de cada Item en cada Local.

Forecasting aplica en todas las organizaciones. Puede utilizarse para proyectar Demanda de Productos y Servicios, Consumo de Energía, Cantidad de Llamadas en un Call Center, Utilización de Recursos de IT, etc.

MODELADO PREDICTIVO Preguntas: Qué pasará a continuación? Cómo afectará a mi negocio?

Ejemplo: Bancos pueden predecir qué clientes son más propensos a contratar un nuevo producto o servicio, detectar posibles fraudes y evaluar el riesgo crediticio.

Si tenemos 10 millones de clientes y queremos realizar una campaña de marketing, quiénes serán los más propensos a responder? Cómo debemos segmentar a nuestros clientes? El modelado predictivo brinda las respuestas.

OPTIMIZACION Preguntas: Cómo hacemos las cosas mejor? Cuál es la mejor decisión ante un problema complejo? Qué pasa si las condiciones cambian?

Ejemplo: Dadas las prioridades del negocio, restricciones de recursos y tecnología disponible, determinar la manera de optimizar la plataforma de IT satisfaciendo las necesidades de los usuarios.

La Optimización soporta la Innovación. Considera recursos y objetivos y ayuda a encontrar la mejor solución posible para cumplirlos.

SAS: Pasado vs. Presente

Pasado – Poderosa Herramienta Presente – Soluciones de Negocios

proc catmod

order=data; weight wt; response / out=preds; model severity=trt hospital;

run

;

quit

; /* Keep just the predicted values, predictors, and response */

data

pred2; set preds; if _type_='PROB'; keep severity trt hospital _pred_;

run

; /* Find predicted response level (level with highest predicted probability) in each sample. */

proc summary

data=pred2 nway; class trt hospital; var _pred_; output out=predlvl (drop=_type_ _freq_)

run

; maxid(_pred_(severity))=predlvl; /* Transpose the predicted values so that there is one observation per sample containing predicted values for each response level. */

proc transpose

data=pred2 out=pred3 (drop=_name_); by trt hospital; id severity; var _pred_;

run

;

 Comunicaciones  Banca  Retail  Manufactura  Oil & Gas  Gobierno  Seguros  Utilities

 Educación  Juego y Hotelería  Seguros de Salud  Proveedores de Salud  Farmacéutica  Otros

En Banca por ejemplo: SAS OpRisk Monitor

Es una aplicación web que se utiliza para gerenciar , controlar y evaluar indicadores claves de riesgo operacional (KRIs)

Una guía para hacer Data Mining en la Empresa

Pasos en el proceso de descubrimiento del conocimiento

¿Cuál es la problemática?

• Evitar que los clientes se inactiven (Retención) • Aumentar el uso de la Tarjeta propia (Fidelización) • Aumentar el ticket promedio de los clientes (Up –Selling) • Aumentar la frecuencia de uso de los productos • Hacer que los clientes compren en más grupos de producto (Cross-Selling) • Recuperar los clientes que han disminuido su relacionamiento (Recovering) • Aprovechar mejor los recursos operativos disponibles.

• Segmentar para realizar ofertas mejor dirigidas.

• Detectar comportamientos atípicos (por ejemplo fraudulentos)

Teniendo en cuenta el objetivo…

 Definición de la variable respuesta (target) • Si se trata a la problemática se trate desde la teoría del Aprendizaje Supervisado.

 Para que se quiere el modelo?

• Describir un fenómeno?

• Predecir?

• Confirmar un suceso?

¿Es necesaria una metodología?

• Las personas cometen errores. Al igual que los pasos que tiene que dar un piloto de avión para despegar, un proceso ayuda a asegurar la calidad de las decisiones que se toman.

• El mundo es procesos dinámico. Los también. Analizar, rediseñar procesos actuales o incluir nuevos procesos es parte del trabajo diario en pos de mejorar.

Primer consejo: Armar un equipo

• Una persona no tiene todas las respuestas.

• El especialista en Data Mining debe ser parte importante del equipo. • El tamaño deberá depender de las necesidades y magnitud de la empresa.

• Tiene que combinar conocimiento de los datos, el negocio y la empresa.

Segundo consejo: Hacer foco en la información antes que en la solución

• Un proyecto de Data Mining mal definido output malos resultados.

tendrá como • En muchos casos, modelos simples funcionan bien. El mayor incremento en la performance de los mismos proviene de los datos.

• Es MUY importante la etapa de Limpieza de Datos en la reducción de sesgos y errores.

•

Tercer consejo: Tener en cuenta toda posible fuente de información

Reconocer que datos duros, blandos, opinión, intuición, conocimiento de “mundo”, son fuentes valiosas de información.

• Un buen proceso necesita integrar todas las contribuciones de información que puedan llegar a ser útiles para obtener beneficios de negocio. • Ser igualitarios: Personas de diferentes aportar conocimiento útil. Escucharlas.

jerarquía pueden • Si hay presupuesto aprovecharlo para nutrir nuestra información con datos externos (ej. Bureau de datos)

Cuarto consejo: Ser abiertos / diversos

• Formar equipos interdisciplinarios. • Un equipo con diversidad de recursos, capaz de ver el bosque detr ás del árbol.

• Incluir personas con diferente background. Finanzas, legales, operaciones, sistemas, data mining, etc.

Quinto consejo: Usar un lenguaje común

• Intentar ser lo más claros posibles para comunicar los resultados de un modelo de Data Mining.

• Ser gráficos si es necesario. Las personas no creen en “cajas negras”.

• Tratar de integrar información cualitativa y cuantitativa para entender mejor los resultados.

Ejemplo: Focus Group para una muestra de clientes que en base al modelo de Data Mining tienen alta probabilidad de darse de baja.

METODOLOGÍA SAS Desarrollo con metodología SEMMA

Metodología de Mining (SEMMA)

Definir nuevos desafíos Conocer el objetivo / desafio Lograr resultados tangibles Implementar Evaluar y comprender el ambiente de negócio

Obtener los datos (muestreo)

CICLO DE MINERÍA DE DATOS M

Modificación

Exploración Evaluación

Modelamiento



ample (muestreo)

Ejemplo conceptual FUENTE DE DATOS

Población total Registros:

Miliones de registros

Variable:

Monto de Compras MUESTREO

Muestreo Registros:

5% de los registros

Variable:

Monto de Compras

S EMMA

ample (muestreo)

 Ventajas: • • • • Velocidad y eficiencia Economía Generalización Visualización  Desventajas: • • Muestras no representativas Tecnología insuficiente como para aplicar técnicas de muestreo adecuadas en forma simple.



xplore (exploración)

Variables CONTÍNUAS

Promedio EVENTO = 1 Promedio EVENTO = 0

Ejemplo Q-Rango p25 superior

S E MMA

xplore (exploración)

ANÁLISIS DE CORRELACIÓN (

x,y ) – Evitar Multicolinearidad



odify (modificación)

Generación de variables nuevas • • • • • Resumir información (Componentes Principales) Variables de Tendencia Tratamiento de Outliers Tratamiento de Missings (¿Missing=Cero?) Generación de nuevas variables. No abusar!

 Discretización de variables • • • • • • • Tratar outliers Maximizar la correlación con la variable respuesta (Con Árboles por ejemplo) Conocer correlación entre covariables de mismo tipo (Discretas vs Continuas) Percibir efectos no lineales Más fácil interpretar e explicar el modelo Aumenta la estabilidad del modelo en el tiempo Encontrar equilibrio entre las categorías

SE M MA

SEM M A M

odel (modelado) Selección de variables

   Análisis cualitativa Análisis gráfico del comportamiento de los clientes evento=1 y que evento=0 Análisis del valor R 2 o de la estadística CHI-CUADRADO de las variables con el evento modelado

odel (modelado)

 Modelo de propensión Una vez cumplida las etapas anteriores de exploración, discretización, análisis de correlación y selección de las variables se sigue con el modelamiento de los datos.

Probar distintas técnicas con distintos parámetros y compararlos

SEM M A

odel (modedo)

Demográficas  Sexo, Edad, Estado Civil, Región, Profesión, etc Perfil de Compra     Compra mucho/poco (cantidad y montos) Tiempo promedio entre compras Ticket promedio / cantidad de item por boleta / plazos promedios Preferencias  Etc Experiencia como cliente    Cantidad de reclamos.

Llamadas a un call center para pedir la baja.

Número de veces que el cliente experimentó problemas técnicos.

SEM M A

SEMM A A

ssess (evaluación)

Indicadores de Calidad del Modelo:



Criterio LIFT (Cuidado)

Mide la presencia de eventos en cada decil y lo compara al azar. El valor del LIFT representa cuantas veces más hay de eventos.



Criterio GINI

Este criterio es como si fuera el LIFT acumulado. Puede fluctuar entre 0 y 1 y cuanto más próximo de 1 mejor es el ajuste del modelo.



Criterio KS

Este criterio se basa en la comparación entre las distribuciones de probabilidad acumulado de los clientes clasificados como “evento” y “no evento”. Buscamos, entonces, la mayor diferencia observada entre estos dos grupos. Esta distancia (valor del critério KS) puede fluctuar entre 0 y 1 y cuanto más próximo de uno mejor es el ajuste del modelo. 

Criterio ROC

Es una curva de la tasa de

verdadero-positivos

(sensibilidad) versus la tasa de

falso-positivo

(1 – especificidad). El área bajo la curva es el ROC. Puede fluctuar entre 0.5 y 1 y cuanto más próximo de 1 mejor es el ajuste del modelo.

ssess (evaluación)

 Probabilidad vs Realidad Probabilidad promedio por decil vs % de Clientes con respuesta positiva.

100.0% 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0% D eci l 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 Prob. Prom.

% Real

SEMM A

ssess (evaluación)

SCORE MODELO

100.0% 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0% 0.0% 20.0% 40.0% 60.0% %clientes abordados

80.0% 100.0%



Errores típicos en desarrollo de modelos predictivos

Muestreo y variable respuesta mal definidos.

  Muestreo “foto”.

Especificación incorrecta de las variables de entrada. Revisar que las escalas de medida sean las adecuadas.

 Tratar de imputar/reemplazar valores faltantes reales.

 Desarrollo del modelos solamente con muestras de entrenamiento.

 Multicolinealidad.

 Particiones de datos inadecuadas.

Errores típicos en desarrollo de modelos predictivos

  Utilización de variables explicativas no replicables en el futuro.

Dedicar más tiempo a la técnica que al proceso de modelamiento (un modelo parte desde las definiciones de negocio)  Postular modelos sin sentido de negocio.

  No evaluar la estabilidad del modelo en el tiempo.

Interpretar mal el lift.

Interpretar mal LIFT (Ejemplo)

• •

Escenario 1:

El target ocurre con una probabilidad de 0,5.

Con el modelo el target ocurre con una probabilidad de 0,75 en el primer decil (10%) LIFT = 1,5

• •

Escenario 2:

El target ocurre con una probabilidad de 0,02.

Con el modelo el target ocurre con una probabilidad de 0,08 en el primer decil (10%) LIFT = 4

Interpretar mal LIFT (Ejemplo)

No confundir PERAS y MANZANAS… No comparar modelos sin sentido

Conclusiones

• Es necesaria una metodología o un proceso en Data Mining • SAS provee: • La metodología SEMMA basada en su experiencia.

• El software, que brinda las herramientas para llevar adelante la metodología.

• No usar el software como una licuadora de datos. • El diseño integral de la solución es clave.

Otras soluciones y productos SAS relacionados: SAS Data Integration

Otras soluciones y productos SAS relacionados: SAS Model Manager

• Ambiente integrado para el seguimiento de la performance de los modelos de Data Mining • Permite satisfacer requerimientos regulatorios

Otras soluciones y productos SAS relacionados: SAS Text Miner

Otras soluciones y productos SAS relacionados: SAS Forecast Server

Otras soluciones y productos SAS relacionados: SAS Campaign Management

Otras soluciones y productos SAS relacionados: SAS Business Intelligence

 Red Profesional  Encuentros temáticos con especialistas  Novedades en Analytics  Acceso a especialistas  Material de lectura SAS

Objetivos: • • Acelerar crecimiento profesional Promover el uso metódico e inteligente de información

MIEMBROS NUEVOS ULTIMOS BLOGS

Registrarse en

www.analyticsconosur.com

Lecturas recomendadas

• OLIVIA PARR RUD

“Data mining cookbook: modeling data for marketing, risk and CRM". Wiley. 2001.

• MATIGNON. “Data Mining Using SAS Enterprise Miner”. Wiley, 2009.

• ANDERSON & TATHAM. “Analisis Multivariante”. Prentice-Hall. 1999.

• HOAGLIN, MOSTELLER, TUCKEY & WILDER. “

Exploring Data Tables, Trends and Shapes

.” Wiley. 1985.

• HOSMER & LEMESHOW. “Applied Logistic Regression”. Wiley. 1989.

• MONTGOMERY “Introduction to Linear Regression Analysis”. Wiley. 2001.

• COCHRAN

"Técnicas de Muestreo". Cecsa. 1990. • DES RAJ. "Teoría de Muestreo" Fondo de Cultura Económica. 1989.

Gracias!!!

[email protected]

Customer Intelligence Overview

Transcript Customer Intelligence Overview

AGENDA

Aumente la Rentabilidad y Potencie su Negocio

SAS

2008 Performance

De los Datos a la Inteligencia

SAS: Pasado vs. Presente

En Banca por ejemplo: SAS OpRisk Monitor

Una guía para hacer Data Mining en la Empresa

Pasos en el proceso de descubrimiento del conocimiento

¿Cuál es la problemática?

Teniendo en cuenta el objetivo…

¿Es necesaria una metodología?

Primer consejo: Armar un equipo

Segundo consejo: Hacer foco en la información antes que en la solución

Tercer consejo: Tener en cuenta toda posible fuente de información

Cuarto consejo: Ser abiertos / diversos

Quinto consejo: Usar un lenguaje común

Metodología de Mining (SEMMA)

ample (muestreo)

ample (muestreo)

xplore (exploración)

xplore (exploración)

odify (modificación)

odel (modelado) Selección de variables

odel (modelado)

odel (modedo)

ssess (evaluación)

ssess (evaluación)

ssess (evaluación)

Errores típicos en desarrollo de modelos predictivos

Errores típicos en desarrollo de modelos predictivos

Interpretar mal LIFT (Ejemplo)

El target ocurre con una probabilidad de 0,5.

Con el modelo el target ocurre con una probabilidad de 0,75 en el primer decil (10%) LIFT = 1,5

El target ocurre con una probabilidad de 0,02.

Con el modelo el target ocurre con una probabilidad de 0,08 en el primer decil (10%) LIFT = 4

Interpretar mal LIFT (Ejemplo)

Conclusiones

Otras soluciones y productos SAS relacionados: SAS Data Integration

Otras soluciones y productos SAS relacionados: SAS Model Manager

Otras soluciones y productos SAS relacionados: SAS Text Miner

Otras soluciones y productos SAS relacionados: SAS Forecast Server

Otras soluciones y productos SAS relacionados: SAS Campaign Management

Otras soluciones y productos SAS relacionados: SAS Business Intelligence

www.analyticsconosur.com

Lecturas recomendadas

Gracias!!!

Directory