Análisis estadístico básico: t-test, anova, pruebas no paramétricas, regresión... José Ríos ¿Es cierto el bostezo inducido? José Ríos © IUSC - 2009

Download Report

Transcript Análisis estadístico básico: t-test, anova, pruebas no paramétricas, regresión... José Ríos ¿Es cierto el bostezo inducido? José Ríos © IUSC - 2009

Slide 1

Análisis estadístico básico: t-test,
anova, pruebas no paramétricas,
regresión...
José Ríos


Slide 2

¿Es cierto el bostezo inducido?

José Ríos ©

IUSC - 2009

2


Slide 3

Hoy toca
estadística

José Ríos ©

IUSC - 2009

3


Slide 4

Por que claro… conociendo toda la información
somos capaces de saber como se llega a los
resultados

José Ríos ©

IUSC - 2009

4


Slide 5

Pero antes hablemos de variables…

Tiempo

Presencia

Ocurrencia

No lo consideran

Obligan a determinarlo

Enfermedad
-Prevalencia

-Incidencia

-Estado opinión

Exposición

(población)

Encuestas

-Recurrencia

Densidad de
incidencia

(individuo)

No interesa la evolución temporal

Estudio
José Ríos ©

transversal

longitudinal

IUSC - 2009

5


Slide 6

… y de la importancia metodológica
del tamaño de la muestra

José Ríos ©

IUSC - 2009

6


Slide 7

Resumen de datos


Tres tipos básicos


Posición: también llamadas medidas de tendencia central.



Dispersión: conocidas también como medidas de escala



Forma: sirven para el estudio de la asimetría y
apuntamiento comparado con la curva gaussiana

José Ríos ©

IUSC - 2009

7


Slide 8

Resumen de datos
Medidas de Posición


Media aritmética
 xi 
X   
i 1
n
n





José Ríos ©

En el caso de datos agrupados en intervalos, la
media se calculará con el valor medio de intervalo

Únicamente tiene sentido para variables
cuantitativas

IUSC - 2009

8


Slide 9

Resumen de datos
Medidas de Posición


Mediana
1,3,3,4,6,13,14,14,18
6
1,3,3,4,6,13,14,14,17,18
6 y 13
Mediana=(6+13)/2=9.5






José Ríos ©

Deja a ambos ‘lados’ la misma población.
El valor de la mediana no tiene por que existir en la
muestra

Para su cálculo sólo se requiere que las clases sean
ordenables, podemos, por tanto, calcularla tanto
para variables cuantitativas como cualitativas
ordinales
IUSC - 2009

9


Slide 10

Resumen de datos
Medidas de Posición


Moda





José Ríos ©

Es el valor más frecuente en nuestros datos
En el caso de variables que tomen muchos
valores, el cálculo de la moda es preferible con
los datos agrupados, obtendremos el intervalo
modal
Su cálculo tiene sentido para cualquier tipo de
variable. Sólo usa el valor de las frecuencias

IUSC - 2009

10


Slide 11

Resumen de datos
Medidas de Posición


Cuantiles.




Son de orden (a). Dejan el a 100% de la
población por debajo.
Los percentiles dividen la población en
porcentajes, los terciles, cuartiles y quintiles
fracciones.

El segundo cuartil coincide con la Mediana

José Ríos ©

IUSC - 2009

11


Slide 12

Resumen de datos
Medidas de Posición


Propiedades.


La Media es sensible a los valores extremos, la Mediana
no lo es.

Media 1

Media 2
Nuevo valor en
la muestra

Mediana 1

Mediana 2


José Ríos ©

Especial atención en estudios de análisis de supervivencia
IUSC - 2009

12


Slide 13

¿Pero entonces?

Media
Moda
Mediana

José Ríos ©

IUSC - 2009

13


Slide 14

Resumen de datos
Medidas de Posición


Atención, siempre es mejor ‘visualizar’ los datos antes de
trabajar con ellos.


Es posible que ni la Media ni la Mediana representen bien el
comportamiento ‘central’ de la variable



En este caso, Media y Mediana tienen el mismo valor, ¿algún
comentario?

José Ríos ©

IUSC - 2009

14


Slide 15

Resumen de datos
Medidas Escala (dispersión)



Dos Grandes Familias


Recorridos



Varianzas

José Ríos ©

IUSC - 2009

15


Slide 16

Resumen de datos
Medidas Escala (dispersión)








José Ríos ©

Rangos y amplitudes: valores pequeños en
recorridos o rangos dan idea de poco dispersión,
valores grandes indican mucha dispersión o presencia
de valores extremos.
El Rango (Mín – Máx) se ve extremadamente
afectado por valores extremos, no es, por tanto, una
buena medida.
El recorrido intercualtílico (1er Cuartil – 3er Cuartil)
también indica dispersión.
Ambos valores combinados pueden dar buena idea
de cómo son los datos
IUSC - 2009

16


Slide 17

Resumen de datos
Medidas Escala (dispersión)


Veamos un ejemplo de cálculo

José Ríos ©

IUSC - 2009

17


Slide 18

Resumen de datos
Medidas Escala (dispersión)


¿Qué ocurre si sumamos todas las distancias?


Las distancias negativas son compensadas con las
positivas. La suma es siempre cero



Def.: la media es el centro de gravedad de la distribución
muestral

José Ríos ©

IUSC - 2009

18


Slide 19

Resumen de datos
Medidas Escala (dispersión)
 
2







José Ríos ©

La varianza es la media
de la suma de las
desviaciones respecto a
la media elevadas al
cuadrado.

La Desviación estandar
es la raíz del anterior

El Coeficiente de
variación usa las
medidas de posición y
escala

1

n

x
n 1

i

2



i 1

 
2

1
n 1

DE 

 x
n

i

i 1

1
n 1

 

2

 x
n

i 1

i

 

2

 x *100

CV  
IUSC - 2009

19

2


Slide 20

Resumen de datos
Medidas Escala (dispersión)


Pregunta:


¿Por qué si tenemos la varianza acabamos utilizando la
DE? ¿Complicamos los estadísticos inútilmente los
cálculos?



El problema de la varianza es que no se mide en las
mismas unidades que los datos de la muestra, es por
eso que se define la DE

José Ríos ©

IUSC - 2009

20


Slide 21

Resumen de datos
Medidas Escala (dispersión)


Bien.... Pero ¿qué medida es la
buena?


Por si sola ninguna. Siempre es
preferible ver todas ellas, visualizar
los datos siempre ayuda mucho a
detectar posibles problemas en los
datos



Nos podemos ayudar de
Histogramas y Diagramas de cajas
(Box-Plot)

José Ríos ©

IUSC - 2009

21


Slide 22

Resumen de datos
Medidas Escala (dispersión)


El diagrama de caja (Box-Plot),
interpretación:






Nos presenta el Rango y el recorrido
intercuartílico (ojo con el programa utilizado)
Valores fuera de límites son representados con
círculos se consideran ‘normales’
Valores presentados como asterísticos se
podrían estudiar como atípicos


José Ríos ©

OJO CON DESCARTAR ‘ALEGREMENTE’ VALORES
ATÍPICOS
IUSC - 2009

22


Slide 23

Resumen de datos
Medidas Escala (dispersión)


El diagrama de caja (Box-Plot)
Máximo

190
142
141

180

50% de la
muestra

170

Aquí se
espera
encontrar la
mayoría de
la muestra

Mediana

160

150

1

140

Mínimo
130
N=

142

TALLA

José Ríos ©

IUSC - 2009

23


Slide 24

Resumen de datos
Medidas de forma


Medida de asimetría

n
Coef .asimetría 
(n  1)(n  2)




( x i  x) 3
s

Medida de apuntamiento o kurtosis

n(n + 1)
Kurtosis 
(n  1)(n  2)(n  3)

José Ríos ©



( x i  x) 4
3(n  1) 2

s
(n  2)(n  3)

IUSC - 2009

24


Slide 25

Resumen de datos
Medidas de forma


Medida de asimetría

Simétrica
Coef.=0

José Ríos ©

Asimétrica positiva
Coef. > 0

IUSC - 2009

Asimétrica negativa
Coef. < 0

25


Slide 26

Descripción gráfica
90

80

70

60

ESPECIE

19

Setosa
50

113

Versico l
Virginic

40
N=

50

50

1

2

50

3

especie


José Ríos ©

Se comparan el largo del sepalo de tres variedades de
lirios: setosa, versicola y virginica
IUSC - 2009

26


Slide 27

Descripción gráfica


Gráfico de dispersión (Scatter Plot)
80

70

60

E SP ECIE
50
Virginic a
Ver s ic o lor
40

Setos a
0

10

20

30

40

50

60

70

Largo pétalo

José Ríos ©

IUSC - 2009

27


Slide 28

Pudiendo resultar útil

setosa
versicolor

virginica
José Ríos ©

IUSC - 2009

28


Slide 29

Descripción gráfica


Una posible evaluación gráfica de los Odds Ratio (OR)

Evento

José Ríos ©

IUSC - 2009

BMI

No



Odds

OR

<20

6

9

1.50

2.65

(20-25]

23

27

1.17

2.07

(25-30]

30

17

0.57

>=30

9

7

0.78

1.37

29


Slide 30

Estadísitica inferencial
P-valor
Intervalo

de confianza
Paramétricas vs. No paramétricas


Slide 31

Génesis de las ideas

Karl Raimund Popper (1902-1994)

•1934: La lógica de la investigación científica. ¿Cómo
fundamentar el conocimiento científico, por definición
universal y necesario, en la experiencia empírica, por
definición particular?
•Hasta entonces
•Descartes confía en las leyes eternas de la razón
•Hume en las leyes que se extraen de la experiencia
•En contra del positivismo: ¿Cómo realizar una ley universal
a partir de un número particular de experimentos?
•A favor del falibilismo (o falsación): el conocimiento
científico no puede avanzar confirmando nuevas leyes, sino
descartando leyes que contradicen la experiencia.

POR TANTO:
La labor del científico consiste en criticar leyes para ir reduciendo el
número de teorías compatibles con observaciones experimentales.
CONSECUENCIA:
Una proposición científica lo será si es posible crear un experimento
que la pudiese contradecir.
José Ríos ©

IUSC - 2009

31


Slide 32

Pruebas de hipótesis
Unilateral (una cola)
Ho:  E -  C  0
H 1:  E -  C > 0
Bilateral (dos colas)
Ho:  E -  C = 0
H 1:  E -  C > 0 ó  E -  C < 0
José Ríos ©

IUSC - 2009

32


Slide 33

¿p?


Probabilidad de observar, por azar, una diferencia
como la de la muestra o mayor, cuando H0 es cierta



Es una medida de la evidencia en contra de la H0
 Es el azar una explicación posible de las diferencias
observadas?



Supongamos que así es (H0).
¿Con qué probabilidad observaríamos unas
diferencias de esa magnitud, o incluso mayor? P-

valor




Si P-valor pequeño, rechazamos H0.

¿Difícil?... No, es como un juicio!

José Ríos ©

IUSC - 2009

33


Slide 34

¿p?


Se acepta un valor máximo de 5% (0,05).
 Si p0,05  diferencias estadísticamente significativas.


Si p>0,05  diferencias estadísticamente NO
significativas.

 NO

implica importancia clínica.

 NO

implica magnitud de efecto!!



Influenciada por el tamaño de la muestra. Si  n   p

José Ríos ©

IUSC - 2009

34


Slide 35

Pero el mío es mejor.

Para un mismo resultado
cuantitativo el
‘investigador avispado’
puede hacer SU
interpretación cualitativa
simplemente inundando el
artículo de valores de p

Misma magnitud de efecto
Misma relevancia clínica

Mayor tamaño de muestra
Menor valor de p
(habitualmente)
¿?
Mayor relevancia clínica

José Ríos ©

IUSC - 2009

35


Slide 36

Y Arguiñano nos dice:

José Ríos ©

IUSC - 2009

36


Slide 37

Y Arguiñano nos dice:

José Ríos ©

IUSC - 2009

37


Slide 38

Y Arguiñano nos dice:

José Ríos ©

IUSC - 2009

38


Slide 39

Intervalos de confianza


Si repetimos el intervalo de confianza a lo largo
del tiempo sobre la misma población, los
intervalos de confianza al 95% calculados para
cada muestra deberían incluir el verdadero valor
de la población en el 95% de las veces.



Una persona ‘normal’ es aquella que no ha sido
lo suficientemente investigada.

José Ríos ©

IUSC - 2009

39


Slide 40

Amplitud del IC


También depende de la información que la
muestra proporciona sobre el verdadero valor
poblacional


Mayor tamaño de muestra ->
mayor precisión -> IC más estrecho



Mayor dispersión de la medida ->
IC más amplio

José Ríos ©

IUSC - 2009

40


Slide 41

Por ejemplo…

OR entre casos y controles de consumo de tabaco y EP. Intervalos de confianza del 90%.

Fuente: Viñes, R. Larumbe, M.T. Artázcoz, I. Gaminde, D. Guerrero, J.V. Ferrer Estudio epidemiológico de la
enfermedad de Parkinson en Navarra. Revista ANALES del Sistema Sanitario de Navarra, Vol. 22,
Suplemento 3, 1999

José Ríos ©

IUSC - 2009

41


Slide 42

Estimación


Pero hemos de tener en cuenta que todo intervalo de
confianza conlleva dos noticias, la buena y la mala




José Ríos ©

La buena: hemos usado una técnica que en % alto de casos
acierta.
La mala: no sabemos si ha acertado en nuestro caso.
IUSC - 2009

42


Slide 43

Pruebas paramétricas y no-paramétricas


Una prueba paramétrica requiere la estimación de
uno o más parámetros (estadísticos) de la población




Ej.: Una estimación de la diferencia entre la media antes y
después de una intervención

Las pruebas no-paramétricas no involucran ningún
tipo de estimación de parámetros


Ej.: Facilitarnos la una estimación de la P[X>Y],
probabilidad de que, selecionando un paciente después
del tratamiento, su valor sea mayor que antes del
tratamiento

José Ríos ©

IUSC - 2009

43


Slide 44

Pruebas paramétricas y noparamétricas




Ventajas de las pruebas no-paramétricas


No se asume nada sobre la distribución de nuestros datos.



Se pueden usar en multitud de tipos de variables

Inconvenientes




A propósito de los datos





Las pruebas no-paramétricas acostumbran a tener un poder estadístico
menor que su equivalente paramétrico.

Utiliza rangos (ordenaciones), no da resultados en las unidades de las
variables originales.
El efecto de los valores extremos se diluye (buena noticia o mala)

Se deberían utilizar cuando los requerimientos para las pruebas
paramétricas no se cumplan.

José Ríos ©

IUSC - 2009

44


Slide 45

Estadísitica inferencial
Regresión

y Supervivencia


Slide 46

Regresión lineal


Describe como un variable respuesta ‘y’ cambia en
función de otra (típicamente ‘diseñada’) factor ‘x’ de
forma estrictamente lineal



Formalmente se asume que:





José Ríos ©

X no es una variable aleatoria (no tiene por qué cumplirse
siempre)
Para cada valor xi de X existe una v.a. Y|xi cuya media me
predice el modelo lineal
Todas las variables Y|xi son Normales, independientes y
de igual varianza

IUSC - 2009

46


Slide 47

Ejemplos macabros


Los llamaré macabros ya que son ilustrativos
de que el abuso debido a su simplicidad de
ejecución e interpretación puede tener
resultados nefastos

José Ríos ©

IUSC - 2009

47


Slide 48

Ejemplos macabros

José Ríos ©

IUSC - 2009

48


Slide 49

Ejemplos macabros
Y mucho cuidado con la ‘correlación’

La proporción de variabilidad explicada por la regresión es el r2 * 100
José Ríos ©

IUSC - 2009

49


Slide 50

Ejemplos macabros
Por que los abusos no son nada buenos

José Ríos ©

IUSC - 2009

50


Slide 51

J Allergy Clin Immunol 2006;117:989-94.)
José Ríos ©

IUSC - 2009

51


Slide 52

Ejemplo sencillo


¿El hábito tabáquico es un buen predictor
lineal para los niveles de tiocianato?

José Ríos ©

IUSC - 2009

52


Slide 53

Correlations
thiocy anato
serico
Pearson Correlation

Sig. (1-tailed)

1.000

-.540

f uma_cig

-.540

1.000

thiocy anato seric o

.

.000

.000

.

thiocy anato seric o

320

320

f uma_cig

320

320

f uma_cig
N

f uma_cig

thiocy anato seric o

Rec.: Y = a + b*X

José Ríos ©

IUSC - 2009

53


Slide 54

ANOVA b

Model
1

Sum of
Squares

df

Mean Square

Regression

294721.1

1

294721.071

Residual

717690.6

318

2256.889

Total

1012412

319

F

Sig.
.000a

130.587

a. Predictors: (Constant), fuma_cig
b. Dependent Variable: thiocyanato serico

C oefficients a
U nstandardized
C oefficients
Model
1

B

Standar dized
C oefficients

Std. Err or

(C onstant)

202.840

11.467

fuma_cig

-70.456

6.165

Beta

95% Confidence Interval for B
t

-.540

Sig.

Lower Bound

U pper Bound

17.688

.000

180.278

225.401

-11.427

.000

-82.586

-58.325

a. D ependent Variable: thiocyanato serico

Por tanto, la función que me indicaría la predicción lineal
sería: Y = 202.84 – 70.46*X

José Ríos ©

IUSC - 2009

54


Slide 55

¿A que parecía una buena opción?

José Ríos ©

IUSC - 2009

55


Slide 56

Otro más para acabar


¿La TAS es un buen predictor lineal para la
TAD?

Co rrelations
PAD media
Pearson C orrelation

PAD media

.628

.628

1.000

PASmed
Sig. (1-tailed)

N

José Ríos ©

PASmed

1.000

PAD media

.

.000

PASmed

.000

.

PAD media

1245

1245

PASmed

1245

1245

IUSC - 2009

56


Slide 57

Otro ejemplo
ANOVA b

Model
1

Sum of
Squares
Regression

df

Mean Square

7458229

1

7458228.588

Residual

11479900

1243

9235.640

Total

18938129

1244

F

Sig.
.000a

807.549

a. Predictors: (Constant), PASmed
b. Dependent Variable: PADmedia

C oefficients a
U nstandardized
C oefficients
Model
1

B
(C onstant)
PASmed

Standar dized
C oefficients

Std. Err or

386.210

18.509

.347

.012

Beta

95% Confidence Interval for B
t

.628

Sig.

Lower Bound

U pper Bound

20.866

.000

349.898

422.522

28.417

.000

.323

.370

a. D ependent Variable: PAD media



Por cada mmHg que aumenta la PAS, la PAD experimenta un
aumento, en promedio, de 0.347 mmHg

José Ríos ©

IUSC - 2009

57


Slide 58

¿Qué conclusión real se puede
obtener?

José Ríos ©

IUSC - 2009

58


Slide 59

Análisis de la supervivencia:
Motivos para su uso


En ocasiones importa tanto el tiempo hasta que se produce el
evento que su consecución.
 Por ejemplo (por no ser más morboso): Evaluar el tiempo que se
tarda en la mejoría o curación







Estudiar n individuos
Ti será el tiempo que tarda el i-ésimo paciente en curarse
El problema viene cuando no se conoce Ti  censura

Por tanto pueden existir variables que explican este tiempo.
Muy útil cuando el seguimiento es incompleto o muy variable

José Ríos ©

IUSC - 2009

59


Slide 60

Cuando usar estas técnicas


Deseamos un modelo para explicar tiempo hasta un
evento






‘Evento’ es dicotómico (regresión lineal no sirve)
Nos interesa el tiempo hasta evento (regresión logística no
sirve)

Deseamos comparar supervivencia entre grupos
Podremos evaluar la relación entre covariables y el
tiempo de supervivencia

José Ríos ©

IUSC - 2009

60


Slide 61

Cuando usar estas técnicas (II)


No es efectivo ni ético esperar a que se
presenten todos los eventos para finalizar el
estudio.



Los individuos entran en el estudio a tiempos
diferentes.

José Ríos ©

IUSC - 2009

61


Slide 62

¿Por qué no otras?
Técnica

Variables
Variable
predictoras respuesta

¿Existen
censuras?

Regresión
linear

Categóricas o Normalmente
continuas
distribuidas

No

Regresión
Logística

Categóricas o Binaria (menos
en regresión
continuas

No

logística
politomómica)

Tiempo y
Análisis de
supervivencia categóricas o

Binaria



continuas

José Ríos ©

IUSC - 2009

62


Slide 63

¿Qué estimamos?
Técnica

Modelo Matemático

Regresión
linear

Y=B1X + Bo
(linear)

Regresión
Logística

Ln(P/1-P)=B1X+Bo
(sigmoidal prob.)

h(t) = ho(t)exp(B1X+Bo)
Análisis de
supervivencia

José Ríos ©

IUSC - 2009

Evaluamos
Evaluación de
pendiente (cambio
lineal)
Odds ratios
Hazard rates

63


Slide 64

Posibles ejemplos de diseño (o no)






Evaluar la mortalidad en el post-operatorio
Reclutamos durante 5 años a 350 pacientes y los
seguimos durante un tiempo de seis meses
Se seleccionan a 100 pacientes y se aleatorizan a
dos brazos de tratamiento. La aparición del evento
se evalúa en consecutivas visitas programadas
durante tres años
Miramos la aparición espontánea de un evento en el
trascurso de un estudio de cohortes

José Ríos ©

IUSC - 2009

64


Slide 65

Yo os doy una de las soluciones


Mortalidad postoperatoria


Al no haber un seguimiento prolongado no tiene sentido
hablar de censuras y se dispone de toda la información de
los sujetos.

Surgical Priority
Emergency
Non-Emergency
Total

Discharge Status
Dead
Alive
24
9
289
100
313
109

Total
33
389
422

Chi-Square = 0.04
Degrees of Freedom = (2-1)(2-1) = 1
p = 0.084
José Ríos ©

IUSC - 2009

65


Slide 66

¿Y las censuras?



Existen de varios tipos, pero aquí hablaremos sólo de las
que se producen de forma aleatoria por la derecha
http://www.ms.uky.edu/~mai/java/stat/KapMei.html

José Ríos ©

IUSC - 2009

66


Slide 67

¿Por qué censuras?


Se produce por la imposibilidad práctica de
tener información precisa del momento del
evento en la totalidad de los sujetos.






El día de cierre no se ha presentado el evento
Hemos perdido el seguimiento del sujeto

Motivos





José Ríos ©

Acontecimiento adverso
Cierre del estudio/seguimiento
Pérdida de seguimiento
Evento por causa diferentes a la del estudio
IUSC - 2009

67


Slide 68

Pero existe una clasificación


Tipo I.








José Ríos ©

Todos los individuos se siguen
hasta una fecha fin de estudio

Por la derecha:
 Pacientes vivos al finalizar el estudio
 Pacientes perdidos o abandonos
En intervalo:
 Las visitas de control son espaciadas
Por la izquierda:
 Se desconoce la fecha de inicio

Tipo II.

Los individuos se siguen hasta
que han ocurrido r eventos
IUSC - 2009

68


Slide 69

¿Falta de seguimiento?

José Ríos ©

IUSC - 2009

69


Slide 70

¿Qué pasó con el último paciente?

José Ríos ©

IUSC - 2009

70


Slide 71

Por ejemplo…

José Ríos ©

IUSC - 2009

71


Slide 72

¿Y si el evento es repetido?


Los modelos generales de Cox se realizan
contra un evento único






El seguimiento del paciente se trunca en el primer
evento
Es suficiente para evaluar eventos ‘no repetibles’
como la mortalidad

¿Es este tipo de análisis suficiente en todos
los casos?

José Ríos ©

IUSC - 2009

72


Slide 73

En EC quizás no mucho


El modelo general de Cox lo que pretende es
ver como una característica inicial modifica la
presencia de un evento




En EC, el tratamiento aleatorizado.

Hay variables que se modifican a lo largo del
seguimiento que pueden propiciar el evento

 Cox con covariables tiempo-dependiente
José Ríos ©

IUSC - 2009

73


Slide 74

Esquemáticamente


Modelo AG
Evento



Evento

Modelo PWP
Evento



Evento

Evento

Evento

Evento

O mezclas…
Evento

Evento

Evento

Evento

Nota: El grosor de la flecha indica el ‘riesgo’ potencial de presentar el evento
José Ríos ©

IUSC - 2009

74


Slide 75

Pero hay muchos métodos para
analizar este tipo de datos

José Ríos ©

IUSC - 2009

75


Slide 76

José Ríos ©

IUSC - 2009

76


Slide 77

“Los métodos estadísticos no son un sustituto
del sentido común y la objetividad. Nunca
deberían estar dirigidos a confundir al lector,
sino que deben ser una contribución
importante a la claridad de los argumentos
científicos”
SJ Pocock. Br J Psychiat 1980; 137:188-190

José Ríos ©

IUSC - 2009

77


Slide 78

José Ríos ©

IUSC - 2009

78