Modelli Lineari Multilivello

Il modello lineare a due livelli: una sola covariata a livello 1

Il modello di regressione a due livelli: introduzione di una covariata a livello 2

Alcune considerazioni conclusive

S. Bacci (unipg) 2 / 35

Le strutture gerarchiche

I modelli multilivello si occupano dell’analisi di strutture gerarchiche di dati Si ha una struttura gerarchica di dati quando le unità statistiche di osservazione sono aggregate in gruppi di unità Esempi: studenti → classi → scuole pazienti → medici lavoratori → → aziende ospedali → regioni individui → famiglie → intervistati → regioni intervistatori Spesso il disegno di campionamento riflette la struttura gerarchica (campionamento multi-stage), ma questo non è necessario per un’analisi di tipo multilivello Noi ci occupiamo soltanto di strutture gerarchiche su due livelli S. Bacci (unipg) 3 / 35

Le strutture gerarchiche

Si ha una struttura gerarchica di dati anche in presenza di risposte multiple Si parla di risposte multiple quando le unità di livello inferiore (c.d. unità di livello 1) rappresentano risposte diverse da parte della medesima unità statistica (c.d. unità di livello 2), come nel caso di: dati multivariati dati longitudinali (risposte a un questionario o a un test: item → individui) (dati panel in econometria o misure ripetute in biostatistica: occasioni di misura → individui) Infine, una struttura gerarchica può combinare risposte multiple con aggregazioni in gruppi di unità (es. test sugli studenti: item → studenti scuole) → S. Bacci (unipg) 4 / 35

Individui: quale livello gerarchico?

Le unità di livello più basso prendono nome di unità di livello 1, within, micro Le unità di livello più alto prendono nome di unità di livello 2, between, macro, gruppi A seconda del contesto, l’individuo (persona, azienda, ecc.) può essere un’unità di livello 1 oppure di livello 2 Unità di livello 1 Unità di livello 2 risposta univariata cross-section individuo gruppo di individui risposta multivariata cross-section misura, item, risposta individuo dati longitudinali misura, occasione, wave individuo S. Bacci (unipg) 5 / 35

Un po’ di terminologia. . .

A seconda del campo di applicazione, i modelli multilivello vengono chiamati in modi diversi . . .

Statistica: modelli misti ( mixed models ), modelli (lineari) gerarchici ( hierarchical models ) o, più in generale, modelli misti lineari generalizzati ( generalized linear and mixed models - GLMM) Econometria: modelli a coefficienti casuali ( random coefficients models ) o, nel caso di dati longitudinali, modelli a effetti casuali ( random effects models ) Biostatistica: modelli misti (mixed models) per misure ripetute, modelli a effetti casuali Educazione: modelli multilivello ( multilevel models ) Disegno degli esperimenti: modelli a componenti di varianza S. Bacci (unipg) 6 / 35

Dati mancanti

I metodi di stima usati per i modelli multilivello consentono la presenza di dati mancanti a caso ( missing non informativo ) Usualmente, quando si hanno individui in gruppi, la numerosità dei gruppi è variabile (es. numero di studenti per classe o numero di lavoratori per azienda) Nel caso di dati longitudinali, può capitare che, per alcuni individui, manchino le osservazioni in una o più occasioni di misura ( panel non bilanciato ) Nel caso di dati multivariati, può accadere che, per alcuni individui, manchino le risposte a uno o più item del questionario Attenzione! Negli ultimi due casi non è scontato che il dato mancante sia non informativo!

S. Bacci (unipg) 7 / 35

Analisi dei gruppi vs analisi multilivello

Nell’analisi dei gruppi (cluster analysis) la struttura gerarchica è sconosciuta: scopo dell’analisi è scoprire l’esistenza e la composizione dei gruppi Nell’analisi multilivello la struttura gerarchica è nota a priori: scopo dell’analisi è comprendere le relazioni all’interno e tra i gruppi S. Bacci (unipg) 8 / 35

Tipi di variabili esplicative

Esempio: punteggio su un test di abilità sottoposto a studenti ( i = aggregati in scuole ( j = 1 , . . . , J ) 1 , . . . , n j ) Variabili di livello 1 , X ij : descrivono caratteristiche proprie delle unità di livello 1 (es. : sesso, età) Variabili di livello 2 , Z j : descrivono caratteristiche delle unità di livello 2 variabili globali : caratteristiche delle unità di livello 2 con nessuna misura corrispondente al livello 1 (es. scuola pubblica vs privata, numero di insegnanti) variabili di composizione : caratteristiche delle unità di livello 2 ottenute aggregando le caratteristiche delle unità di livello 1 (es. numero medio di alunni per classe, proporzione di femmine, età media) S. Bacci (unipg) 9 / 35

Una variabile di livello 2 ( Z j ) è, per definizione, costante all’interno del gruppi: la sua variazione è solo tra gruppi Una variabile di livello 1 ( X ij ), invece, varia sia all’interno dei gruppi (cioè assume valori diversi per i vari individui) sia tra i gruppi (cioè la sua media cambia di gruppo in gruppo) X ij = ¯ .

j + ( X ij − ¯ .

j ) = > var ( X ij ) = var (¯ .

j ) + var ( X ij − ¯ .

j ) S. Bacci (unipg) 10 / 35

Perchè non un modello di regressione lineare classico (OLS)?

La presenza di una struttura gerarchica nei dati è sintomo di eterogeneità non osservata : in altri termini, è ragionevole attendersi che i valori di y i 0 j assunti da due unità elementari i e i 0 all’interno della stessa unità j y livello 2 (gruppo nei dati cross-section o individuo nei dati panel) siano ij di e più simili tra loro (cioè più correlati) rispetto ai valori due unità i e i 0 y appartenenti a unità di livello 2 diverse ij e y i 0 j 0 assunti da = > Esiste un effetto di gruppo (o effetto individuale panel) che spiega parte della variabilità di Y nel caso di dati S. Bacci (unipg) 11 / 35

Perchè non un modello di regressione lineare classico (OLS)?

Applicare un modello di regressione lineare classico a dati gerarchici (

regressione pooled

) significa ignorare la struttura gerarchica dei dati e, quindi: Modello inaccurato : non si è in grado di separare il contributo dei due livelli gerarchici alla eterogeneità di distinguere la variabilità di Y Y , cioè non si è in grado di

all’interno

delle unità di livello 2 dalla variabilità di Y

tra

le unità di livello 2 Inferenza inaccurata : a causa della somiglianza delle unità elementari all’interno della stessa unità di livello 2, l’ipotesi di indipendenza del modello OLS è violata: gli = > stimatori OLS dei coefficienti di regressione sono distorti e inconsistenti in genere, la pendenza della retta viene sovrastimata nel modello pooled gli = > errori standard dei coefficienti di regressione sono, spesso, sottostimati il tasso di errore di primo tipo tende a essere più alto del livello nominale α (cioè si rifiuta troppo spesso l’ipotesi H 0 : β = 0 ) S. Bacci (unipg) 12 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Regressione “between”

Una possibile alternativa alla regressione pooled è la c.d.

between

, che consiste nel considerare le medie di gruppo

regressione

(al posto dei valori individuali) e applicare la regressione lineare classica ai nuovi dati.

Tuttavia . . .

diverso significato: le variabili di composizione ottenute dall’aggregazione si riferiscono alle unità di livello 2, quindi non possono essere usate per investigare sulle relazioni a livello 1 aggregation bias: le relazioni a livello 1 sono diverse dalle relazioni a livello 2 interazioni tra livelli: lo studio delle relazioni tra livelli è precluso nel caso di regressione between S. Bacci (unipg) 13 / 35

Esempio: efficacia delle scuole

Livelli: studenti (livello 1) in scuole (livello 2) Variabile risposta Y : punteggio su un test di abilità Variabile esplicativa (a livello 1) X : punteggio su un test iniziale Nel caso di una sola scuola: y i = β 0 + β 1 x i + e i e i ∼ N ( 0 , σ 2 e ) , e i i .

i .

d .

Nel caso di un campione di J scuole ( Modello di livello 1 ): y i j = β 0 j + β 1 j x i j + e i j e i j ∼ N ( 0 , σ 2 e ) , e i j i .

i .

d .

S. Bacci (unipg) 14 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Ipotesi sui parametri

Ogni scuola j ha la sua intercetta e il suo coefficiente angolare: ( β 0 j , β 1 j ) Si assume che bivariata: ( β 0 j , β 1 j ) siano variabili casuali con distribuzione normale β β 0 1 j j ∼ N γ γ 00 10 , σ 2 u 0 σ u 01 σ u 01 σ 2 u 1 Inoltre, ( β 0 j , β 1 j ) sono assunti indipendenti da e ij S. Bacci (unipg) 15 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Parametri da stimare

Parametri fissi γ 00 : intercetta media γ 10 : coefficiente angolare medio Parametri casuali (o di varianza e covarianza) σ 2 u 0 : varianza dell’intercetta σ 2 u 1 : varianza del coefficiente angolare σ u 01 : covarianza tra intercetta e coefficiente angolare σ 2 e : varianza di livello 1 o varianza residua S. Bacci (unipg) 16 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Ricapitolando: modello lineare a due livelli

Modello di livello 1: y ij = β 0 j + β 1 j x ij + e ij Modello di livello 2: β 0 j β 1 j = = γ 00 γ 10 + u 0 j + u 1 j u 0 j u 1 j è la deviazione della scuola è la deviazione della scuola j dall’intercetta media di tutte le scuole ( γ 00 ) j dal coeff. ang. medio di tutte le scuole ( γ 10 ) Modello combinato (livelli 1 e 2 insieme): y ij = γ 00 + γ 10 x ij + | {z } parte fissa u 1 j x ij + u 0 j + e ij | {z parte casuale } = > Le rette di regressione si intersecano tra loro, quindi non è possibile effettuare alcun ordinamento dei gruppi S. Bacci (unipg) 17 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Struttura di varianza e covarianza

L’errore totale del modello è u 1 j x ij + u 0 j + e ij che implica eteroschedasticità Var ( y ij | x ij ) = [ σ 2 u 0 + 2 σ u 01 x ij + σ 2 u 1 x 2 ij ] + | {z varianza “between” } σ 2 e |{z} varianza “within” correlazione non omogenea tra le risposte di unità dello stesso gruppo Cov ( y ij , y i 0 j | x ij , x i 0 j ) = σ 2 u 0 + σ u 01 ( x ij + x i 0 j ) + σ 2 u 1 x ij x i 0 j nessuna correlazione tra le risposte di unità di gruppi diversi Cov ( y ij , y i 0 j 0 | x ij , x i 0 j 0 ) = 0 S. Bacci (unipg) 18 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Matrice di varianza e covarianza degli effetti casuali Σ u = σ 2 u 0 σ u 01 σ u 01 σ 2 u 1 Alcuni casi particolari di Σ u : Modello di regressione lineare classico (OLS) Modello a intercetta casuale S. Bacci (unipg) 19 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Casi particolari: modello OLS

Σ u = 0 Var ( y ij | x ij ) = σ 2 e = > omoschedasticità Cov ( y ij , y i 0 j | x ij , x i 0 j ) = tra loro incorrelate 0 = > le risposte di unità dello stesso gruppo sono y ij = γ 00 + γ 10 x ij + e ij = > intercetta e coefficiente angolare sono costanti = > La retta di regressione è la stessa per tutti i gruppi (la struttura di gruppo non ha alcun effetto su Y ) S. Bacci (unipg) 20 / 35

Il modello lineare a due livelli: una sola covariata a livello 1

Casi particolari: modello a intercetta casuale

Σ u = σ 2 u 0 0 0 0 La varianza del coefficiente angolare ( σ 2 u 1 ) è pari a 0 La varianza dell’intercetta ( σ 2 u 0 ) è diversa da zero (ma non dipende da X ) Var = > ( y ij | x ij ) = σ 2 u 0 + σ 2 e = > omoschedasticità coefficiente di correlazione intraclasse: σ 2 u 0 / ( σ 2 u 0 + σ 2 e ) Cov ( y ij , y i 0 j | x ij , x i 0 j ) = σ 2 u 0 = > equi-correlazione all’interno dei gruppi y ij = γ 00 data da + γ 10 x ij γ 00 + u 0 j + u 0 j + e ij = > intercetta casuale (una per ogni gruppo ) e coefficiente angolare costante = > Le rette di regressione gruppi in base a u 0 j sono tra loro parallele , quindi è possibile ordinare i S. Bacci (unipg) 21 / 35

Il modello di regressione a due livelli: introduzione di una covariata a livello 2

Esempio: efficacia delle scuole

Livelli: studenti (livello 1) in scuole (livello 2) Variabile risposta Y : punteggio su un test di abilità Variabile esplicativa (a livello 1) X : punteggio su un test iniziale Variabile esplicativa (a livello 2) Z : tipo di scuola (pubblica vs privata) L’introduzione di covariate di livello 2 è utile per definire un modello per spiegare meglio i parametri di livello 1, cioè ( β 0 j , β 1 j ) e, quindi, ridurre le varianze di livello 2, cioè ( σ 2 u 0 , σ 2 u 1 ) S. Bacci (unipg) 22 / 35

Il modello di regressione a due livelli: introduzione di una covariata a livello 2

Modello lineare a due livelli con covariata di livello 2

Modello di livello 1: y ij = β 0 j + β 1 j x ij + e ij Modello di livello 2: β 0 j β 1 j = γ 00 = γ 10 + γ 01 z j + u 0 j + γ 11 z j + u 1 j Modello combinato (livelli 1 e 2 insieme): y ij = γ 00 + γ 01 z j + γ 10 x ij + γ 11 z j x ij + | {z parte fissa } u 1 j x ij + u 0 j + e ij | {z parte casuale } γ 01 γ 11 è la differenza media nell’intercetta tra scuole pubbliche e scuole private è la differenza media nel coeff. ang. tra scuole pubbliche e scuole private l’interazione z j x ij è dovuta al fatto che il coefficiente di livello 1 dalla covariata di livello 2 z j β 1 j dipende l’inserimento di una covariata di livello 2 modifica soltanto la parte fissa del modello u 0 j e u 1 j hanno la stessa interpretazione di prima le assunzioni distributive sugli effetti casuali rimangono invariate S. Bacci (unipg) 23 / 35

Il modello di regressione a due livelli: introduzione di una covariata a livello 2

Effetto delle covariate sulle varianze

Una covariata di livello 2 fa ridurre (o lascia invariata) la varianza di livello 2 Una covariata di livello 2 non influenza la varianza di livello 1, in quanto è costante all’interno di ciascun gruppo Una covariata di livello 1 fa ridurre (o lascia invariata) la varianza di livello 1 L’effetto di una covariata di livello 1 sulla varianza di livello 2 è imprevedibile S. Bacci (unipg) 24 / 35

Centrare una covariata (quantitativa)

Esistono vari modi per studiare le relazioni all’interno dei gruppi e le relazioni tra i gruppi, che dipendono dal modo in cui X è inserita nel modello 1 2 3 4 y ij = . . .

+ γ total x ij + . . .

(modello con covariata grezza) y ij = . . .

+ γ within ( x ij − ¯ .

j ) + γ between x .

j + . . .

(modello di Cronbach) y ij = . . .

+ γ within x ij + ( γ between − γ within )¯ .

j + . . .

(modello contestuale) y ij = . . .

+ γ within ( x ij − ¯ .

j ) + . . .

(modello within o a effetti fissi) S. Bacci (unipg) 25 / 35

Modello di Cronbach e modello contestuale

Modello di Cronbach: centratura rispetto alla media di gruppo + media di gruppo y ij = γ 00 + γ 10 ( x ij − ¯ .

j ) + γ 01 x .

j + u 0 j + e ij con γ 10 : γ 01 : coefficiente within coefficiente between Modello contestuale: covariata X “grezza” + media di gruppo y ij = γ 00 + γ e 10 x ij + γ e 01 x .

j + u 0 j + e ij Se sostituisco x ij riparametrizzato: con ( x ij − ¯ .

j x .

j ottengo il modello di Cronbach y ij = γ 00 + γ 10 ( x ij e − ¯ .

j ) + ( γ e 10 + γ e 01 x .

j + u 0 j + e ij con γ e 10 γ e 01 = = γ 10 γ 01 − γ 10 = effetto di contesto S. Bacci (unipg) 26 / 35

Interpretare gli effetti within, between, contestuale

Esempio: Z = ¯ .

j y ij , punteggio su un test di abilità, x ij punteggio su un test iniziale, Effetto within (stesso punteggio medio di scuola, punteggi iniziali individuali diversi): E ( y ij | x ij = 81 , ¯ .

j = 70 ) − E ( y ij | x ij = 80 , ¯ .

j = 70 ) = γ 10 Effetto between (stessa deviazione tra punteggio iniziale individuale e punteggio medio della scuola): E ( y ij | x ij = 81 , ¯ .

j = 71 ) − E ( y ij | x ij = 80 , ¯ .

j = 70 ) = γ 01 Effetto contestuale (stesso punteggio iniziale individuale, punteggi medi delle scuole diversi): E ( y ij | x ij = 80 , ¯ .

j = 71 ) − E ( y ij | x ij = 80 , ¯ .

j = 70 ) = γ 01 − γ 10 S. Bacci (unipg) 27 / 35

Modello con covariata “grezza”

L’approccio più intuitivo consiste nell’inserire una covariata di livello 1 come covariata grezza, senza considerare la media di gruppo: y ij = γ 00 + γ b 10 x ij + u 0 j + e ij Questo equivale ad assumere che gli effetti within e between siano identici: y ij = γ 00 γ 00 + γ 10 x ij b + u 0 j + e ij + γ b 10 ( x ij − ¯ .

j + ¯ .

j ) + u 0 j + e ij γ 00 + γ b 10 ( x ij − ¯ .

j ) + γ b 10 ¯ .

j + u 0 j + e ij S. Bacci (unipg) 28 / 35

Ricapitolando . . .

1 2 3 4 y ij = . . .

+ γ total x ij + . . .

(modello con covariata grezza) y ij = . . .

+ γ within x ij + ( γ between − γ within )¯ .

j + . . .

(modello di Cronbach) y ij = . . .

+ γ within ( x ij − ¯ .

j ) + γ between x .

j + . . .

(modello contestuale) y ij = . . .

+ γ within ( x ij − ¯ .

j ) + . . .

(modello within o a effetti fissi) I modelli da 1 a 3 consentono di controllare completamente l’effetto di una covariata di livello 1 I modelli 2 e 3 sono equivalenti Il modello 1 è più parsimonioso dei modelli 2 e 3, ma in generale è sbagliato (in quanto gli effetti between e within di solito sono diversi) Il modello 4 (modello within o a effetti fissi) controlla solo per l’effetto all’interno dei gruppi S. Bacci (unipg) 29 / 35

Nel modello ad intercetta casuale gli effetti casuali sostituiti con dei parametri - cioè u 0 j possono essere costanti incognite ma fisse α j y ij = ( γ 00 + α j ) + β x ij + e ij In tal caso non è richiesta nessuna assunzione distributiva casuali di livello 2 sugli effetti Tuttavia, il coefficiente β non è l’effetto totale di X , ma solo l’effetto within , in quanto tutta la variabilità tra i gruppi (effetto between) è assorbita dagli effetti fissi S. Bacci (unipg) 30 / 35

Infatti, la stima dei parametri β si ottiene scartando dal modello originario il seguente modello basato sulle medie di gruppo : ¯ .

j = ( γ 00 + α j ) + β ¯ .

j + ¯ .

j cioè ( modello basato sulle deviazioni dalle medie di gruppo ) y ij − ¯ .

j = β ( x ij − ¯ .

j ) + ( e ij − ¯ .

j ) La trasformazione attuata elimina gli effetti fissi dal modello e si ottiene lo stimatore a effetti fissi β FE per β ˆ FE è detto anche stimatore within in quanto descrive l’effetto della deviazione di X rispetto alla propria media di gruppo Gli effetti fissi α j sono stimati come residuo medio: ˆ j , FE = ¯ .

j − ˆ FE x .

j S. Bacci (unipg) 31 / 35

Effetti fissi o effetti casuali?

Gli effetti casuali sono l’approccio standard in epidemiologia, sociologia, psicometria; gli effetti fissi sono l’approccio standard in econometria Vantaggi dell’approccio a effetti fissi: si evitano assunzioni distributive sui residui di livello 2 può essere usati con pochi gruppi lo stimatore ˆ FE è sempre consistente Svantaggi dell’approccio a effetti fissi: al crescere del numero di gruppi si ha una perdita di efficienza (il numero di effetti fissi da stimare è pari al numero di gruppi) tiene conto solo della varianza within e non della varianza between = > non è possibile usare covariate di livello 2 , cioè covariate che non variano al livello 1 (nel caso di dati panel, non è possibile inserire nel modello caratteristiche costanti nel tempo degli individui) Stima inefficiente degli effetti di gruppo (ad es., se un gruppo ha solo due unità, il suo effetto fisso è stimato usando due osservazioni) Non consente di fare inferenza sulla popolazione dalla quale il campione è stato estratto, in quanto è condizionato ai valori degli α j = > se l’interesse è proprio sugli elementi del campione l’approccio FE è il candidato naturale, se l’interesse è sulla popolazione dalla quale il campione proviene, allora l’approccio RE è una scelta più corretta S. Bacci (unipg) 32 / 35