Transcript chapitre 12
Comparaisons multiples • Comprendre pourquoi il faut des procédures spéciales pour faire des comparaisons multiples – quel danger y-a-t-il à faire des comparaisons multiples – comment s’en sortir • comprendre les principes de ces procédures • savoir appliquer les différents tests de comparaisons multiples Addition Rimes Adjectifs Images Intentionel 9 7 11 12 10 8 9 13 11 19 6 6 8 16 14 8 6 6 11 5 10 6 14 9 10 4 11 11 23 11 6 6 13 12 14 5 3 13 10 15 7 8 10 19 11 7 7 11 11 11 S 70 69 110 134 120 M 7.00 6.90 11.00 13.40 12.00 DS 1.83 2.13 2.49 4.50 3.74 Un F significatif est équivoque • Il y a autant de comparaisons à faire que N! C r! (N r )! N r • Tester ces comparaisons fait augmenter la probabilité de commettre une erreur sur l’ensemble des comparaisons le seuil de .05 équivaut à 1/20, mais ne vaut que pour 1 comparaison Rappel de notions du chapitre 4 Que font les tests d’inférence statistique? (1) paramétrique le paramètre est-il fréquent ou rare selon la distribution théorique? rare <= fréquent=> rare Décision du chercheur ou de la chercheure Les erreurs d’inférence État de la nature H0 vraie μ1 = μ 2 Accepte H0 M1 = M2 o.k. Rejette erreur de H0 type I M1 M2 erreur α H0 fausse μ 1 μ2 erreur de type II erreur β o.k. puissance statistique La probabilité de faire l’erreur de type I peut s’interpréter comme le nombre de conclusions erronnées produites par 100 répétitions de la même expérience. Les décisions prises à partir de tests d’inférence sont des décisions basées sur des probabilités Probabilité de faire une erreur de type I; en recherche, les conclusions sont incertaines Fin du rappel Problème des comparaisons multiples • Chaque comparaison a son taux d’erreur (EC) • Sur l’ensemble des comparaisons(EE), le taux d’erreur augmente: 1 (1 EC) C EE • Cette évolution est plus lente que la simple addition des taux d’erreur (Loi d’inégalité de Bonferroni) C EE 1 (1 EC) c EC La solution de Bonferroni au problème des comparaisons multiples • Il suffit de diviser le taux d’erreur choisi pour l’ensemble par le nombre de comparaisons et donc d’adopter ce taux (divisé) pour chaque comparaison EC EE C La solution de Bonferroni au problème des comparaisons multiples • Solution très conservatrice pour • rare <= fréquent=> rare qui réduit la puissance statistique celle-ci dépend – taille de l’échantillon (n) – taille de l’effet – Deux autres notions à propos des comparaisons multiples • Comparaisons • prévues: a priori ou non a posteori + nombreuses • Comparaisons • directes de moyennes comme le test t ou par combinaison linéaire de moyennes L a1 _ X 1 a2 _ X _ L ak X k 2 ... a j _ X j ak _ X k Particularité des combinaisons linéaires • Il faut savoir choisir les coefficients • deux avantages – peuvent se calculer directement sous forme de SC 2 nL SCcontraste 2 a j – peuvent être formulés de façon orthogonale aj 0 a b j j 0 seulement dans ce cas SC SC traitement contraste Procédure de comparaisons multiples a priori: le test t • le test t standard _ tdl _ X X s s N N 1 • le test t adapté à l’ANOVA _ 2 2 2 1 2 1 2 dl = N1 + N2 – 2 tdl _ X X 2 CM n 1 2 erreur dl = dl associé à CMerreur Procédure de comparaisons multiples a priori: les combinaisons linéaires • Rappel L a1 _ X 1 a2 • Chaque contraste peut être testé _ X 2 ... a j _ L ak X k _ X j ak _ X k SC contraste F 1 dl , erreur CM 1 CMcontraste CM erreur nL erreur 2 SC contraste nL 2 a 2 j a CM 2 j erreur nL a CM 2 2 j erreur Procédures de comparaisons multiples a priori: les procédures réduisant EE (1) • Les test t et F sur les contrastes ne protègent pas contre l’élévation de l’erreur de type I • Dunn-Bonferroni suggèrent une procédure pour obtenir cette protection t’ Procédures de comparaisons multiples a priori: les procédures réduisant EE (2) • Des solutions à la procédure de DunnBonferroni jugée trop conservatrice Sidak Holm Lazarlee & Mulaik Shaffer 1 (1 ) ' 1 C ajuster progressivement selon l’ordre de grandeur C des différences ibid. mais exclut les résultats illogiques Comparaisons multiples a priori: exemple de calculs (1) Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel Moy 7.00 6.90 11.00 13.40 12.00 ÉT 1.83 2.13 2.49 4.50 3.74 H1: Intentionnel meilleur rappel que tous les autres groupes H2: Tous les autres groupes sont semblables Comparaisons multiples a priori: exemple de calculs (2) Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel Moy 7.00 6.90 11.00 13.40 12.00 ÉT 1.83 2.13 2.49 4.50 3.74 Comparaisons multiples a priori: exemples de calculs (3) Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel Moy 7.00 6.90 11.00 13.40 12.00 ÉT 1.83 2.13 2.49 4.50 3.74 SC contraste nL 2 a 2 j Comparaisons multiples a priori: exemple de calculs (3) Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel Moy 7.00 6.90 11.00 13.40 12.00 ÉT 1.83 2.13 2.49 4.50 3.74 SC contraste F 1 dl , erreur CM 1 CMcontraste erreur CM erreur voir p. 348 Le tableau d’analyse de variance Source de variation SC dl 351,97 4 Traitement Contraste 1 Contraste 2 Contraste 3 Contraste 4 erreur 435,30 45 Total 786,82 49 CM 87,88 9,67 F 9,08 p < ,05 Procédures de comparaisons multiples a posteriori (1) • LSD: la plus petite différence significative – suppose l’hypothèse nulle – tests t • Test de Scheffé – test selon contraste linéaire – mais ajuste la valeur critique de F par k-1 c’est-à-dire (k 1)F(k 1, dl ) ERREUR Procédures de comparaisons multiples a posteriori (2): procédures basées sur la loi de Student • Statistique de Student q r _ _ X g-X p CM erreur avec r et dl(erreur) comme dl • Test de Newman-Keuls n – mise en ordre des moyennes selon leur taille – comparaison de toutes les paires de moyennes en ajustant la distance entre celles-ci Procédures de comparaisons multiples a posteriori (3): procédures basées sur la loi de Student • HSD: Test de la différence franchement significative de Tukey – ibid. à Newman-Keuls – mais n’utlise qu’une seule valeur critique, la plus grande • Procédure de Ryan (REGWQ) kα αcomparaison r comparaison 1 1 r k Procédures de comparaisons multiples a posteriori (4) •Comparaisons à un groupe témoin: le test de Dunnett _ tddl _ X X 2 CM n 1 2 erreur dl = dl associé à CMerreur Voir table de td Comparaisons multiples a posteori: exemple de calculs (1) Gr. : 1. Addition 2. Rimes 3. Adjectifs 4. Images 5. Intentionel Moy 7.00 6.90 11.00 13.40 12.00 ÉT 1.83 2.13 2.49 4.50 3.74 a) Réordonner les moyennes Comparaisons multiples a posteori: exemple de calculs (2) _ Gr. : Moy 2 Rim 1 Add 3 Adj 5 Int 2. 1. AdRi- dition mes 3. Ad- 5. 4. Images jectifs Intentionel q r _ X g-X p CM erreur n Critère q Comparaison des procédures Un exemple de calcul I. Lettré, une chercheure de réputation internationale, présente des mots simples de type CVC (ex.: bol) en lettrage conventionnel ou en italique en des temps d’exposition courts et très courts. Elle enregistre le nombre d’erreurs d’identification de mots faites par les participants et participantes Le tableau d’analyse de variance Source de variation Type de lettrage Temps d’exposition Type de lettrage x Temps d’exposition SC dl CM 5 1 5.0 45 1 125 F p 2.00 >.05 45.0 18.00 <.05 1 125.0 50.00 <.05 Erreur 40 16 Total 215 19 2.5 M Lettrage Lettrage normal Italique (A1) (A2) 90 45 90 45 mec msec msec msec (B1) (B2) (B1) (B2) 7 5 3 11 8 6 4 12 9 7 5 13 10 8 6 14 11 9 7 15 45 35 25 65 9 7 5 13 Combinaisons a priori (1) SC contraste nL 2 a 2 j Combinaisons a priori (2) SC contraste nL 2 a 2 2 SC contraste L j Source de variation SC 3 nL a 2 5 0750 5 2 10 j dl CM Erreur 40 16 2.5 Total 215 19 Contraste 1 Contraste 2 Contraste 3 2 2 2 2 F p Variations sur combinaison linéaires F ou t? Procédures ajustant l’EC Dunn EE EC Bonferronni C Sidak 1 (1 ) Holm ajustement Lazarlee & progressif Mulaik ' 1 C Écart studentisé q r _ _ X g-X p CM erreur avec r et dl(erreur) comme dl n Gr. : Moy Ital. 90 Norm. 45 Norm. 90 Ital. 90 5 Norm. Norm. 45 90 7 9 Ital. 45 Critère 13 q Variations sur les tests a posteori utilisant l’écart studentisé Exemple A1B A1B2 A2B A2B2 Σa2 ΣaX (ΣaX)2 n(ΣaX)2 1 7 13 15 9 Gr. : A 2B 1 A 1 B 2 A 1B 1 A 2B 2 5 7 9 13 A 2B 1 ---- A 1B 2 --- --- A1B1 --- --- --- Critère q