Transcript Pourquoi la recherche expérimentale

La recherche expérimentale
Premières explications
Limites et interrogations
Daniel Gile
[email protected]
www.cirinandgile.com
D.Gile
Rech expérim.
1
Pourquoi la recherche expérimentale ?
Le principe
Dans la nature, les phénomènes auxquels s’intéresse la recherche
sont en général influencés par de nombreux facteurs
Il est donc difficile d’identifier l’influence d’un facteur
spécifique
Dans environnement « contrôlé »,
On facilite cette recherche
En « contrôlant » d’autres facteurs pertinents :
en s’assurant qu’ils ont tous la même valeur
ou que leur valeur est la même dans les différents échantillons qui
sont comparés
(Même proportion d’hommes et de femmes, de droitiers et de
gauchers, de participants du même âge etc.)
D.Gile
Rech expérim.
2
Le « contrôle dans la recherche expérimentale
Dans la nature : influences autres que celle qui nous
intéresse (en noir ; résultat en rouge).
La résultat est-il engendré par l’influence qui nous
intéresse ? Ou par toutes les influences à la fois ?
Deux possibilités de « contrôle » expérimental :
- « Eliminer les influences parasites » dans un environnement artificiel (en bas à
gauche)
- Donner aux influences parasites les mêmes valeurs – seule la variable
indépendante change (flèche noire en bas à droite), ou s’assurer que dans des
échantillons que l’on compare, ces influences parasites sont similaires.
Elimination des
influences parasites
D.Gile
Rech expérim.
3
Exemple
Un méthode de formation à la traduction est-elle efficace ?
Si l’on se contente de comparer les traductions de 40 traducteurs,
dont 20 ont été formés et 20 ne l’ont pas été,
Les différences éventuellement mesurées dans la qualité des
traductions peuvent être attribuables à la formation, mais aussi
:
À l’âge des traducteurs, à leur expérience, à leur motivation, aux
conditions de travail etc.
Si l’on réunit deux groupes de traducteurs ayant les mêmes
caractéristiques (à part la méthode de formation en question)
pour leur faire traduire le même texte,
D’éventuelles différences sont plus facilement attribuable à la
formation ou à son absence
D.Gile
Rech expérim.
4
Tests d’hypothèses à travers une expérience
Il s’agit du prototype de la recherche expérimentale aux yeux de
nombreux chercheurs
Le comportement de 2 ou plusieurs groupes est observé
Ces groupes sont constitués de manière à être comparables sauf
pour ce qui est de la variable dont l’influence doit être
examinée
On compare les résultats mesurés sur chaque groupe
pour déterminer si des différences entre les groupes sont être
faibles et probablement dues au seul effet du hasard – ou non
Dans le deuxième cas, on parle de différences « significatives »
D.Gile
Rech expérim.
5
Expériences exploratoires
Les expériences tests d’hypothèses sont les plus connues
Mais ce ne sont pas les seules
Expériences exploratoires :
Et si…?
(Sans hypothèse particulière)
Si je donnais aux traducteur tel type de document de référence ?
Si je laissais l’apprenant de langue étrangère la possibilité de lire
des romans pour l’acquisition du vocabulaire ?
…
D.Gile
Rech expérim.
6
Exemples
Séjour dans grotte et changement de rythme biologique
(Comment ce rythme va-t-il évoluer si l’homme ne sait pas s’il
fait jour ou s’il fait nuit dehors ?)
Groupe de volontaires pour vivre en isolement plusieurs mois
(Comment les relations humaines vont-elles évoluer ?)
Expérience agronomiques avec sol, exposition, arrosage,
mélanges…
Expérimentation avec combinaison de médicaments pour traiter
une pathologie particulière
Parfois sur la base d’hypothèses ou théories formalisées
Parfois sans
D.Gile
Rech expérim.
7
Avantages de l’expérimentation
1. Eliminer l’influence des variable parasites qui empêchent
d’identifier l’influence du facteur étudié
2. Par là, détecter et mesurer cette influence avec une masse de
données bien moins importante que celle nécessaire pour la
détecter et la mesurer in vivo
(la chose est possible sur une grande masse de données en
faisant des comparaisons multiples et en isolant un ou
plusieurs facteurs chaque fois)
3. Souvent, mesurer ce qu’il y a à mesurer avec plus de précision
que ‘dans la nature’
(L’environnement créé pour l’expérience permet de le faire)
4. Créer des situations/conditions intéressantes qui ne se
produisent que rarement ou pas du tout dans la nature
D.Gile
Rech expérim.
8
Pourquoi l’expérimentation a-t-elle un statut
scientifique si élevé ?
- En raison de ces avantages
- Parce qu’elle sert souvent à vérifier des théories, et se situe
donc à une étape avancée de l’investigation
- Parce qu’elle fait souvent appel à des montages complexes
(donc plus « intelligents » ?)
- Parce qu’elle fait souvent intervenir les statistiques, qui sont
un outil ‘sophistiqué’
Mais tout cela la rend-il plus ‘scientifique’ que la recherche
naturaliste ?
D.Gile
Rech expérim.
9
Limites de l’expérimentation : la validité écologique
Dans les sciences sociales, c’est le souci majeur :
La tâche et les mesures correspondent-elles à la vie réelle ?
Les comportements observés et mesurés en laboratoire
Reflètent-ils les comportements que l’on trouve dans la vie
réelle ?
Si la réponse est négative ou incertaine, en tirant des expériences
des conclusions pour la vie réelle, ne viole-t-on l’importante
norme de prudence dans la recherche scientifique ?
D.Gile
Rech expérim.
10
L’expérience est une étude de cas
En ‘contrôlant’ les variables et paramètres pertinents,
Par exemple, tous les sujets ont le même âge, ou sont droitiers,
etc.
L’expérimentateur opère dans une constellation particulière de
valeurs et exclut une certaine variabilité naturelle
Il est donc difficile de savoir si les résultats seraient les
mêmes avec d’autres constellations de valeurs
S’il y a de nombreuses réplications de l’expérience avec des
constellations différentes, à terme, on peut tirer des
conclusions,
Mais s’il y a peu de réplications ?
D.Gile
Rech expérim.
11
Les différences statistiquement significatives (1)
Dans un cas très simple,
pour voir si un facteur donné représenté par une variable
indépendante
(un médicament, une méthode de formation…)
a une véritable influence sur quelque chose
(représenté par un indicateur nommé variable dépendante)
(par exemple l’état du malade, les notes de l’apprenant)
On compare les valeurs de cette variable dépendante
dans deux échantillons,
l’un étant soumis à ce facteur, l’autre non
(un échantillon de malades traités par le médicament, l’autre ne
recevant que du placébo, l’un formé par telle méthode,
l’autre non)
D.Gile
Rech expérim.
12
Les différences statistiquement significatives (2)
Si la variable dépendante dans les deux échantillons ne semble
pas avoir la même distribution
(ce qui est inféré à partir de la moyenne et de l’écart type
mesurés sur les deux échantillons),
on considère que les populations représentées par les deux
échantillons sont « différentes »,
donc que le facteur en question a une véritable influence
Si elle a la même distribution, on considère que les deux
populations représentées par les deux échantillons sont la
même, autrement dit que le facteur dont on étudie
l’influence n’en a pas
D.Gile
Rech expérim.
13
Les différences statistiquement significatives (3)
Comment le test statistique permet-il de le vérifier ?
Il y aura toujours une différence
entre les moyennes des deux échantillons
mais cette différence peut être plus ou moins grande
plus ou moins compatible avec l’idée qu’elle est due au seul
hasard
Le test indique la probabilité d’une compatibilité de cette
différence mesurée avec l’idée que les deux populations ont
en réalité la même distribution pour la variable en question
Si cette probabilité est faible, on dit que la différence est
‘significative’
D.Gile
Rech expérim.
14
Les différences statistiquement significatives (4)
Plus concrètement, le test déterminera,
sur la base des moyennes et écarts-type mesurés sur les
échantillons,
une entité mathématique correspondant à l’hypothèse de
l’identité des deux populations
Cette entité aura une certaine distribution
Une proportion donnée de ses valeurs (p. ex. 95% d’entre elles)
se situeront entre un minimum et un maximum qui seront
également connus par calcul
Les mesures sur les échantillons déterminent une valeur de
l’entité
Si elle se situe au-dessus du maximum ou en dessous du
minimum
elle est marginale, et on peut dire qu’elle accrédite l’idée d’une
différence réelle entre les deux populations
D.Gile
Rech expérim.
15
Les différences statistiquement significatives (5)
)
D.Gile
Rech expérim.
16
Limites et interrogations (1)
Différences ‘significatives’ sont déterminées à un certain
niveau :
l’expérimentateur s’autorise une certaine probabilité de ‘faux
positif’
(de conclure que les différences constatées ne sont pas le fruit du
hasard – alors qu’elles le sont)
S’il détermine ce seuil à 5% (p < 0,05), il s’autorise une telle
erreur une fois sur vingt !
Si vous deviez décidez que quelque chose est vrai ou non,
voudriez-vous le faire en prenant une chance sur 20 de vous
tromper ?
(A 1%, avec une chance sur 100 de vous tromper ?)
D.Gile
Rech expérim.
17
Limites et interrogations (2)
Les tests déterminent la décision sur la base de mesures sur les
échantillons avec un seuil donné
Par exemple, avec 5,63, le test indique des différences
significative, et avec 5,62, elles ne le sont pas.
Cette transition brutale de ‘oui’ à ‘non’ est-elle raisonnable ?
D.Gile
Rech expérim.
18
Limites et interrogations (3)
Le concept de signification statistique
Ne permet de se prononcer que sur la probabilité de la nature
aléatoire ou non de différences mesurées sur des
échantillons
Il ne dit rien sur l’ampleur de la différence
Une différence significative de très faible ampleur peut n’avoir
aucune incidence pratique
En traductologie et dans les sciences sociales, une telle
différence nous intéresse-t-elle toujours ?
D.Gile
Rech expérim.
19
Attention aux malentendus
Il ne s’agit pas dénier toute valeur à la recherche expérimentale
Elle est souvent très utile pour exclure l’influence de facteurs
parasites
Elle permet bien d’étudier des situations qui ne se produisent que
rarement in vivo
Elle permet souvent des mesures précises impossibles in vivo
parce que l’environnement du « laboratoire » peut être
rendu plus stable, plus ‘propre’
Elle permet souvent de surmonter l’obstacle de la variabilité
Mais elle n’est pas la panacée.
Elle n’est efficace que sous certaines conditions
D.Gile
Rech expérim.
20
Conditions pour une efficacité maximale
1. Un bon montage expérimental
2. Un échantillonnage bien conçu et réalisé
3. Une ou plusieurs étapes pilotes
4. Des inférences prudentes
5. Une bonne utilisation des statistiques
(vérifier les conditions et le test applicable plutôt que de se
contenter d’appliquer des ‘recettes’)
6. De nombreuses réplications
(pour réduire la probabilité de résultats aléatoires
et couvrir plus de constellations de valeurs
des paramètres pertinents)
7. Une variabilité limitée du phénomène
et des tailles d’échantillons suffisantes
D.Gile
Rech expérim.
21
Si ces conditions ne sont pas réunies
La recherche expérimentale reste utile, mais surtout à titre
provisoire, pour dégager des résultats d’étape
Ses résultats ne peuvent pas être considérés comme le ‘résultat
scientifique ultime ’ pour la prise de décisions
Des résultats de recherche naturaliste peuvent être plus puissants
Surtout quand on utilise des corpus massifs
Qui permettent d’exploiter une grande masse de données
authentiques
Et de vérifier des hypothèses sur ces données, avec plus
d’efficacité que l’expérimentation
Par exemple en épidémiologie, dans travail sur corpus
D.Gile
Rech expérim.
22
Conclusion
L’expérimentation est un outil puissant – sous certaines
conditions
Mais peu efficace si elles ne sont pas réunies
Elle n’est pas « ce qu’il y a de mieux » dans l’absolu sur le
plan scientifique
Ne pas se laisser berner par des « symboles de statut
scientifique »
La science est dans l’esprit humain, pas dans les techniques
Quand vous explorez la réalité dans un esprit rigoureux,
systématique, sceptique, prudent, vous faites de la recherche
scientifique, même avec des outils simples.
D.Gile
Rech expérim.
23