Transcript Effectiviteit van serious gaming in het onderwijsEsther

Effectiviteit van serious gaming in het
onderwijs
Esther Oprins
TNO Training & Performance Innovations (Soesterberg)
Inhoud
Game-based learning Evaluation Model (GEM):
generiek raamwerk voor validatie van serious games
Twee studies:
LINGO Online (i.s.m. Hogeschool Windesheim)
Wisselkoersen (BeInvolved)
Algemene conclusies
Inhoud
Game-based learning Evaluation Model (GEM):
generiek raamwerk voor validatie van serious games
Twee studies:
LINGO Online (i.s.m. Hogeschool Windesheim)
Wisselkoersen (BeInvolved)
Conclusies
Game-based learning Evaluation Model (GEM)
Waarom?
Validatie = “functioneert de game zoals bedoeld?” (transfer of gaming)
Literatuur: problemen met goed validatieonderzoek van serious games (e.g., Ack et
al, 2010; Bekebrede et al., 2011; Bedwell et al., 2012; Connolly et al., 2012; Hays, 2005; Sitzmann, 2011)
Input voor generieke, ‘evidence-based’ ontwerprichtlijnen voor serious gaming
Wat is GEM?
Methodologie, set van indicatoren, (gevalideerde) meetinstrumenten
Breed toepasbaar op allerlei soorten serious games
Serious gaming
Wanneer?
ROI
Ontwerpfase: evaluatie van game concepten
Validatie van bestaande serious games
Ontwerp
Validatie
Process
Input
Output
Learning environment (big game)
Serious gaming (small game)
Design indicators:
-
Game world
Action language
Challenge*
Social interaction*
- Rules & goals
- Control*
- Feedback*
Learner
Personal features:
- Personality
- Cognitive capacity
- Education
- Experience
- Bio/demographical features
Learning indicators
Emotionalmotivational:
- Self-efficacy
- Motivation
- Engagement
Cognitive:
- Self-directedness
- Learning activity
- Mental effort
Environmental influences
-
Personal circumstances
Organisational environment
Learning outcome /
transfer of training:
- Knowledge,
skills, attitudes
- Competences
- Performance
Evaluatie & validatie methoden
Evidence
Expert judgment:
• Gestructureerde checklists
• Serious gaming experts
Gebruikersevaluatie:
• Quick scan (pilot)
• Kwalitatieve data (lage N)
Validatieonderzoek:
• Experimenteel onderzoek
• Kwantitatieve data (hoge N)
Game ontwerp
Game ervaring
Leeruitkomsten
Experimentele groep
Voormeting
Persoonskenmerken
Serious gaming
Nameting
Interventie (beleving lerende / experts)
Leerkenmerken
Leerkenmerken
‘Leeruitkomst’
Leeruitkomst
Controle groep
Voormeting
Klassikale les
Nameting
Persoonskenmerken
Leerkenmerken
Leerkenmerken
‘Leeruitkomst’
Leeruitkomst
Inhoud
Game-based learning Evaluation Model (GEM):
generiek raamwerk voor validatie van serious games
Twee studies:
LINGO Online (i.s.m. Hogeschool Windesheim)
Wisselkoersen (BeInvolved)
Algemene conclusies
Studie 1: LINGO
Magma Studios - Singapore
Kenmerk
Game
Inhoud
Engelse uitspraak
Doelgroep
Groep 7 – 8, 2e klas VO
Type game
Virtuele omgeving
Sessie
8 weken; 1 – 3 uur p/w
Controlegroep
Klassikale Engelse les
Leeruitkomst
Gevalideerde taaltoetsen
Conditie
N
Experimenteel
66
Controle
65
http://vimeo.com/55256348
Resultaten: taaltoets One Minute Test
• Paired samples t-test: verschil voormeting vs. nameting (per groep):
alles significant (alle groepen hebben geleerd).
• Independent t-test: verschil controle vs. exp groepen (delta nameting
minus voormeting): alleen voor basisschool
Resultaten: taaltoets Tommy Text
• Paired samples t-test: verschil voormeting vs. nameting (per groep):
alles significant (alle groepen hebben geleerd).
• Independent t-test: verschil controle vs. exp groepen (delta nameting
minus voormeting): geen resultaten
Resultaten: leerkenmerken
Paired samples t-test:
verschil voormeting vs.
nameting (per groep)
Conclusies LINGO
Metingen
Conclusies
Leeruitkomsten
Self-assessment: geen (sign) resultaten
Taaltesten: sign resultaten, vooral basisschool
Leerkenmerken
Motivatie: sign groei alleen bij gaming groep;
sign invloed op taaltesten net als engagement
Self-efficacy: geen effecten gevonden
Ontwerpkenmerken
Geen sign verschillen tussen exp en controle
groep vanwege moeilijkheid vragenlijst
Studie 2: Wisselkoersen (economie)
Beinvolved
Kenmerk
Game
Inhoud
Omgaan met wisselkoersen
Doelgroep
Bovenbouw HAVO/VWO
Type game
Bordspel
Afname
Een blokuur
Controlegroep
Parallelklas 5 HAVO/VWO
Toetsing
Open vragen
Onderzoeksgroep Sondervick college
41
46
Experimentele groep
Controle groep
Resultaten: self-assessment
• Paired samples t-test (blauw): verschil voor- vs. nameting (per groep)
• Independent t-test (groen): verschil experimentele vs. controlegroep
(delta: nameting minus voormeting)
Voormeting
nameting
7.0
5.8
6.1
5.2
3.0 3.1
2.8
Informatievaardigheden
Strategisch inzicht
controle
experimenteel
controle
experimenteel
controle
2.4
3.2
2.6
Conjuncturele
verschijnselen
experimenteel
2.9 2.9
controle
3.1 3.1
experimenteel
2.9 2.9
Algemene zelfbeoordeling
(1-10)
Resultaten: kennistoets
Independent t-test (groen): verschil experimentele vs. controlegroep
(delta: nameting minus voormeting)
Percentage maximaal te behalen
punten op kennistoets
Voormeting
Nameting
50%
43%
41%
33%
controle
experimenteel
Resultaten: leerkenmerken
Independent t-test (groen): verschil experimentele vs. controlegroep
(delta: nameting minus voormeting)
Leerkenmerken
Controle
Experimenteel
4.0
3.6
3.5
3.5
leerdoelen
feedback
3.8
3.6
3.2
3.1
3.0
zelfsturing
3.7
engagement
samenwerking
Conclusies Wisselkoersen (economie)
Metingen
Conclusies
Leeruitkomsten
Self-assessment: sign voor beide groepen; dit
wijst op toename self-efficacy
Kennistoets: nameting moeilijker, waardoor
lager gescoord dan de voormeting!
Leerkenmerken
Self-directedness en engagement: sign
verschil tussen controle en exp groep
Ontwerpkenmerken
Feedback en collaboration: sign verschil
tussen controle en exp groep
Inhoud
Game-based learning Evaluation Model (GEM):
generiek raamwerk voor validatie van serious games
Twee studies:
LINGO Online (i.s.m. Hogeschool Windesheim)
Wisselkoersen (BeInvolved)
Algemene conclusies
Algemene conclusies
LINGO
Economics
Ease-IT
ABCDEsim
Selfassessment
-
+
+
+
Leeruitkomsten
+
-
-
+
Leerkenmerken
+ (motivation,
+ (engagement,
+ (engagement,
-
engagement)
self-directedness)
self-directedness)
Ontwerpkenmerken
-
+ (learning goals,
+ (learning goals,
feedback,
collaboration)
feedback,
collaboration)
-
GEM maakt het mogelijk om conclusies te trekken over meerdere
games, mits de methodologie op de juiste manier is toegepast.
Meer onderzoek is nodig naar de keuze en psychometrische kwaliteit
van de diverse indicatoren, met name ontwerpkenmerken.