Transcript Presentasjon, PDF - Oslo Militære Samfund

FORSVARET
Sjøkrigsskolen
Military Team Performance Assessment
– In Virtual and Live exercises
OK Frode Voll Mjelde, OMS 13okt14
10/15/14
1
FORSVARET
Sjøkrigsskolen
Forsøksspørsmål 1
•  Kan det samme observasjonsverktøyet benyttes
til pålitelig måling av ytelse og prestasjoner hos
militære team - både i simulatorøvelser og i
feltøvelser?
10/15/14
2
FORSVARET
Sjøkrigsskolen
Forsøksspørsmål 2
•  Kan det samme observasjonsverktøyet benyttes
til pålitelig måling av ytelse og prestasjoner hos
militære team - både i simulatorøvelser og i
feltøvelser?
•  Vil teamets målte ytelse i en simulatorøvelse
kunne predikere teamets ytelsesnivå i en
påfølgende feltøvelse?
10/15/14
3
FORSVARET
Sjøkrigsskolen
Forsøksspørsmål 3
•  Kan det samme observasjonsverktøyet benyttes
til pålitelig måling av ytelse og prestasjoner hos
militære team - både i simulatorøvelser og i
feltøvelser?
•  Vil teamets målte ytelse i en simulatorøvelse
kunne predikere teamets ytelsesnivå i en
påfølgende feltøvelse?
•  Vil gjenspeiling av stressfaktorer i begge
øvingsdomener forbedre evnen til å predikere?
10/15/14
4
FORSVARET
Sjøkrigsskolen
Scope of study
•  Sjøkrigsskolen (SKSK) team trening
•  SKSK kadett team
•  Military Subject Matter Experts (SMEs)
10/15/14
5
FORSVARET
Sjøkrigsskolen
Perspektiver på team ytelse
•  Teamwork
–  Adams & Webb (2002); Alberts (2007); CannonBowers & Salas, (1998); Entin & Serfaty (1999);
Espevik, Johnsen & Eid (2011); Flin, O'Connor &
Crichton (2008); Orasanu (1990); Paris, Salas &
Cannon-Bowers (2000); Salas Sims, & Burke (2005);
Salas & Fiore (2004); Wilson, Salas, Priest & Andrews
(2007)
•  Taskwork
–  Bandura (1977); Bartone (2006); Boyd (2005);
Brehmer (2005); Hollnagel, Woods & Leveson (2006);
Osinga (2005); Reivich, Seligman & McBride (2011);
Richards (2005)
10/15/14
6
FORSVARET
Sjøkrigsskolen
Team ytelse dimensjoner
Teamwork
1. 
2. 
3. 
4. 
5. 
6. 
7. 
8. 
Team orientation
Backup behavior
Mutual performance monitoring and mutual trust
Closed-loop communication
Team leadership
Shared mental models
Adaptability
Agility
Taskwork
9.  Creative action
10.  Speed
11.  Thoroughness
12.  Success
10/15/14
7
SKSK verktøy, Teamwork
FORSVARET
Sjøkrigsskolen
RNoNA Team Performance Assessment
Team:
Rater:
1. Team Orientation:
The team showed a high degree of involvement (team members monitored and paid attention to other team members, not many
"free riders" in the teamwork process)
Strongly Disagree
Partially agree
Strongly Agree
1
2
3
4
5
6
7
2. Backup Behavior:
The team showed a high degree of backup behavior (team members helped/assisted without being asked, push of information)
Strongly Disagree
Partially agree
Strongly Agree
1
2
3
4
5
6
7
3. Mutual Performance Monitoring (includes Mutual Trust):
The team adjusted and reinforced each other (feedback when wrong or right was accepted and implemented by team members)
Strongly Disagree
Partially agree
Strongly Agree
1
2
3
4
5
6
7
4. Closed-loop Communication: The team exchanged information and coordinated actions through feedback and response
Strongly Disagree
1
2
3
Partially agree
4
5
6
Strongly Agree
7
5. Team Leadership: The leader was effective to solve team problems (roles and responsibilities were distributed in the team)
Strongly Disagree
1
2
3
Partially agree
4
5
6
Strongly Agree
7
6. Shared Mental Models: The team showed the ability to create a common outlook (all team members are kept updated on the
objectives, situation and priorities, both for teamwork and taskwork objectives, “what if”-processes)
Strongly Disagree
Partially agree
Strongly Agree
1
2
3
4
5
6
7
7. Adaptability: The team showed the ability to adjust strategies (dynamic co-ordination to meet shifting internal and external
needs)
Strongly Disagree
1
2
3
Partially agree
4
5
6
Strongly Agree
7
8. Agility: The team showed the ability to rapidly change their orientation in response to what is happening (monitor, detect and
respond to resource allocation needs, e.g. alert and ready to move)
Strongly Disagree
Partially agree
1
2
3
4
5
6
Strongly Agree
7
10/15/14
8
SKSK verktøy, Taskwork
FORSVARET
Sjøkrigsskolen
RNoNA Team Performance Assessment
Team:
Rater:
9. Creative Action: The team was creative in their actions (taking action to generate and exploit advantage over the
situation/opponent to achieve their objectives, e.g. cause friction to opponent, ”command both sides”)
Strongly Disagree
Partially agree
Strongly Agree
1
2
3
4
5
6
7
10. Speed: The team was effective to complete assignments (short time, appropriate method and strategy)
Strongly Disagree
1
2
3
Partially agree
4
5
6
Strongly Agree
7
11. Thoroughness: The team was thorough in their assignments (solutions and actions that fit with the stated plan)
Strongly Disagree
1
2
3
Partially agree
4
5
6
Strongly Agree
7
12. Success: The team successfully accomplished the task/mission (based on the current training objectives/requirements)
Strongly Disagree
1
2
3
Partially agree
4
5
6
Strongly Agree
7
Comments (fill in additional information, team behaviors, special assignments that can explain scores, overheard quotes, etc. that
can further describe your assessment):
10/15/14
9
FORSVARET
Sjøkrigsskolen
Forskningsmetode
•  Deltakere
–  72 kadetter fordelt i 8 team
•  Oppgaver
–  Carey (simulatorøvelse)
–  Aden (simulatorøvelse)
–  Dolphin (feltøvelse)
•  Verktøy
–  SKSK Observasjonsverktøy
•  Prosedyre
–  Militære eksperter (SMEs) brukte de tolv parameterne i
verktøyet for å evaluere lagene på stedet.
–  En kvasi-eksperimentell studie av reelle personer som
gjennomfører reelle øvelser.
10/15/14
10
FORSVARET
Sjøkrigsskolen
Carey (simulator)
•  Øvelse Carey er basert på historiske hendelser fra
andre verdenskrig i Nordsjøen.
–  En hemmelig operasjon
•  Stressfaktorer inkluderer usikkerhet, sårbarhet,
frykt, fare, utilstrekkelig og tvetydig informasjon,
samt høy kognitiv arbeidsbelastning.
•  Carey er en kompleks maritim simulator øvelse som
setter høye krav til robust adferd hos kadett
teamene.
10/15/14
11
FORSVARET
Sjøkrigsskolen
March
Aden (simulator)
June 2009
•  Øvelse Aden er en moderne og realistisk anti-pirat
operasjon iscenesatt i Adenbukta.
–  En ”synlig” operasjon der styrkeprojisering er viktig.
•  Stressfaktorer inkluderer maktesløshet, informasjon
tvetydighet, kjedsomhet, fare, samt svært variabel
kognitiv arbeidsbelastning.
•  Aden er en kompleks maritim simulator øvelse, men
som kun setter et moderat krav til robust adferd hos
kadett teamene.
10/15/14
12
FORSVARET
Sjøkrigsskolen
Dolphin (feltøvelse)
•  Øvelse Dolphin er en av deløvelse i Sjøkrigsskolens
avsluttende mestringsøvelse, Telemakos.
•  Øvingsmål i Dolphin er spesielt rettet mot
operasjonelle lederutfordringer i et maritimt miljø for den enkelte kadett, for kadett teamet og på
skvadronsnivå.
10/15/14
13
FORSVARET
Sjøkrigsskolen
Dolphin (feltøvelse)
•  Stressfaktorer inkluderer usikkerhet, sårbarhet, frykt,
fare, høy kognitiv og fysisk arbeidsbelastning,
skiftende vær, søvn- og mat- deprivasjon, tretthet og
tidspress.
•  Dolphin er en kompleks militær øvelse utført i et
maritimt miljø, og som som setter ekstremt høye
krav til robust adferd hos kadett teamene.
10/15/14
14
Sammenligning av stressfaktorer
FORSVARET
Sjøkrigsskolen
Carey
Aden
Dolphin
Usikkerhet
Sårbarhet
Frykt
Fare
Tvetydig
informasjon
•  Høy kognitiv
belastning
•  Tidspress
•  Maktesløshet
•  Fare
•  Tvetydig
informasjon
•  Kjedsomhet
•  Variabel kognitiv
belastning
•  Tidspress
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
Høye krav til
robust adferd
Moderate krav til
robust adferd
Ekstremt høye krav til
robust adferd
• 
• 
• 
• 
• 
Usikkerhet
Sårbarhet
Frykt
Fare
Tvetydig informasjon
Høy kognitiv belastning
Høy fysisk belastning
Værforhold
Søvn- og mat- deprivasjon
Tretthet
Tidspress
10/15/14
15
FORSVARET
Sjøkrigsskolen
Analytisk metode
•  Observasjonsverktøyet bruker en Likert-skala
•  Rekkefølgen på skalaen er ordens-data, og det
er ingen garanti for at observatørene behandler
dem som intervalldata.
•  Derfor ble det anvendt Spearman rang-orden
korrelasjonskoeffisient ρ (rho) for statistiske
analyser.
–  Signifikante verdier ble interpolert fra tabellen i Zar
(1972), for ensidige sannsynligheter.
10/15/14
16
Spearman rho for Carey vs. Dolphin
FORSVARET
Sjøkrigsskolen
n=8 teams ρ P(ρ) Metrics ρ P(ρ) .66 .045 Team Orienta<on .14 > .50 Teamwork .67 .043 Backup Behavior -­‐ .15 > .50 Taskwork .73 .028 Mutual Performance Monitoring/Mutual Trust .44 .16 Closed-­‐loop Communica<on .58 .08 Team Leadership .10 > .50 Shared Mental Models/Interdependence .18 > .50 Adaptability .78 .02 Agility .55 .09 Crea<ve Ac<on .60 .07 Speed .31 .24 Thoroughness .41 .18 Success .41 .18 Taskwork Teamwork Team Performance 10/15/14
17
Spearman rho for Aden vs. Dolphin
FORSVARET
Sjøkrigsskolen
n=8 teams ρ P(ρ) Metrics ρ P(ρ) .29 .270 Team Orienta<on .10 > .50 Teamwork .33 .235 Backup Behavior -­‐ .22 > .50 Taskwork .05 >.50 Mutual Performance Monitoring/Mutual Trust .07 > .50 Closed-­‐loop Communica<on .45 .15 Team Leadership -­‐ .10 > .50 Shared Mental Models/Interdependence -­‐ .15 > .50 Adaptability -­‐ .01 > .50 Agility .44 .16 Crea<ve Ac<on -­‐ .24 > .50 Speed -­‐ .03 > .50 Thoroughness .02 > .50 Success .46 .15 Taskwork Teamwork Team Performance 10/15/14
18
Spearman rho for Simulator vs. Felt
FORSVARET
Sjøkrigsskolen
n=8 teams ρ P(ρ) Metrics ρ P(ρ) .49 .125 Team Orienta<on .07 > .50 Teamwork .50 .115 Backup Behavior -­‐ .30 > .50 Taskwork .48 .130 Mutual Performance Monitoring/Mutual Trust .41 .18 Closed-­‐loop Communica<on .63 .06 Team Leadership .05 > .50 Shared Mental Models/Interdependence .22 > .50 Adaptability .30 .26 Agility .66 .05 Crea<ve Ac<on .36 .22 Speed .23 > .50 Thoroughness .48 .13 Success .43 .17 Taskwork Teamwork Team Performance 10/15/14
19
Predikeringsnivå
FORSVARET
Sjøkrigsskolen
Carey vs. Dolphin
n=8 teams ρ P(ρ) Simulator vs Dolphin
Aden vs. Dolphin
n=8 teams ρ P(ρ) n=8 teams ρ P(ρ) Team Performance .66 .045 Team Performance .29 .270 Team Performance .49 .125 Teamwork .67 .043 Teamwork .33 .235 Teamwork .50 .115 Taskwork .73 .028 Taskwork .05 >.50 Taskwork .48 .130 Dette viser korrelasjonen
mellom Carey simulator
øvelse og Dolphin
feltøvelse
Dette viser korrelasjonen
mellom Aden simulator
øvelse og Dolphin
feltøvelse.
Dette viser korrelasjonen
mellom alle variabler for
begge simulator
øvelsene og feltøvelsen.
Meget sterk positiv
korrelasjon.
Moderat korrelasjon for
to aggregater, ingen
korrelasjon for taskwork.
Relativt sterk positiv
korrelasjon.
Team ytelse i Carey evner
i meget høy grad å
predikere team ytelse i
Dolphin.
Team ytelse i Aden evner
i lavere grad å predikere
team ytelse i Dolphin.
Team ytelse i snitt av to
simulatorøvelser evner i
høy grad å predikere
team ytelse i Dolphin.
10/15/14
20
FORSVARET
Sjøkrigsskolen
Resultat forsøksspørsmål
•  Resultat spørsmål 1:
–  Observasjonsverktøyet muliggjør troverdig vurdering
av team ytelse i både simulatorøvelser og feltøvelse.
•  Resultat spørsmål 2:
–  Team ytelse i simulatorøvelse kan predikere team
ytelse i feltøvelse.
•  Resultat spørsmål 3:
–  Likheten (eller mangel på likhet) i stressfaktorer i
øvelsene har betydning for evnen til å predikere team
ytelse.
10/15/14
21
FORSVARET
Sjøkrigsskolen
Innsikt og betydning
•  Teamwork + Taskwork = Team Performance
–  Teamwork parametere må kombineres med taskwork
parametere for å gi en korrekt vurdering av team
ytelse.
•  Scenario design har stor betydning
–  Vi kan predikere, men vi må ha et godt design for å
gjøre gode predikasjoner
–  God utforming av team trening er kritisk for at et
observasjonsverktøy kan leve opp til forventningene
–  Simulatorøvelser må emulere (gjenskape) den samme
adferd som kreves i feltøvelser
10/15/14
22
FORSVARET
Sjøkrigsskolen
Muligheter i Forsvaret
•  Vi lyktes i å skape et troverdig miljø for militær
team trening ved å anvende Sjøforsvarets
Navigasjonssimulator.
–  En navigasjonssimulator er anskaffet for, og benyttet
som, en ferdighetstrener.
–  Navigasjonsprinsipper er underordnet i både Carey og
Aden.
•  Påstand: Hvilken som helst simulator i Forsvaret
kan anvendes til vurdering og trening av
team-ytelse, uansett hva simulatoren egentlig er
anskaffet for.
10/15/14
23
FORSVARET
Sjøkrigsskolen
Fremtidig arbeid
•  Forskningsmål for 2014
–  Gjenta forskningsdesign fra 2013 ✓
–  Innsamling av data fra alle øvelsene ✓
–  Prosessere data ✗
–  Tillegg 1: redusere antall parametere i verktøyet ✗
–  Tillegg 2: evaluere bruk av norske definisjoner ✗
•  Forskningsmål for 2015
–  Gjenta forskningsdesign fra 2013 med endringer
basert på funn i 2014
–  Forhåpentligvis med færre parametere
10/15/14
24
FORSVARET
Sjøkrigsskolen
End goal
10/15/14
25
FORSVARET
Sjøkrigsskolen
Oppsummering
Riktig konstruert scenario-baserte simulatorøvelser
sammen med et effektivt verktøy for vurdering av team
ytelse kan representere en kostnadseffektiv løsning for:
1.  Måling av ytelse hos militær team
2.  Feedback på utforming av team-trening øvelser
3.  Øke effektiviteten til militære team
10/15/14
26
FORSVARET
Sjøkrigsskolen
Takk for oppmerksomheten
Frode Voll Mjelde
Orlogskaptein
Human Factors, Simulator & Trening
SSK/SKSK/NAVKOMP
Thesis NPS: http://hdl.handle.net/10945/37677
Proceedings HFES conference, San Diego 2013: http://pro.sagepub.com/content/57/1/2116
10/15/14
27