Transcript Strukturerad feedback

Strukturerad feedback till studenter i
allmänmedicinsk praktik
tre års erfarenhet av ett bedömningsinstrument
Ann-Christin Haffling, IKVM – allmänmedicin
Anders Beckman, IKVM – allmänmedicin
Gudrun Edgren, MedCUL
Bakgrund - WPBA
Workplace-based assessment innebär
 direkt observation av studenterna i deras
kliniska arbete
 formativ bedömning
 feedback




fokuserad på beteende
deskriptiv
specifik och konkret
relaterad till mål (för kursen och personliga)
Bakgrund - WPBA
Workplace-based assessment
 har stor betydelse för studenternas utveckling (Norcini &
Burch 2007)

görs alldeles för sällan (Kogan & Hauer 2006) pga.

lågt handledarintresse (Norcini & Burch 2007) - kan öka genom




låg reliabilitet - kan stärkas genom (van der Vleuten 1996)


strukturerade bedömningsinstrument (t.ex. Mini-CEX)
handledarmedverkan vid utveckling/planering (Daelmans et al. 2006)
handledarutbildning (Shumway & Harden 2003)
bredd i kliniska problem och bedömare
kompromiss reliabilitet formativ bedömning (van der Vleuten 1996)


feedback
studenternas lärande
Bakgrund – till studien



bedömnings- och feedbackformulär
samlades in under sex terminer
analys retrospektivt
interaktiva feedbackmetoder



studenternas självvärdering
mål/handlingsplan
uppföljande feedback
Syfte – att studera

användningen av ett bedömningsinstrument i
verkligheten





under lång tid
typ och innehåll av feedback
handledarnas bedömningar
studenternas självvärderingar
handledarnas och studenternas nöjdhet
Metod




Studenter T10 ”Samhällsmedicin” Lund/Malmö
16 dagars allmänmedicinsk praktik (4 dagar v.a.v.)
50-60 vårdcentraler
Personlig handledare + övriga distriktsläkare på VC




observerar (emellanåt) anamnes, status
diskuterar hypoteser, problemlösning, utredning/ behandling
deltar i avslutande patientsamtal med information/
uppföljning
Feedback bör ges


dagligen ”på språng”
sammanfattande x 2 - efter halva tiden samt vid avslutning
Metod – obligatorisk feedback x 2

Första feedbacktillfället




student + handledare fyller i
bedömningsprotokoll
feedbacksamtal
mål och strategier för fortsatt träning på
feedbackblad
Andra feedbacktillfället

uppföljande feedback på feedbackblad
Metod - Bedömningsprotokoll







lika för studenternas självvärdering +
handledarnas bedömning
inspirerat av modifierade LAP (Leicester
Assessment Package)
8 delar /kompetenser
detaljerade beskrivningar av varje del
7-gradig skala
utvecklat i samråd med handledarna
handledarutbildning
Metod - Bedömningsprotokoll
8 olika delar/kompetenser








Samtalsmetodik
Sjukhistoria
Status
Hypotesgenerering/hypotesprövning
Problemlösning
Åtgärd/behandling
Information/ uppföljning
Uppträdande/ patientrelation/ tidsdisposition
Metod - Feedbackblad



lite olika för student och handledare
information
utrymme för att skriva



mål och strategier (första feedback)
uppföljande feedback (andra feedback)
utvärderingsfrågor till student och
handledare
Metod – Dataanalys

Kvantitativa data





Mann-Whitney U och Kruskal Wallis (SPSS)
MlWin (’multi-level’) ”upprepade mätningar”
Cronbach’s alpha (”internal consistency reliabilty”)
Spearman’s correlationskoefficient
(korrelation handledarnas bedömning och
studenternas skrivningsresultat)
Kvalitativa data (mål + feedback)


Innehållsanalys (kategorisering)
Ramverk (protokollets 8 kompetenser)
Resultat –

464 studenter



studenter och handledare
55% kvinnor
50% vikarierat, lika mellan kön
151 handledare



58% kvinnor
28% deltog i handledarutbildning
antal studenter efter 6 terminer



47 - 1 student
55 - 2-3 studenter
49 - 4-12 studenter
Resultat –
första feedbacktillfället
Bedömningsformulär




Handledaromdömen (458 studenter): medelvärde 5,3
Självvärderingar (462 studenter): medelvärde 4,5
Höggradigt signifikant skillnad i alla delar
Handledare



högst: samtalsmetodik + uppträdande/patientrelation
lägst: hypoteser + åtgärd/behandling
Studenter


högst: samtalsmetodik + anamnes
lägst: hypoteser + åtgärd/behandling
Resultat – första feedbacktillfället
Bedömningsformulär
Manliga och kvinnliga studenter


Manliga studenter signifikant högre i
hypoteser, problemlösning, åtgärd/behandling
Handledarna: ingen skillnad
Vikariat eller ej


Studenter som vikarierat signifikant högre i
status, problemlösning och åtgärd/behandling
Handledarna: status, åtgärd/behandling, information/uppföljning
Antal använda omdömen (7-gradig skala)


Studenter oftast 3 olika (47%)
Handledare oftast 2 olika (56%)
Resultat – första feedbacktillfället
Mål för fortsatt träning
Mål för fortsatt träning



88% specifika mål
6% generella mål
6% inga mål
Specifika mål




Medel 2,7 kompetenser/student
Kompetenser (process)
 Samtalsmetodik (46% av studenter)
 Information/ uppföljning (40% av studenter)
Varierade omdömen signifikant fler
Kvinnliga studenter med kvinnlig handledare
signifikant fler
Resultat – Andra feedbacktillfället
Uppföljande feedback

58% specifik feedback



32% av dessa även tips för framtiden
21% generell feedback
21% ingen feedback
Specifik feedback


Medel 2,8 kompetenser/student
Kompetenser (process)


Samtalsmetodik (55% av studenter)
Information och uppföljning (43% av studenter)
Resultat –
Studenternas utvärdering
Svarsfrekvens 89-93%
 Handledaren korrekt identifierat studentens
styrkor/svagheter



Specifika råd om hur förbättra konsultationerna


77% helt, 20% delvis
Studenter som fick specifika mål var signifikant mer nöjda
70% helt, 26% delvis
Effektiv uppföljande feedback


77% helt, 17% delvis
Studenter som fick specifik uppföljande feedback var
signifikant mer nöjda
Resultat –
Handledarnas utvärdering
” Tycker du att bedömningsprotokollet
bidragit till en förbättrad struktur i
bedömningen av studentens
konsultationer?”
Efter 6 terminer:



Svarsfrekvens 97%
76% helt nöjda, 23% delvis, 1% missnöjda
Flera blev alltmer positiva genom åren
Resultat – Tid och erfarenhet

Specifika mål


Specifik feedback


ökade signifikant från de tre första till de tre sista terminerna
Handledarnas erfarenhet



ökade signifikant från de tre första till de tre sista terminerna
studenter med handledare, som använde instrumentet för 4:e-6:e
terminen fick lägre betyg än de, vars handledare använde det för
2:a-3:e och 1:a terminen
men specifika mål/feedback ökade inte med erfarenhet
Handledarnas ”nöjdhet” efter 6 terminer

var signifikant större beroende på hur många studenter man
handlett 4-12, 2-3 resp. 1 student
Resultat – Reliabilitet
”Internal consistency reliability”

Cronbach’s alpha för varje termin 0,94-0,96;
hela perioden 0,95
Interbedömarreliabilitet

omöjligt att beräkna pga. sammanfattande
feedback av personlig handledare
Resultat – Validitet

”Face” validity


Content validity


medverkan av handledare i utveckling av
bedömningsformuläret
överensstämde med mål för praktiken
Concurrent validity


korrelation med skrivningen
Spearman’s korrelationskoefficient 0.16; ökande
till 0,34 om bara de 10% med lägst bedömning
analyserades
Slutsatser

Sammanfattande bedömning och feedback
fungerar





vid längre tids placering
personlig ansvarig handledare
99% studenter bedömda efter protokollet
88% fick specifika mål dokumenterade och
58% fick specifik feedback dokumenterad

men inom andra kompetenser än de som bedömts
som sämst
Slutsatser

Utvärderingar positiva



Med tid och erfarenhet





av studenter – föredrog specifika mål/feedback
och handledare
fick större andel studenter specifika mål
och specifik feedback
handledarna blev ”strängare”
men också nöjdare med strategin
Förbättrad ”feedbackkultur” på vårdcentralen