Vurdering av ferdigheter kan måles med objektive og strukturerte skåringsskjemaer eller observasjonsverktøy. Disse verktøyene kan brukes både formativt og summativt og gir mye informasjon som kan formidles ved god tilbakemelding. Det er et mål at slike verktøy etter hvert blir mer anvendt i supervisjonsarbeidet for å gi LIS-en en mest mulig presis og systematisk tilbakemelding og for å sikre lik vurdering på tvers.
Supervisør og veileder kan bruke strukturerte observasjonsverktøy for vurdering av om kompetanse er oppnådd
Anbefalingen er faglig normerende og et hjelpemiddel for å ta forsvarlige valg som fremmer god praksis, kvalitet og likhet innenfor folkehelsen og for helsetjenesten. Anbefalingen er ikke rettslig bindende.
Ferdighetene som hyppigst registreres i de forskjellige observasjonsverktøy som brukes er prosedyrekompetanse, kommunikasjon, direkte pasientarbeid, oppfølging etter prosedyrer og teamarbeid (McKinley, 2008).
Det er utarbeidet en rekke strukturerte observasjonsverktøy/skjemaer som er fritt tilgjengelig og kan tilpasses ulik kunnskap som skal testes. Vurderingsformen objektiv strukturert klinisk eksaminasjon (OSKE), som ble utviklet på 1970-tallet, ligger til grunn for mange av skåringsskjemaene (Khan 2013).
Den danske Sundhedsstyrelsen har utarbeidet en oversikt over metoder for vurdering av legers kompetanse, som omhandler en rekke ulike observasjonsverktøy (Sundhedsstyrelsen, 2013).
For å få til god, valid og hensiktsmessig bruk av objektive og strukturerte skåringsskjemaer må man bruke tid på å sette seg inn i bruken av disse, bestemme på forhånd hva som skal testes og hvordan, og bestemme hvilken prestasjon som betyr tilfredsstillende kompetanse. Skåringsskjemaene kan gi poengskår, eller en total skjønnsmessig global skår (for eksempel ikke tilfredsstillende, god, svært god) eller en kombinasjon av disse.
Det er viktig at slike observasjonsverktøy må tilpasses den enkelte kontekst det skal brukes i. Det vil si at validiteten og reliabiliteten til verktøyet er avhengig av hvordan skjemaet brukes - ikke noe observasjonsverktøy er valid i seg selv. Det er også viktig før et skjema tas i bruk at det er tenkt nøye igjennom hvordan det skal brukes. For eksempel: Kreves det 100% av poengene og god global skår for å være kompetent? Eller er standarden en annen? Brukes skjemaet primært til formativ vurdering/underveisvurdering er kravene til reliabilitet og validitet mindre da det i den konteksten hovedsakelig blir et tilbakemeldingsverktøy (Khan 2013).
Her følger noen eksempler på strukturerte observasjonsverktøy som kan brukes.
Mini Clinical Evaluation Exercise (Mini-CEX):
Mini Clinical Evaluation Exercise (Mini-CEX) (Durning, 2002, Kogan, 2003, Norcini, 1995) er et skåringsskjema som ble utviklet på 1990-tallet for bruk i spesialistutdanningen av leger i USA. Mini-CEX brukes både som vurderings- og tilbakemeldingsverktøy for gjennomføring av pasientsamtale og klinisk undersøkelse.
Dette skjemaet er oversatt til norsk av Professor Anders Bærheim, UiB, og medarbeidere. I skjemaet blir en rekke ferdigheter vurdert med hensyn til selvstendighet i utførelsen innen medisinske ferdigheter (somatisk undersøkelse, tekniske ferdigheter etc.), kommunikasjon med pasienter og samarbeidspartnere, opprettholdelse av tillit og profesjonalitet, sikkerhet og kvalitet. Den som observerer LIS-en, vanligvis supervisør eller evt. veileder, gir tilbakemelding til LIS-en basert på observasjonen. Utførelsen blir rangert ut fra en sjekkliste, og en samlet skåre for "klinisk kompetanse" blir regnet ut. På dette grunnlag kan supervisør, evt. veileder og LIS diskutere mulige forbedringsstrategier.
Det er ønskelig at de regionale utdanningssentrene og andre faginstanser utvikler og oversetter systematiske observasjonsverktøy og gjør dem tilgjengelige i utdanningsvirksomhetene over hele landet.
Lenker:
https://www.dagensmedisin.no/artikler/2018/12/21/nytt-skjema-for-medisinstudent-evaluering/
https://www.ntnu.no/came/mini-cex
OSKE og Objective Structured Assessment of Technical Skills (OSATS):
Objektiv strukturert klinisk eksaminasjon (OSKE) er en vurderingsform hvor det brukes strukturerte skåringsskjemaer. Kommunikasjonsferdigheter, klinisk undersøkelsesteknikk og andre ferdigheter kan testes. OSATS er utledet av OSKE og brukes som et vurderingsverktøy ved vurdering av tekniske ferdigheter (Martin, 1997; Niitsu, 2013). OSATS består av sjekklister og globale vurderingsskalaer (Global Rating Scale,GRS). Sjekklistene er oppgavespesifikke med en punktvis beskrivelse av trinnene i hver prosedyre. Ved hjelp av GRS-skåring vurderes generelle ferdigheter som for eksempel vevshåndtering, bevegelsesøkonomi, valg og håndtering av instrumenter samt kjennskap til og gjennomføring av prosedyren. En oversiktsartikkel av Hatala et. al. fra 2015 gjennomgår 29 studier som har anvendt OSATS (Hatala, 2015). OSATS hadde i hovedsak tre bruksområder: som ledd i en underveisvurdering, som summativ vurdering med konsekvenser for den legen som tar testen (high-stakes assessment) og som del av en programevaluering. Forskerne konkluderte med at bruk av OSATS som grunnlag for tilbakemelding generelt hadde høy validitet anvendt som del av underveisvurdering, men påpekte at det ikke er tilstrekkelig dokumentert at OSATS-skårer har sammenheng med ferdigheter og beslutningstaking i praksis.
Direct observation of practical skills (DOPS):
Det strukturerte skåringsskjemaet DOPS er en videreutvikling av mini-CEX og OSATS (se over) gjort av Royal College of Physicians i Storbritannia, og er spesifikt brukt i vurdering av kompetanse i virkelige praktiske prosedyresituasjoner i pasientutredning eller -behandling (Norcini, Burch 2007. Norcini, McKinley 2007.) Skjemaet er oversatt til norsk.
Non-Technical Skills for Surgeons (NOTSS):
Observasjonsverktøyet Non-Technical Skills for Surgeons (NOTSS) (ncbi.nlm.nih.gov) (Yule, 2008, Yule, 2006, Yule, 2018) er i bruk internasjonalt for å vurdere ikke-tekniske ferdigheter hos kirurger. Skjemaet inneholder 13 ferdigheter som skal skåres på en skala fra 1 (meget dårlig) til 5 (meget godt). De 13 ferdighetene dekker elementer som gjelder situasjonsbevissthet, beslutningstaking, lederskap, kommunikasjon og teamsamarbeid.
Andre verktøy og skjemaer
I flere av foretakene er det utarbeidet lokale skjemaer som kan være nyttige redskaper i vurderingen av LIS-ene. Ta kontakt med de regionale utdanningssentrene for mer informasjon.
Strukturerte observasjonsverktøy for tilbakemelding innen det kirurgiske fagfeltet er godt beskrevet og det er god evidens for at strukturert tilbakemelding kan bidra til forbedring av tekniske og ikke-tekniske ferdigheter. Se referanser for modellene GROW, PRACTICE og WISCONSIN.
Bruken av strukturerte observasjonsverktøy er vanlig internasjonalt i både grunn- og etterutdanningen av leger og annet helsepersonell. Foreløpig er disse mest i bruk i grunnutdanningen av leger i Norge.
Strukturerte observasjonsverktøy og skåringsskjemaer gir mulighet for en tilbakemelding basert på mest mulig objektive og godt spesifiserte kriterier. Observasjonsskjemaene kan også bidra til at vurderingene legges på riktig kompetansenivå i forhold til hvor langt LIS-en har kommet i spesialiseringen.
Referanser
- Kompetencevurderingsmetoder - en oversigt [Internet]. Sundhedsstyrelsen. Lenke: http://sundhedsstyrelsen.dk/~/media/676FDE8D169C434BB5C3CDF70A090562.ashx
- Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The objective structured clinical examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Medical Teacher. 2013;35(9):1437-46.
- Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The objective structured clinical examination (OSCE): AMEE Guide No.81. Par II: organization & administration. Medical Teacher. 2013;35(9):1447-63.
- McKinley RK, Strand J, Gray T, Schuwirth L, Alun-Jones T, Miller H. Development of a tool to support holistic generic assessment of clinical procedure skills. Medical Education. 2008;42(6):619-27. doi: 10.1111/j.1365-2923.2008.03023.x
- Durning SJ, Cation LJ, Markert RJ, Pangaro LN. Assessing the reliability and validity of the mini-clinical evaluation exercise for internal medicine residency training. Academic Medicine. 2002;77(9):900-4. doi: 10.1097/00001888-200209000-00020
- Kogan JR, Bellini LM, Shea JA. Feasibility, reliability, and validity of the mini-clinical evaluation exercise (mCEX) in a medicine core clerkship. Academic Medicine. 2003;78(10 SUPPL.):S33-S5
- Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Medical Teacher. 2007;29:855–871.
- Norcini JJ, Blank LL, Arnold GK, Kimball HR. The mini-CEX (clinical evaluation exercise): A preliminary investigation. Annals of Internal Medicine. 1995;123(10):795-9. doi: 10.7326/0003-4819-123-10- 199511150-00008
- Martin JA, Regehr G, Reznick R, Macrae H, Murnaghan J, Hutchison C, et al. Objective structured assessment of technical skill (OSATS) for surgical residents. British Journal of Surgery. 1997;84(2):273- 8. doi: 10.1002/bjs.1800840237
- Niitsu H, Hirabayashi N, Yoshimitsu M, Mimura T, Taomoto J, Sugiyama Y, et al. Using the Objective Structured Assessment of Technical Skills (OSATS) global rating scale to evaluate the skills of surgical trainees in the operating room. Surgery Today. 2013;43(3):271-5. doi: 10.1007/s00595-012-0313-7.
- Norcini JJ, McKinley DW. Assessment methods in medical education. Teaching and Teacher Education. 2007;23(3): 239-250. ISSN 0742-051X. https://doi.org/10.1016/j.tate.2006.12.021.
- Yule S, Flin R, Maran N, Youngson G, Mitchell A, Rowley D, et al. Debriefing surgeons on non- technical skills (NOTSS). Cognition, Technology and Work. 2008;10(4):265-74. doi: 10.1007/s10111- 007-0085-9
- Yule S, Flin R, Paterson-Brown S, Maran N, Rowley D. Development of a rating system for surgeons' non-technical skills. Medical Education. 2006;40(11):1098-104. doi: 10.1111/j.1365- 2929.2006.02610.x
- Yule S, Gupta A, Gazarian D, Geraghty A, Smink DS, Beard J, et al. Construct and criterion validity testing of the Non-Technical Skills for Surgeons (NOTSS) behaviour assessment tool using videos of simulated operations. British Journal of Surgery. 2018;105(6):719-27. doi: 10.1002/bjs.10779.
GROW, PRACTICE og WISCONSIN:
- Singh P, Aggarwal R, Tahir M, Pucher PH, Darzi A. A Randomized Controlled Study to Evaluate the Role of Video-based Coaching in Training Laparoscopic Skills. Annals of Surgery. 2015; 261(5):862–9.
- Soucisse ML, Boulva K, Sideris L, Drolet P, Morin M, Dubé P. Video Coaching as an Efficient Teaching Method for Surgical Residents—A Randomized Controlled Trial. JSURG; 2016 Oct 3;:1–7.
- Augestad KM, Han H, Paige J, Ponsky T, Schlachta CM, Dunkin B, et al. Educational implications for surgical telementoring: a current review with recommendations for future practice, policy, and research. Surgical Endoscopy; 2017 Jun 26;:1–13.
- Bonrath E, Dedy N, Gordon L, Grantcharov T. Comprehensive Surgical Coaching Enhances Surgical Skill in the Operating Room. Annals of Surgery. 2015;262(2): 205–12.
- Palter V, Beyfuss K, Jokhinio A, Ashmalla S. Peer coaching to teach faculty surgeons an advanced laparoscopic skill: A randomized controlled trial. Surgery; 2016; 160(5): 1392–9.
- Greenberg CC, Ghousseini HN, Pavuluri Quamme SR, Beasley HL, Frasier LL, Brys NA, et al. A Statewide Surgical Coaching Program Provides Opportunity for Continuous Professional Development. Annals of Surgery. 2017;267(5):868–73.
Siste faglige endring: 21. mai 2019 Se tidligere versjoner
Helsedirektoratet (2019). Supervisør og veileder kan bruke strukturerte observasjonsverktøy for vurdering av om kompetanse er oppnådd [nettdokument]. Oslo: Helsedirektoratet (siste faglige endring 21. mai 2019, lest 23. desember 2024). Tilgjengelig fra https://www.helsedirektoratet.no/veiledere/kompetansevurdering-av-leger-i-spesialisering/vurderingsformer-og-vurderingssituasjoner/supervisor-og-veileder-kan-bruke-strukturerte-observasjonsverktoy-for-vurdering-av-om-kompetanse-er-oppnadd
Få tilgang til innhold fra Helsedirektoratet som åpne data: https://utvikler.helsedirektoratet.no