Ferdighetene som hyppigst registreres i de forskjellige observasjonsverktøy som brukes er prosedyrekompetanse, kommunikasjon, direkte pasientarbeid, oppfølging etter prosedyrer og teamarbeid (McKinley, 2008).
Det er utarbeidet en rekke strukturerte observasjonsverktøy/skjemaer som er fritt tilgjengelig og kan tilpasses ulik kunnskap som skal testes. Vurderingsformen objektiv strukturert klinisk eksaminasjon (OSKE), som ble utviklet på 1970-tallet, ligger til grunn for mange av skåringsskjemaene (Khan 2013).
Den danske Sundhedsstyrelsen har utarbeidet en oversikt over metoder for vurdering av legers kompetanse, som omhandler en rekke ulike observasjonsverktøy (Sundhedsstyrelsen, 2013).
For å få til god, valid og hensiktsmessig bruk av objektive og strukturerte skåringsskjemaer må man bruke tid på å sette seg inn i bruken av disse, bestemme på forhånd hva som skal testes og hvordan, og bestemme hvilken prestasjon som betyr tilfredsstillende kompetanse. Skåringsskjemaene kan gi poengskår, eller en total skjønnsmessig global skår (for eksempel ikke tilfredsstillende, god, svært god) eller en kombinasjon av disse.
Det er viktig at slike observasjonsverktøy må tilpasses den enkelte kontekst det skal brukes i. Det vil si at validiteten og reliabiliteten til verktøyet er avhengig av hvordan skjemaet brukes - ikke noe observasjonsverktøy er valid i seg selv. Det er også viktig før et skjema tas i bruk at det er tenkt nøye igjennom hvordan det skal brukes. For eksempel: Kreves det 100% av poengene og god global skår for å være kompetent? Eller er standarden en annen? Brukes skjemaet primært til formativ vurdering/underveisvurdering er kravene til reliabilitet og validitet mindre da det i den konteksten hovedsakelig blir et tilbakemeldingsverktøy (Khan 2013).
Her følger noen eksempler på strukturerte observasjonsverktøy som kan brukes.
Mini Clinical Evaluation Exercise (Mini-CEX):
Mini Clinical Evaluation Exercise (Mini-CEX) (Durning, 2002, Kogan, 2003, Norcini, 1995) er et skåringsskjema som ble utviklet på 1990-tallet for bruk i spesialistutdanningen av leger i USA. Mini-CEX brukes både som vurderings- og tilbakemeldingsverktøy for gjennomføring av pasientsamtale og klinisk undersøkelse.
Dette skjemaet er oversatt til norsk av Professor Anders Bærheim, UiB, og medarbeidere. I skjemaet blir en rekke ferdigheter vurdert med hensyn til selvstendighet i utførelsen innen medisinske ferdigheter (somatisk undersøkelse, tekniske ferdigheter etc.), kommunikasjon med pasienter og samarbeidspartnere, opprettholdelse av tillit og profesjonalitet, sikkerhet og kvalitet. Den som observerer LIS-en, vanligvis supervisør eller evt. veileder, gir tilbakemelding til LIS-en basert på observasjonen. Utførelsen blir rangert ut fra en sjekkliste, og en samlet skåre for "klinisk kompetanse" blir regnet ut. På dette grunnlag kan supervisør, evt. veileder og LIS diskutere mulige forbedringsstrategier.
Det er ønskelig at de regionale utdanningssentrene og andre faginstanser utvikler og oversetter systematiske observasjonsverktøy og gjør dem tilgjengelige i utdanningsvirksomhetene over hele landet.
Lenker:
https://www.dagensmedisin.no/artikler/2018/12/21/nytt-skjema-for-medisinstudent-evaluering/
https://www.ntnu.no/came/mini-cex
OSKE og Objective Structured Assessment of Technical Skills (OSATS):
Objektiv strukturert klinisk eksaminasjon (OSKE) er en vurderingsform hvor det brukes strukturerte skåringsskjemaer. Kommunikasjonsferdigheter, klinisk undersøkelsesteknikk og andre ferdigheter kan testes. OSATS er utledet av OSKE og brukes som et vurderingsverktøy ved vurdering av tekniske ferdigheter (Martin, 1997; Niitsu, 2013). OSATS består av sjekklister og globale vurderingsskalaer (Global Rating Scale,GRS). Sjekklistene er oppgavespesifikke med en punktvis beskrivelse av trinnene i hver prosedyre. Ved hjelp av GRS-skåring vurderes generelle ferdigheter som for eksempel vevshåndtering, bevegelsesøkonomi, valg og håndtering av instrumenter samt kjennskap til og gjennomføring av prosedyren. En oversiktsartikkel av Hatala et. al. fra 2015 gjennomgår 29 studier som har anvendt OSATS (Hatala, 2015). OSATS hadde i hovedsak tre bruksområder: som ledd i en underveisvurdering, som summativ vurdering med konsekvenser for den legen som tar testen (high-stakes assessment) og som del av en programevaluering. Forskerne konkluderte med at bruk av OSATS som grunnlag for tilbakemelding generelt hadde høy validitet anvendt som del av underveisvurdering, men påpekte at det ikke er tilstrekkelig dokumentert at OSATS-skårer har sammenheng med ferdigheter og beslutningstaking i praksis.
Direct observation of practical skills (DOPS):
Det strukturerte skåringsskjemaet DOPS er en videreutvikling av mini-CEX og OSATS (se over) gjort av Royal College of Physicians i Storbritannia, og er spesifikt brukt i vurdering av kompetanse i virkelige praktiske prosedyresituasjoner i pasientutredning eller -behandling (Norcini, Burch 2007. Norcini, McKinley 2007.) Skjemaet er oversatt til norsk.
Non-Technical Skills for Surgeons (NOTSS):
Observasjonsverktøyet Non-Technical Skills for Surgeons (NOTSS) (Yule, 2008, Yule, 2006, Yule, 2018) er i bruk internasjonalt for å vurdere ikke-tekniske ferdigheter hos kirurger. Skjemaet inneholder 13 ferdigheter som skal skåres på en skala fra 1 (meget dårlig) til 5 (meget godt). De 13 ferdighetene dekker elementer som gjelder situasjonsbevissthet, beslutningstaking, lederskap, kommunikasjon og teamsamarbeid.
Andre verktøy og skjemaer
I flere av foretakene er det utarbeidet lokale skjemaer som kan være nyttige redskaper i vurderingen av LIS-ene. Ta kontakt med de regionale utdanningssentrene for mer informasjon.
Strukturerte observasjonsverktøy for tilbakemelding innen det kirurgiske fagfeltet er godt beskrevet og det er god evidens for at strukturert tilbakemelding kan bidra til forbedring av tekniske og ikke-tekniske ferdigheter. Se referanser for modellene GROW, PRACTICE og WISCONSIN.