Kapittel 2.2Evalueringsdesign

Et evalueringsdesign tar for seg hvordan en evaluering skal gjennomføres. Det innebærer å ha et aktivt forhold til formålet med evalueringen, herunder ambisjonsnivå og avgrensninger. Videre er det behov for å etablere et sett med problemstillinger med tilhørende evalueringskriterier. Evalueringskriteriene utgjør referansepunktet og grunnlaget for å vurdere måloppnåelse. Kriteriene kan både være av kvalitativ og kvantitativ karakter. Et siste viktig del av evalueringsdesignet er å etablere et sett med metoder som sikrer et robust informasjonsgrunnlag for å kunne vurdere måloppnåelse og hvorledes TOO-tilbudet har fungert etter intensjonen. Nedenfor gis en beskrivelse av vårt evalueringsdesign.

Formål

Det overordnede målet med evalueringen er å få kunnskap om i hvilken grad TOO-tilbudet har fungert i henhold til intensjonen om å gi et tilrettelagt tannhelsetilbud organisert av fylkeskommunene til tortur- og overgrepsutsatte og personer med sterk angst for tannbehandling (odontofobi). Evalueringen skal danne et grunnlag for Helse- og omsorgsdepartementet når de skal vurdere om tilbudet skal forlenges, om det skal endres og om det skal bli en del av tannhelsetjenesteloven og rammefinansieres.

Ambisjonsnivå

Evalueringen tar for seg TOO-tilbudet gjennom flere perspektiver: bruker-, tjeneste- og kunnskapsperspektivene, samt økonomiske og administrative forhold. Dette gjøres ved å få frem brukernes opplevelser av TOO-tilbudet, ansattes erfaringer og læring gjennom TOO-tilbudets levetid, samt vurderinger av organiseringen av tilbudet, faglig innretning og forvaltning og etterlevelse av den tilhørende tilskuddsordningen.

Avgrensninger

Evalueringen har følgende avgrensninger:

• Evalueringen er ikke et vitenskapelig studie. Hovedformålet med evalueringen er ikke å avdekke kausale årsakssammenhenger, og metodevalg og fremgangsmetode er ikke innrettet etter dette. Formålet med evalueringen er å få økt kunnskap om TOO-tilbudet har fungert etter intensjonen. Eventuelle sammenhenger avdekket i datainnsamlingen og analysene kan være kausale og/eller spuriøse sammenhenger, men dette kan vi ikke med sikkerhet skille mellom.
• Evalueringen omfatter TOO-tilbudet hos den offentlige tannhelsetjenesten i fylkeskommunene og de regionale odontologiske kompetansesentrene, og evalueringen skal ikke drøfte om tilbudet heller burde være organisert som en del av den private tannhelsetjenesten.
• Evalueringen er ikke en organisasjonsgjennomgang av TOO-tilbudet, men kan peke på eventuelle organisatoriske forbedringer som kan bidra til å styrke måloppnåelsen til tilbudet.

2.2.1 Problemstillinger

Helsedirektoratet har beskrevet en rekke problemstillinger og forhold som de ønsker belyst i denne evalueringen - til sammen over 70 spørsmål. I utviklingen av evalueringsdesignet har vi bearbeidet inndelingen av problemstillingene ved å legge til enkelte problemstillinger som vi ønsker å belyse og andre mindre justeringer (bl.a. fjerne duplikater og tydeliggjort enkelte spørsmål).

Problemstillingene er delt inn i brukerperspektiv, tjenesteperspektiv, kunnskapsperspektiv og økonomiske og administrative forhold.

• Innenfor brukerperspektivet er det spørsmål knyttet til brukere av TOO-tilbudet, dvs. personer i målgruppene. Herunder kjennetegn ved pasienter som har benyttet seg av tilbudet og deres opplevelser og erfaringer med tilbudet. Grunnet personvernhensyn vil det ikke være mulig å beskrive detaljerte karakteristika ved pasientgruppen som kjønn, alder, utdanning, sosioøkonomisk status, helsestatus og tannstatus.
• Tjenesteperspektivet er det mest omfattende perspektivet og er delt inn i ulike temaer, herunder utvikling og innretning av tilbudet, faglig innhold i tilbudet, behandlingskjeden og samarbeid og samhandling. De fleste spørsmålene som ønskes belyst tar utgangspunkt i aktørene som leverer tjenester i TOO-tilbudet. Det innebærer blant annet at fylkeskommunene, de regionale kompetansesentrene og behandlerne som utfører tjenesten er sentrale aktører her.
• Kunnskapsperspektivet tar for seg ulike spørsmål knyttet til oppbyggingen av kunnskap, forskningsaktiviteten og spredningen av den opparbeidede kunnskapen til øvrig tannhelsetjeneste, helse- og omsorgstjenesten, utdanningsinstitusjoner og andre aktører.
• Økonomiske og administrative forhold inkluderer spørsmål knyttet til kostnadene ved TOO-tilbudet i fylkeskommunene og kompetansesentrene og administrative forhold knyttet til tilskuddsordningen og organiseringen i fylkeskommunene.

Oversikten over alle spørsmål og problemstillinger fra Helsedirektoratet er vist i vedlegg A.

2.2.2 Evalueringskriterier

Evalueringskriteriene utgjør referansepunktet for evalueringen og det normative grunnlaget for å vurdere måloppnåelsen til TOO-tilbudet. På grunnlag av de nevnte problemstillingene og målene til tilskuddsordningen Tannhelsetilbud til tortur- og overgrepsutsatte og personer med odontofobi, har vi utarbeidet 19 evalueringskriterier, jf. tabell 2.1. De fleste av de utarbeidede evalueringskriteriene er kvalitative kriterier, mens enkelte er kvantitative. Kvantitative kriterier har den fordelen at de ofte er enkle å forstå, mens kvalitative kriterier krever en bredere beskrivelse og tilnærming. For å tydeliggjøre hvilke momenter vi vil vurdere under hvert evalueringskriterie, har vi en kort omtale av hvert kriterium under.

Brukerperspektiv

• E1 Det er lave barrierer for å oppsøke TOO-tjenesten og gjennomføre tannbehandling
• E2 Pasientene har opplevd en forbedring i den orale helsetilstanden som følge av behandlingen
• E3 Behandlingen har hjulpet pasientene med utfordringene med tannbehandling
• E4 Pasientene kan motta ordinær tannbehandling etter fullført behandling

Tjenesteperspektivet

Innretning og tilgjengelighet

• E5 TOO-tilbudet er kjent i helse- og omsorgstjeneste.
• E6 TOO-tilbudet har vært treffsikkert
• E7 TOO-tilbudet har vært godt tilgjengelig i fylkeskommunene

Faglig innhold og tilrettelegging

• E8 TOO-tilbudet har vært godt tilrettelagt pasienteneE9 Samhandlingen mellom tverrfaglig team og tannbehandlerteam fungerer godt
• E10 Fagkompetansen på behandlingsstedene er sammensatt med tanke på pasientenes behov
• E11 Pasientene er ferdig behandlet i TOO-tilbudet etter fastsatte kriterier

Behandlingskjeden

• E12 Ventetidene i TOO-tilbudet har vært innenfor maksgrensene angitt i delmål (b) i tilbudet

Samarbeid

• E13 Det er samarbeid mellom TOO-tjenesten og andre deler av helse- og omsorgstjenesten
• E14 Tjenesten samarbeider med ressurssentre, odont. læresteder og andre kompetansemiljø

Kunnskapsperspektivet

Økonomiske og administrative forhold

• E17 Finansieringen av TOO-tilbudet er i samsvar med formålet med tilskuddsordningen
• E18 Tilskuddsmottakere har etterlevd kravene i tilskuddsordningen
• E19 Helsedirektoratet har en god forvaltning av tilskuddsordningen

E1: Det er lave barrierer for å oppsøke TOO-tilbudet og gjennomføre tannbehandling

For at personer i målgruppene skal dra nytte av TOO-tilbudet, må tjenesten være lett tilgjengelig. Det innebærer blant annet at personene i målgruppene får informasjon om og kjenner til tilbudet, at det er enkelt å komme i kontakt med tjenesten og at den er geografisk tilgjengelig. I tillegg skal tjenesten være gratis for personer i målgruppene. Vi undersøkte om disse faktorene og evt. andre forhold bidrar til at det er lave barrierer for personer i målgruppene til oppsøke TOO-tjenesten og gjennomføre tannbehandlingen.

For å vurdere måloppnåelsen til dette evalueringskriteriet, har vi kartlagt oppfatninger og erfaringer til personer som har oppsøkt TOO-tjenesten og gjennomført behandling gjennom en spørreundersøkelse. I tillegg har vi kartlagt synspunkter til ansatte i TOO-tjenesten også gjennom en spørreundersøkelse.

E2: Pasientene har opplevd en forbedring i den orale helsetilstanden som følge av behandlingen

Det er sterke indikasjoner på at den orale helsetilstanden i målgruppene er dårlig (Helsedirektoratets rapport IS-1855). Formålet med tilskuddsordningen Tannhelsetilbud til tortur- og overgrepsutsatte og personer med odontofobi er god tannhelse i målgruppen, og TOO-tilbudet skal gjøre tannhelsetjenester lettere tilgjengelig for personer i målgruppen slik at de som trenger det kan oppnå akseptabel oral helse. Det var derfor naturlig å undersøke om pasientene har opplevd en forbedring i den orale helsetilstanden som følge av behandlingen.

For å belyse dette sentrale spørsmålet har vi først og fremst henvendt oss til pasientene og kartlagt deres selvopplevde endring i den orale helsetilstanden gjennom spørreundersøkelsen. I tillegg har vi undersøkt hvilke vurderinger ansatte i TOO-tjenesten (odontologisk personell) har gjort seg om effekter av behandlingen på tannhelsen til pasientene gjennom spørreundersøkelsen og intervjuer.

E3: Behandlingen har hjulpet pasientene med utfordringene med tannbehandling

En viktig del av behandlingen i TOO-tilbudet er å hjelpe pasientene med å mestre utfordringene de har med å gå til tannlegen, slik at de etter hvert kan motta ordinær tannbehandling. Den sentrale behandlingsinstansen er det tverrfaglige behandlerteamet som behandler angst for tannbehandling og/eller den psykiske lidelsen som hindrer pasienten å motta tannbehandling.

Som for evalueringskriterie E2, er den primære informasjonskilden pasientene og deres erfaringer med TOO-tilbudet som vi har kartlagt gjennom spørreundersøkelsen. I tillegg har vi kartlagt vurderinger ansatte i TOO-tjenesten har gjort seg, hvor særskilt det tverrfaglige behandlerteamet står sentralt, og dokumentanalyser av relevant informasjon.

E4: Pasientene kan motta ordinær tannbehandling etter fullført behandling

Gjennom behandling i TOO-tilbudet er målet at pasientene etter hvert skal kunne motta ordinær tannbehandling, dvs. utenfor TOO-tilbudet. Det er derfor naturlig å undersøke hvordan det har gått med pasientene etter behandling i TOO-tilbudet.

For å belyse dette evalueringskriteriet, har vi benyttet flere informasjonskilder. Vi har kartlagt pasientenes forventninger om tannbehandling i etterkant av behandlingen og vurderinger til ansatte i TOO-tjenesten gjennom intervjuene og spørreundersøkelse. Vi har også undersøkt om noen fylkeskommuner, kompetansesentre og/eller behandlingssteder har gjennomført kartlegginger eller samlet inn data.

Tjenesteperspektivet
 

E5: TOO-tilbudet er kjent i helse- og omsorgstjenesten

For at TOO-tilbudet kan benyttes må tjenesten være kjent. Foruten personene i målgruppene er det fordelaktig at særskilt helse- og omsorgstjenesten (allmennleger, spesialisthelsetjenesten, privatpraktiserende psykologer etc.) kjenner til tilbudet og behandlingssteder ettersom disse kan komme i kontakt med personer i målgruppene gjennom sine helsetilbud.

For å belyse dette evalueringskriteriet, har vi kartlagt erfaringene til aktørene i tjenestene (ansatte på behandlingssteder, ledere av klinikker, kompetansesentre og fylkestannleger) og andre aktører tilknyttet tjenesten. I tillegg har vi kartlagt erfaringene til et utvalg av personer i helse- og omsorgstjenesten (bl.a. fastleger og DPS). Grunnet prosjektets rammer har vi ikke hatt anledning til å gjennomføre større befolkningsundersøkelser.

E6: TOO-tilbudet har vært treffsikkert

I rapport IS-1855 Tilrettelagte tannhelsetilbud for mennesker som er blitt utsatt for tortur, overgrep eller har odontofobi har Helsedirektoratet utarbeidet inngangskriterier til målgruppene i tilskuddsordningen. Inngangskriterier skal bidra til at personene som tilbudet er ment til får tilbud om behandling, dvs. at tilbudet blir treffsikkert. I praksis er det imidlertid avhengig av at kriteriene er godt utformet, og at de er forstått og praktisk likt av behandlingsstedene.

For å vurdere måloppnåelsen til dette evalueringskriteriet har vi gjort faglige vurderinger av inngangskriteriene til målgruppene. I tillegg har vi kartlagt hvordan kriteriene er forstått og praktisert på de ulike behandlingsstedene (spørreundersøkelse og intervjuene), samt innhentet synspunkter fra odontologiske fagmiljøer (kompetansesentrene og universiteter).

E7: TOO-tilbudet har vært godt tilgjengelig i fylkeskommunene

Et godt tilgjengelig tannhelsetilbud er en del av ett av delmålene i tilskuddsordningen (delmål a). Det er imidlertid ikke spesifisert hva som menes med “godt tilgjengelig”. Vi har operasjonalisert begrepet ved at det må være et tilstrekkelig behandlingstilbud i samtlige fylkeskommuner, dvs. at dekningsgraden må være tilfredsstillende. Vurderingen av måloppnåelsen under dette kriteriet må sees i sammenheng med E1 der vi er opptatt av pasientenes opplevelse av tilgjengeligheten til TOO-tilbudet og barrierer for oppsøking.

Den primære informasjonskilden til å vurdere dette evalueringskriteriet har vært foreliggende datamateriale over dekningsgraden i befolkningen i fylkeskommunene. Vi har også belyst evalueringskriteriet ved å kartlegge utbyggingen og dimensjonering av tjenesten hos fylkeskommunene.

E8: TOO-tilbudet har vært tilrettelagt pasientene

Som for E7, er et tilrettelagt tannhelsetilbud en del av delmål a i tilskuddsordningen, men begrepet “tilrettelagt” er ikke spesifisert i regelverket for tilbudet. I denne evalueringen tolker vi “tilrettelagt” som at TOO-tjenesten har utviklet behandlingsmetoder og tilrettelagt behandlingen til den enkelte pasients behov og situasjon. Dette omfatter både behandlingen i tverrfaglig team (psykologisk behandling) og tannbehandlerteam (odontologisk behandling).

Veilederen IS-1589 God klinisk praksis i tannhelsetjenesten fra 2011 er en veileder i bruk av faglig skjønn ved nødvendig tannbehandling. Den beskriver en måte å resonnere på både ved undersøkelse, i planlegging og gjennomføring av tannbehandling, og gir uttrykk for hva som anses som god praksis på utgivelsestidspunktet. Det er et delmål i tilskuddsordningen (delmål c) at tannbehandlingen skal utføres i tråd med veilederen.

For å belyse dette evalueringskriteriet har vi gjort faglige vurderinger av behandlingsmetodene. I tillegg har vi kartlagt pasientenes oppfatninger av tilretteleggingen av behandlingen (spørreundersøkelse) og ansatte i TOO-tjenesten sine erfaringer og synspunkter (spørreundersøkelse og intervjuene).

E9: Samhandlingen mellom tverrfaglig team og tannbehandlerteam fungerer godt

Ettersom TOO-tilbudet består av to typer behandlinger med forskjellig personell og på ulike geografiske steder (tverrfaglig team og tannbehandlerteam), er det avgjørende med god kommunikasjon og pasient- og informasjonsflyt mellom behandlingsinstansene. Dersom det har oppstått eventuelle utfordringer i utviklingen av TOO-tilbudet, bør de også ha blitt håndtert underveis i prosjektets levetid.

For å vurdere måloppnåelsen til dette evalueringskriteriet har vi først og fremst kartlagt erfaringene til de ansatte som utfører selve behandlingene på behandlingsstedene, samt ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene.

E10: Fagkompetansen på behandlingsstedene er sammensatt med tanke på pasientenes behov

Fagkompetansen på behandlingsstedene må være sammensatt slik at personalet kan utføre behandlingen som pasientene har behov for. I forarbeidet til etableringen av TOO-tilbudet ble det skissert hvilke kompetanser man anså det var behov for. I tillegg har tjenesten trolig avdekket hvilke fagkompetanse det er behov for i prosjektperioden, samt opparbeidet seg erfaringer knyttet til tilgjengelighet på arbeidsmarkedet. Videre er det nødvendig at det gis faglig veiledning til personell som har behov for veiledning og at det skjer en kompetanseutvikling på behandlingsstedene.

For å belyse dette evalueringskriteriet har vi kartlagt erfaringene til de ansatte som på behandlingsstedene, samt ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene.

E11: Pasientene er ferdig behandlet i TOO-tilbudet etter fastsatte kriterier

Når pasientene er ferdigbehandlet, er det viktig med en god pasientflyt ut av TOO-tjenesten. I det henseende må det foreligge tydelige kriterier for når pasientene er ferdigbehandlet og det må være etablert et system for oppfølging av pasientene i etterkant av behandlingen.

For å vurdere måloppnåelsen til dette evalueringskriteriet har vi først kartlagt hvilke utskrivningskriterier som foreligger på behandlingsstedene og deretter gjort en faglig vurdering av disse. I tillegg har vi kartlagt hvordan kriteriene er forstått og praktisert på de ulike behandlingsstedene (gjennom spørreundersøkelse og intervjuene), samt innhentet synspunkter fra odontologiske fagmiljøer (kompetansesentrene og universiteter).

E12: Ventetidene i TOO-tilbudet har vært innenfor maksgrensene angitt i delmål (b) i tilbudet

I tilskuddsordningens regelverk er det angitt mål for ventetider i TOO-tilbudet (delmål b). Mer spesifikt er de maksimale ventetidene fra henvisning til vurderingssamtale 8 uker, fra vurderingssamtale til behandling i tverrfaglig team 4 uker og fra behandling i tverrfaglig team til behandling i tannbehandlerteam 4 uker.

Den primære informasjonskilden til å vurdere dette evalueringskriteriet har vært foreliggende datamateriale over ventetider på behandlingsstedene. Vi har også belyst kriteriet gjennom intervjuene med ansatte på behandlingsstedene, samt ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene.

E13: Det er samarbeid og/eller samhandling mellom TOO-tjenesten og andre deler av helse- og omsorgstjenesten

En vellykket behandling av pasienter i målgruppene fordrer et godt samarbeid og eventuell samhandling med andre deler av helse- og omsorgstjenesten, som fastleger, spesialisthelsetjenesten, privatpraktiserende psykologer, andre tannhelsetjenester/-tilbud, helsetjeneste for asylsøkere og flyktninger, krisesentre etc. Dette gjelder flere steder i behandlingsforløpet; inngang til TOO-tjenesten (fange opp personer i målgruppen, spre informasjon, henvise etc.), eventuelt under behandling og i etterkant av behandling (overføring til ordinær tannlegebehandling, eventuelt behandling utenfor TOO-tjenesten, oppfølging i TOO-tjenesten etc.). Tverrfaglig samhandling mellom TOO-tjenesten og andre deler av helse- og omsorgstjenesten er også et av delmålene til tilskuddsordningen (delmål g).

For å belyse dette evalueringskriteriet har vi kartlagt erfaringene til utvalgte deler av helse- og omsorgstjenesten (gjennom intervju), samt erfaringene til ansatte som på behandlingsstedene og ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene.

E14: Tjenesten samarbeider med ressurssentre, odont. læresteder og andre kompetansemiljø

Et godt TOO-tilbud til pasientene fordrer et godt samarbeid med relevante aktører. Tjenesten har samarbeidet med ressurssentre, odontologiske læresteder og andre kompetansemiljø om flere forhold: Utvikling av tjenesten, utvikling av behandlingsmetoder, tilrettelagt behandling, kunnskapsoppbygging m.m. Samarbeid med regionale ressurssentre om vold og traumatisk stress (RVTS), sentre mot incest, odontologiske læresteder og andre kompetansemiljø er også ett av delmålene i tilskuddsordningen (delmål e).

For å belyse dette evalueringskriteriet har vi kartlagt erfaringene til ressurssentre og odontologiske læresteder, samt erfaringene til ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene.

Kunnskapsperspektivet
 

E15: Tjenesten har drevet systematisk oppbygging av kunnskap om målgruppen, tannhelsetilstand, tannhelsetilbud og kostnader

En viktig del av TOO-tilbudet har vært at det skal bygges opp systematisk kunnskap om forskjellige forhold ved tilbudet; målgruppen, tannhelsetilstanden, tannhelsetilbud og kostnader. Dette er derfor et av delmålene i tilskuddsordningen (delmål d). En systematisk oppbygging innebærer både at det har blitt etablert strukturer for å bygge opp kunnskap og at det har blitt utarbeidet kunnskapsprodukter som faglige veiledere, undersøkelser i målgruppen, evalueringer av behandlingsmetoder etc. I kunnskapsoppbyggingen er det en fordel at det er godt samarbeid mellom fylkeskommunene og kompetansesentrene.

Med systematisk oppbygging av kunnskap er det også behov for å formidle og spre kunnskapen om målgruppen, tannhelsetilstanden og tannhelsetilbudet (herunder behandlingsmetoder m.m.). Kunnskapen kan potensielt øke kvaliteten på selve tjenesten, blant annet ved at tverrfaglig team og tannbehandlerteam kan tilpasse behandlingsmetoder til nyervervet kunnskap eller tilpasse opplæringen og veiledningen av nye medarbeidere m.m. Utover TOO-tilbudet kan økt kunnskap benyttes av aktører innenfor samme fagområdet (f.eks. ressurssentre) og andre deler av helse- og omsorgstjenesten.

Det er ingen krav i tilskuddsordningen at tjenesten skal bedrive forskning og produksjon av vitenskapelige artikler innenfor fagfeltet. Likevel kan forskning bidra til å bygge opp kunnskap om forskjellige forhold ved tilbudet. Vi har derfor kartlagt om det har vært drevet forskningsaktiviteter om eller i tilknytning til TOO-tilbudet.

For å vurdere måloppnåelsen til dette evalueringskriteriet har vi undersøkt foreliggende datamateriale, herunder årsrapporter fra tilskuddsmottakere og eventuelle utarbeidede kunnskapsprodukter. I tillegg har vi kartlagt erfaringene med kunnskapsoppbyggingen blant ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene.

E16: Det nasjonale faglige nettverket har vært videreutviklet innen området

Etter vår forståelse består det faglige nettverket av de tverrfaglige teamene i hele Norge. Blant annet samles de på årlige nettverkssamlinger i regi av faggruppen. I tillegg eksisterer det lokale nettverk av tannbehandlingsteam. Dette er også ett av delmålene i tilskuddsordningen (delmål f).

For å vurdere måloppnåelsen på dette evalueringskriteriet har vi kartlagt graden av organisering/struktur, aktiviteter og “leveranser” fra nettverket hos ledere og ansatte i tverrfaglige team, samt utvalgte personer i faggruppen.

Økonomiske og administrative forhold
 

E17: Finansieringen av TOO-tilbudet er i samsvar med formålet med tilskuddsordningen

Siden 2011 har Stortinget bevilget midler til tilskuddsordningen over statsbudsjettet, hvor bevilgningen har gradvis blitt styrket over tid. Siden midlene over tilskuddsordningen er den viktigste finansieringskilden til TOO-tilbudet i fylkeskommunene og kompetansesentrene, har størrelsen på bevilgningen stor betydning for innretningen av tjenesten og grad av måloppnåelse. Det er derfor sentralt å vurdere om størrelsen på tilskuddsordningen har vært optimalt innrettet mht. etterspørsel etter tjenesten og måloppnåelsen til fylkeskommunene og kompetansesentrene.

Den primære informasjonskilden til å vurdere dette evalueringskriteriet har vært foreliggende datamateriale over kostnadene til behandlingsstedene. I tillegg har vi belyst kriteriet gjennom intervjuene med ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene, samt sentrale styresmakter.

E18: Tilskuddsmottakere har etterlevd kravene i tilskuddsordningen

Fylkeskommuner/kompetansesentre/behandlingssteder som mottar tilskudd fra staten for å opprette et tannhelsetilbud til tortur- og overgrepsutsatte og personer med odontofobi, må oppfylle visse krav iht. regelverket for tilskuddsordningen. Blant annet må de levere årsrapporter med tilleggsskjemaer, budsjett, regnskap og revisorkontroll og attestasjon fra revisor, samt vurdere hvordan gjennomførte tiltak har ført til oppnåelse av målene i regelverket til tilskuddsordningen.

For å vurdere måloppnåelsen til dette evalueringskriteriet har vi undersøkt foreliggende datamateriale, herunder årsrapporter fra tilskuddsmottakere, regnskap, budsjett og rutiner for revisorkontroll m.m. I tillegg har vi kartlagt erfaringene med tilskuddsordningen blant ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene, samt sentrale styresmakter.

E19: Helsedirektoratet har en god forvaltning av tilskuddsordningen

Helsedirektoratet er forvalter av tilskuddsordningen. Dette innebærer å utarbeide tilskuddsregelverket etter oppdrag fra Helse- og omsorgstjenesten. Regelverket legger premissene for ordningen. I denne sammenhengen er det viktig at regelverket blant annet beskriver mål og målgruppe for tilskuddsordningen, kriterier for måloppnåelse, tildelingskriterier, oppfølging og kontroll og evaluering av tilskuddsordningen.

Som følge av dette skal Helsedirektoratet påse at rapporteringen fra tilskuddsmottakere er tilfredsstillende, utføre kontroll av at bevilgningen brukes etter kravene i regelverk og tilskuddsbrev og at opplysninger som legges til grunn for tildeling og som inngår i den etterfølgende rapporteringen er korrekte. I tillegg kan de stanse tilskudd dersom tilskuddsmottakere ikke oppfyller kravene som stilles i regelverket eller tilskuddsbrevet.

For å belyse dette evalueringskriteriet har vi undersøkt foreliggende datamateriale, herunder Helsedirektoratets korrespondanse med tilskuddsmottakere. I tillegg har vi kartlagt erfaringene med tilskuddsordningen blant ledere for tannhelsetjenesten i fylkeskommunene og de regionale kompetansesentrene, samt sentrale styresmakter.

2.2.3 Metoder

Overordnet om metoder

For sikre en bred informasjonsinnhenting og et godt grunnlag for analysene har vi benyttet flere metoder - både kvalitative og kvantitative - i evalueringen. I evalueringen er det gjennomført dokumentstudier, innhentet datamateriale (statistikk og rapporteringer), foretatt intervjuer og gjennomført spørreundersøkelser.

Nærmere om dokumentstudier

Hensikten med dokumentstudiene i evalueringen var å få et oppdatert kunnskaps- og erfaringsgrunnlag om TOO-tilbudet. Dokumentstudiene omfattet både overordnet informasjon om tjenesten, men også informasjon og kunnskap innenfor de fire perspektivene som skal besvares gjennom evalueringskriteriene. Dokumentstudiene inkluderte en overordnet analyse av tilgjengelig dokumentasjon om TOO-tilbudet som blant annet ga bakgrunn for opprettelsen av TOO-tilbudet og hvilke føringer som er gitt i styrende dokumentasjon fra Helse- og omsorgsdepartementet og Helsedirektoratet.

En sentral kilde om TOO-tilbudet som er benyttet er rapporten IS-1855 som utreder grunnlaget og intensjonen bak tilbudet. I tillegg har dokumentstudiene blant annet inkludert regelverket til tilskuddsordningen og materiale som TOO-tjenesten har utarbeidet selv (blant annet faglige veiledere), samt dokumenter som NOU 2005: 11 Det offentlige engasjementet på tannhelsefeltet og St.Meld. 35 (2006-2007) Tilgjengelighet, kompetanse og sosial utjevning— Framtidas tannhelsetjenester. Som en del av arbeidet har vi også benyttet oss av fagartikler og forskningsartikler for å belyse og gi supplerende informasjon om TOO-tilbudet. En fullstendig oversikt over benyttet dokumentasjon finnes i referanselisten.

Nærmere om datamateriale

Evalueringen har omfattet arbeid knyttet til innhenting og systematisering av registrerte data knyttet til TOO-behandlingen i fylkeskommunene og kompetansesentrene. I arbeidet har vi benyttet oss av de årlige rapporteringene fra fylkeskommunene og kompetansesentrene. De årlige rapporteringene er et krav som stilles til tilskuddsmottakeren av tilskuddsordningen ifm. TOO-tilbudet. De årlige rapporteringene er detaljerte og inneholder informasjon knyttet til blant annet personellressurser som benyttes, henvisnings- og ventetid, pasientinformasjon i de tverrfaglige teamene og tannbehandlerteamene, det faglige nettverket og økonomi.

I tillegg til de årlige rapportene, har vi benyttet data fra Helsedirektoratet med oversikt over tildelte midler som er gitt ut i forbindelse med tilskuddsordningen, samt data om forskning som er gjennomført.

Nærmere om intervjuene

En sentral og viktig informasjonskilde i evalueringen av TOO-tilbudet var intervjuene av personer som er involvert i TOO-tilbudet, samt relevante aktører tilknyttet tilbudet. Intervjuene ble gjennomført både som enkeltintervjuer og gruppeintervjuer med varighet på en til to timer, avhengig av antall deltakere og temaer.

Intervjuene ble gjennomført i tre bolker. I første omgang ble det gjennomført innledende samtaler med utvalgte nøkkelpersoner for å skape en kontekstuell forståelse av TOO-tilbudet. Samtalene var et viktig bidrag i utarbeidelsen av evalueringsdesignet (fase 2). Hovedbolken av intervjuene ble gjennomført i kartleggingsfasen av evalueringen (fase 3). Intervjuene var en sentral kilde for å innhente observasjoner om TOO-tilbudet, herunder faktaopplysninger, synspunkter og meninger m.m. Temaene omfattet både bruker-, tjeneste- og kunnskapsperspektivet, samt de økonomiske og administrative forholdene ved TOO-tilbudet. Avslutningsvis ble det gjennomført enkelte supplerende intervjuer, blant annet for å verifisere observasjoner og funn i evalueringen. Dette sikret at vurderingene i minst mulig grad ble basert på misforståelser, feiltolkninger og faktafeil.

Totalt ble det gjennomført 50 intervjuer med nærmere 70 personer. Intervjuobjektene har inkludert Helse- og omsorgsdepartementet, Helsedirektoratet, fylkestannleger, ledere for de regionale kompetansesentrene, ledere for klinikker og behandlingspersonell i både tverrfaglige team og tannbehandlerteam, herunder psykologer, tannleger, tannpleiere og tannhelsesekretærer. I tillegg har vi intervjuet aktører tilknyttet tilbudet som privatpraktiserende tannleger, fastleger, distriktspsykiatriske sentre (DPS), De regionale ressurssentrene om vold, traumatisk stress og selvmordsforebygging (RVTS), Norsk forening for odontofobi (NOFOBI), Den norske tannlegeforening og forskere innenfor odontologi på kompetansesentrene og universitetene. En oversikt er gitt i Vedlegg D.

I rapporten benyttes utelukkende begrepet ansatte når vi henviser til intervjuobjektenes svar uavhengig om vedkommende arbeider som behandlingspersonell i tverrfaglig team eller tannbehandlerteam eller har andre roller i tilknytning TOO-tilbudet. Årsaken til dette er personvernhensyn.

Nærmere om spørreundersøkelser

I evalueringen ble det gjennomført to spørreundersøkelser. Den ene spørreundersøkelsen var rettet mot offentlig ansatte og ledere (i fylkeskommuner, kompetansesentre og offentlige tannklinikker) og private tannklinikker og private psykologklinikker som er tilknyttet TOO-tilbudet, mens den andre spørreundersøkelsen ble gjennomført blant pasienter av tjenesten. Begge spørreundersøkelsene var anonyme, opplysningene ble behandlet konfidensielt og ingen svar var mulig å spore tilbake til den enkelte respondent. Gjennomføringen av undersøkelsene, herunder utforming av spørreskjemaene, ble gjort i samråd med personvernombudet i Helsedirektoratet for å ivareta respondentenes personvern og sikre overholdelse av personopplysningsloven og retningslinjer fra Helsedirektoratet.

Spørreundersøkelse blant pasienter

Spørreundersøkelsen blant pasientene i TOO-tilbudet ble gjennomført i perioden 19. april til 1. juni 2021. Undersøkelsen ble gjennomført ved at tverrfaglige team og tannbehandlerteam leverte et informasjonsskriv om spørreundersøkelsen med lenke til det elektroniske spørreskjemaet til pasienter som var til behandling hos teamene. Pasientene tok deretter selv initiativ til frivillig å gjennomføre spørreundersøkelsen på selvvalgt tidspunkt. Spørreundersøkelsen forelå på norsk som følge av personvernhensyn. Dersom pasientene ikke kunne norsk måtte de få hjelp av familiemedlemmer, venner eller andre til å svare på undersøkelsen. Med hensyn til respondentenes personvern var det ingen bakgrunnsspørsmål i spørreskjemaet, herunder hvilke målgruppe pasientene tilhørte, hvilken region de bodde i, alder og kjønn eller hvor langt i behandlingsforløpet pasientene var kommet. Som følge av gjennomføringsdesignet, har vi ikke kjennskap til antallet pasienter som mottok informasjonsskrivet om spørreundersøkelsen. Oversikt over spørsmålene i spørreundersøkelsen er vedlagt rapporten, jf. vedlegg B.