Vurdering av kvaliteten til et KI-system

En viktig del av kartleggingen i fase 2 er å få oversikt over ytelse, sikkerhet og kostnadseffektivitet til KI-systemet for å kunne gjøre konkrete vurderinger og planlegging i neste fase.

Ytelsen til et KI-system

Ytelsen til et KI-system kan henge tett sammen med hvordan KI-modellen er utviklet, og er avhengig av hvilke data den er trent på. Dersom datasettene inneholder systematiske skjevheter, kan det føre til urettferdige eller upålitelige resultater. KI-modeller kan være svært fleksible, og kan ofte memorere treningsdataene, uten at dette sier noe om hvorvidt modellen kan generalisere til data den ikke har sett før. Det er derfor viktig at ytelsen av en KI-modell er testet på data som ikke har vært med i treningen.

Produsenten kan ha validert løsningen sin i varierende grad og det bør foreligge dokumentasjon om hvordan den tekniske valideringen er gjort, hvilke datasett som er brukt og at KI-modellen er testet på uavhengige data. Forordningen om medisinsk utstyr (lovdata.no) (MDR) krever at produsenten av CE-merket utstyr skal dokumentere ytelse. Det er ikke et generelt krav til klinisk validering for KI-modeller, men for medisinsk utstyr i høyere klasse (spesielt IIb og III) kan det være krav om klinisk utprøving [81]. Denne rapporten inneholder spesifikke detaljer rundt klinisk evaluering av programvare som medisinsk utstyr [82]. Artikkel 61 i MDR omhandler klinisk evaluering av medisinsk utstyr, mens artikkel 62 omhandler generelle krav til kliniske utprøvinger.

For ytterligere beskrivelse, se senere faser og KI-faktaark 3 og 2 om henholdsvis validering og ytelse [83].

Sikkerhet til et KI-system

I denne fasen bør det vurderes, på overordnet nivå, om sikkerheten er ivaretatt i tilgjengelige KI-systemer på markedet.

Norm for informasjonssikkerhet og personvern (Normen) er et hjelpemiddel i arbeidet med å sikre informasjonssikkerhet og personvern i helse- og omsorgstjenesten. Normen er teknologinøytral, og har blant annet produsert artikler som omhandler KI [84].

Evaluering av metode og kunnskapsgrunnlag

Dersom det allerede er gjort en metodevurdering av KI-systemet før anskaffelse, vil dette være nyttig informasjon for virksomheten å sette seg inn. Fullstendige metodevurderinger kan tjene som fullverdig beslutningsgrunnlag fordi den vitenskapelige dokumentasjonen utarbeides basert på en grundig metodologisk fremgangsmåte, og fordi den kan inneholde en utfyllende konsekvensvurdering. KI er ny teknologi og så langt er det gjort få fullstendige metodevurderinger av ulike KI-systemer.

Medisinsk metodevurdering (HTA)

En medisinsk metodevurdering (Health Technology Assessment, HTA) er en tverrfaglig prosess med hensikt å belyse effekt, sikkerhet, etikk, organisatoriske forhold, kostnadseffektivitet og budsjettkonsekvenser knyttet til innføring eller utfasing av metoder i helsevesenet [85][86].

Nye metoder er et nasjonalt system for å beslutte hvilke behandlingsmetoder som kan tilbys i spesialisthelsetjenesten. Folkehelseinstituttet og Direktoratet for medisinske produkter gjennomfører metodevurderinger på oppdrag fra Bestillerforum for nye metoder [87]. Direktoratet for strålevern og atomsikkerhet (DSA) bistår inn i metodevurderingen dersom metoden anvender stråling eller kan få påvirkning på den medisinske strålebruken. Det pågår for tiden et arbeid med strategi for videreutvikling av Nye metoder [88]. I tillegg er det nedsatt en arbeidsgruppe som skal utarbeide et forslag til rammer, mål og kriterier for metodevurdering av medisinsk utstyr i Nye metoder.

Minimetodevurderinger

Mange beslutninger vil skje lokalt og da kan mini-metodevurderingene være aktuelt. En mini-metodevurdering er en nedskalert form av de nasjonale metodevurderingene, og er tilpasset for bruk både i sykehus og kommuner. FHI har ansvar for mini-metodevurderinger, og på deres nettsider finnes veiledning og nasjonal database over alle ferdigstilte og påbegynte mini-metodevurderinger [90]. Her kan man for eksempel finne kontaktperson for andre gjennomførte mini-metodevurderinger.

Strålevernforskriften stiller krav til generisk berettigelsesvurdering av nye metoder som involverer eller påvirker stråling og kan derfor omfatte anskaffelse av KI-systemer. Metodevurderinger der strålevernmessige aspekter er adressert ansees å være tilstrekkelig dokumentasjon.[91]

Erfaringer fra fagfellevurderte publikasjoner

Fagfellevurderte artikler gir uavhengig beskrivelse av teknologien og dokumenterer hvilken effekt den har, herunder vurderinger av klinisk nytteverdi. CE-merket er en dokumentasjon på sikkerhet og ytelse og samsvar med reguleringer. 

Erfaringer fra brukere av tilsvarende KI-systemer

Systematisk erfaringsdeling er nyttig når ny teknologi skal tas i bruk. Virksomheten kan vurdere å kontakte andre virksomheter som har gjort seg erfaring med bruk av tilsvarende KI-systemer. Blant annet kan erfaring med brukergrensesnitt og gevinster være best å få fra en reell bruker ved andre helseinstitusjoner eller i andre land. Leverandøren kan oppgi referanser til andre brukere av deres KI-system.