Testing av KI-systemet

Etter at tilpasninger og integrasjoner er utført, må de testes. Testingen omfatter både selve KI-systemet og helheten det skal inngå i, og at KI-systemet produserer utdata som forventet. Dette innebærer test av funksjonalitet, sikkerhet, robusthet, arbeidsflyt og test av integrasjoner i hele arbeidsflyten. CE-merket medisinsk utstyr har et definert tiltenkt formål og helsevirksomheten skal følge produsentens anvisninger før det kan tas i bruk.

Virksomheten har ofte bestemte rutiner for hvordan testing skal gjøres. Det finnes ulike begreper for ulike måter å teste på og noen av disse er overlappende. Testene bør være formelle og inngå i avtalen med leverandøren om hvilken part som gjør hva og hvilke feil virksomheten aksepterer, samt plan for å rette disse opp.

Klinisk validering

Enhver virksomhet innen helse- og omsorg er pålagt å tilby faglig forsvarlige helse- og omsorgstjenester og god pasientsikkerhet [132]. KI-systemet bør derfor testes med representative data fra virksomheten for å kvalitetssikre nøyaktighet, presisjon og pålitelighet. At et KI-system er CE-merket, betyr ikke nødvendigvis at KI-systemet vil fungere godt i praksis på virksomhetens pasienter, utstyr og undersøkelsesprotokoller.

Sort boks-problemet med KI refererer til utfordringen med at avanserte KI-modeller, spesielt de som er basert på dype nevrale nettverk, kan gi resultater uten å tydelig forklare hvordan de kom frem til dem. En slik manglende transparens og forklarbarhet bryter i utgangspunktet med de grunnleggende prinsipper for kunnskapsbasert medisinsk diagnostikk og behandling. I tillegg er logikken til modellen gjerne utilgjengelig for virksomheten av kommersielle hensyn [133]. Virksomheten må derfor sikre at KI-systemet er forsvarlig i bruk. Så lenge det er vanskelig å forklare hvordan en KI-modell virker, vil klinisk validering på virksomhetens egne data være en metode for å teste hvor godt KI-systemet er tilpasset den aktuelle befolkningen det skal brukes på.

Validering på representative datasett gjøres for å identifisere skjevheter i KI-modellen tidlig og for å kunne håndtere eventuelle svakheter når KI-systemet brukes. Hvis en KI-modell ikke gir tilfredsstillende ytelse for en befolkningsgruppe, må virksomheten planlegge hvordan helsetjenesten skal tilbys denne gruppen [134].

Hvor omfattende klinisk validering som er nødvendig, avhenger blant annet av hvordan KI-modellen er trent og på hvilke data, og hvordan det skal brukes. Dersom virksomheten skal ta i bruk et KI-system som allerede er innført og validert i en annen virksomhet med lignende pasientpopulasjon, med samme type utstyr og samme protokoller, vil omfanget av den kliniske valideringen kunne reduseres. Dersom virksomheten planlegger at KI-systemet skal fungere med høy grad av autonomi, vil dette kreve mer omfattende klinisk validering. Validering av KI-systemer bør gjøres risikobasert, og gjentas, helt eller delvis, hver gang leverandøren oppdaterer KI-systemet, for eksempel ved nye versjoner. 

Innen radiologi har Kortesniemi et al nylig publisert en artikkel om hvordan man i praksis kan teste et KI-system som skal tas i bruk innen radiologi [135]. Denne artikkelen beskriver fremgangsmåter som også kan være nyttig for andre fagområder. 

Regelverk for tilgang til data til validering

Virksomheten har ansvaret for den kliniske valideringen, og vil som regel være dataansvarlig for dataene som skal brukes for denne typen validering. Helseopplysninger må behandles i samsvar med taushetsplikten. Dette kan skje etter samtykke fra den enkelte pasient, men det vil ofte ikke være praktisk mulig eller være for vanskelig å innhente samtykke når det gjelder store mengder data.

Virksomheten må som dataansvarlig ha lovlig behandlingsgrunnlag og et unntak fra taushetsplikten dersom det skal brukes pasientdata (til annet formål enn helsehjelp, pasientjournalloven § 20 [136]) fra virksomhetens journaler i virksomhetens kliniske valideringsprosess. Intern kvalitetssikring i virksomheten, hvor formålet er å sjekke at helsehjelpen som ytes opprettholder tilsvarende eller bedre kvalitet ved bruk av KI-systemet, kan gi unntak fra taushetsplikten, basert på lovbestemt unntak som helsepersonelloven §26 [137].

Denne hjemmelen kan også gjelde for samarbeidende virksomheter, med avtale som beskrevet i § 9 i pasientjournalloven [138]. Dersom flere virksomheter har gått sammen om å anskaffe et KI-system og det er behov for å dele opplysninger mellom virksomhetene, vil dispensasjonsadgangen i helsepersonelloven § 29 være aktuell som unntak fra taushetsplikten for kvalitetssikringsformål [139][140]. Et dispensasjonsvedtak gir både unntak fra taushetsplikten og et rettslig behandlingsgrunnlag for bruk av helseopplysninger fra pasientjournaler og andre behandlingsrettede helseregistre til blant annet formål om å utvikle, teste og bruke klinisk beslutningsstøtteverktøy, samt kvalitetssikring.

Det er som oftest nødvendig eller hensiktsmessig at leverandøren av KI-modellen også har en rolle i valideringen som gjøres i virksomheten. Som regel vil leverandøren være en databehandler for virksomheten i denne situasjonen, ved at den behandler data på vegne av virksomheten. Det vil i slike tilfeller være nødvendig etter personvernforordningen at det inngås en databehandleravtale mellom virksomheten og leverandøren for dette formålet [141]. Databehandleravtale inngås før virksomheten setter i gang med behandling av personopplysninger, se også fase 4 om avtaleform.

Vurdering av KI-systemets ytelse vil inngå i valideringsprosessen, se KI-faktaark 3. For ytterligere beskrivelse av validering se KI-faktaark 2 [142].