Sammendrag

Denne rapporten er utarbeidet for å gi støtte til virksomhetene som planlegger å anskaffe et KI-system slik at de kan bruke det på en trygg og effektiv måte. Rapporten omhandler aspekter som virksomheter må være spesielt oppmerksom på for å kunne vurdere om et KI-system er tillitsverdig når de vurderer å anskaffe, innføre og ta i bruk et KI-system i helse- og omsorgstjenesten.

Det amerikanske National Institute for Standardization and Technology (NIST) karakteriserer tillitsverdig KI slik: Gyldig og pålitelig, trygg, sikker og motstandsdyktig, ansvarlig og gjennomsiktig, forklarbar og tolkbar, har godt personvern og er rettferdig med kontroll på skadelig skjevheter [1].

Den europeiske unionen publiserte i 2019 etiske retningslinjer hvor det beskrives at et tillitsverdig KI-system har tre komponenter som bør oppfylles gjennom hele systemets livssyklus:

(1) det bør være lovlig, i samsvar med alle gjeldende lover og forskrifter, (2) det bør være etisk, og sikre etterlevelse av etiske prinsipper og verdier, og (3) det bør være robust, både fra et teknisk og sosialt perspektiv, da KI-systemer, selv med gode intensjoner, kan forårsake utilsiktet skade [2].

Rapporten beskriver de juridiske rammene, hva som er pålagte krav etter relevant regelverk, og til dels hva som er lurt. KI er imidlertid et fagområde som er i rask bevegelse og med ny lovgivning på trappene. De mer konkrete grensegangene mellom EUs forordninger for medisinsk utstyr, personvern og kunstig intelligens må avklares. I tiden som følger vil det bli behov for oppdatert veiledningsmateriell etter hvert som kunnskapen og nytt regelverk formes.

Et KI-system kan ha ulike former: en selvstendig applikasjon på en PC eller mobilapplikasjon, en webtjeneste, en del av et fagsystem eller et journalsystem. 

Med dette som bakteppe presenterer rapporten noen overordnede aspekter som virksomhetene må forholde seg til. Vi har delt inn disse i seks faser for anskaffelse, innføring og bruk av KI.

Juridiske rammer: Å ta i bruk KI-systemer innebærer vurderinger rundt blant annet helsefaglig forsvarlighet, personvern, informasjonssikkerhet, tilgang til helseopplysninger, datahåndtering og automatiserte beslutningsprosesser.

Helselovgivningen inneholder en rekke plikter og rettigheter for blant annet helse- og omsorgstjenesten og pasientene. Rett til helsehjelp, kravet til medisinsk forsvarlige tjenester og helsepersonells taushetsplikt er sentrale regler. Behandling av helseopplysninger er også omfattet av personvernforordningen, som stiller flere krav til dataansvarlig virksomhet. Likestillings- og diskrimineringsloven er også relevant [3]. Lov om medisinsk utstyr regulerer produsentenes ansvar for at medisinsk utstyr er sikkert og trygt, noe som også gjelder medisinsk utstyr som er eller består av KI [4]. Forordningen om kunstig intelligens skal sikre at produkter og systemer som anvender KI er trygge å bruke [5]. Regelverket stiller krav til både produsenter og brukere av KI (som kan være helse- og omsorgstjenesten). Det er også viktig å sikre at fagspesifikke regelverk blir identifisert og vurdert når KI-systemer skal anskaffes, valideres og tas i bruk

Risikohåndtering: KI kan bidra til forbedringer i helsevesenet, men introduserer også nye utfordringer. Uten gode risikovurderinger, kan KI-systemer påføre, forsterke eller videreføre urettferdige eller uønskede utfall for enkeltpersoner, helsevesenet og samfunnet for øvrig og utfordre pasientsikkerheten.

Validering: Før en KI-modell kan tas i bruk må den kvalitetssikres, noe som blant annet kan innebære klinisk validering. Klinisk validering betyr i denne rapporten å bekrefte at KI-modellen yter som den er ment, for et bestemt tiltenkt formål [6]. Dersom en KI-modell har tiltenkt formål å diagnostisere brudd på et røntgenbilde av et ben, er det akkurat dette KI-modellen skal valideres for.

Etiske prinsipper: KI-systemet må være trygt og etisk akseptabelt å bruke. Europakommisjonens ekspertgruppe foreslår syv prinsipper som også regjeringens KI-strategi legger til grunn for bruk av KI i Norge [7]. KI-strategien sier blant annet at bruk av KI skal bygge på etiske prinsipper, være gjennomsiktig og respektere menneskerettighetene og demokratiet [8]. Samtidig kan det være etisk betenkelig å ikke ta i bruk KI-systemer, hvis de kan gi bedre kvalitet, effektivisere tjenestene og dermed frigjøre ressurser som kan brukes på andre viktige områder.

Seks faser for anskaffelse, innføring og bruk av KI
Denne rapporten er inndelt i seks faser som en virksomhet kan ta utgangspunkt i når den skal vurdere å anskaffe og ta i bruk et KI-system. Fasene er kort beskrevet i listen nedenfor. Flere av fasene vil omhandle de samme risikoområdene eller kvalitetsaspektene, men vurderingene vil gjøres på økende detaljeringsnivå. For bruksområder for KI med lav risiko, trenger ikke virksomheten å adressere alle aspektene like detaljert. Underveis vil nye opplysninger kunne medføre behov for å gå tilbake til en tidligere fase og justere eller gjennomføre deler av denne på nytt.

1. Beskrive utfordringen og vurdere om KI er løsningen: Definere behovet og gjøre overordnet risiko- og kost-nyttevurdering.
2. Kartlegge KI-systemer på markedet: Vurdere KI-systemenes overenstemmelse med regelverk, samt KI-systemenes ytelse, kvalitet og nytte.
3. Vurdere egen virksomhets evne til å ta i bruk et KI-system: Vurdere både menneskelige og tekniske faktorer, samt gjøre risiko- og sikkerhetsvurderinger og oppdatere gevinstberegninger. 
4. Anskaffe et KI-system: Planlegge anskaffelsesprosedyre, utarbeide kravspesifikasjon og vurdere tilbud.
5. Innføre og kvalitetssikre et KI-system: Gjøre risiko- og konsekvensvurderinger, validere KI-systemet på egne data, gjennomføre organisatoriske og tekniske tiltak og lage plan for drift og forvaltning.
6. Drifte og forvalte et KI-system: Overvåke, drifte og vedlikeholde KI-systemet, sørge for kontinuerlig kvalitetsforbedring, realisere gevinster og dele erfaringer.

KI-faktaark: Utdypende informasjon om utvalgte temaer som er behandlet i rapporten finnes i KI-faktaark som publiseres på den tverretatlige informasjonssiden om KI i helse- og omsorgstjenesten[9].