Innledning

I Nasjonal helse- og samhandlingsplan for 2024-2027 understrekes det at KI vil kunne utgjøre et betydelig bidrag til en bærekraftig utvikling av vår felles helsetjeneste. Det forventes at kunstig intelligens og annen personellbesparende teknologi vil kunne bidra til at vi kan opprettholde kvaliteten i tjenesten i årene framover, i tillegg til at det kan bidra til å redusere ventetidene [10].

Rapporten reflekterer kunnskap ved årsskiftet 2024/2025. Siden KI er et område i rivende utvikling, vil ikke rapporten løpende kunne oppdateres med ny kunnskap. 

Arbeidet fra delprosjektet Rammer for kvalitetssikring presenteres i denne rapporten og er status ved utgangen av 2024. KI er et fagområde i rask utvikling og det kommer nye lovgivninger fra EU som vil påvirke bruk av KI i Norge. I tiden som følger vil det bli behov for oppdatert veiledningsmateriell etter hvert som kunnskapen og nytt regelverk formes. Formidling, oppdateringer og hensiktsmessige måter å støtte helse- og omsorgstjenesten på, som videreutvikling av veiledningsmateriell vil skje gjennom prioriteringer i Felles KI-plan [11].

Rapporten beskriver de juridiske rammene, hva som er pålagte krav og til dels hva som er lurt for å sikre at KI-systemer som brukes i helse- og omsorgstjenesten er tillitsverdige. Den europeiske unionen peker på tre komponenter som et tillitsverdig KI-system bør oppfylle gjennom hele systemets livssyklus [12]:

1. Det bør være lovlig, i samsvar med alle gjeldende lover og forskrifter.
2. Det bør være etisk, og sikre etterlevelse av etiske prinsipper og verdier.
3. Det bør være robust, både fra et teknisk og sosialt perspektiv, da KI-systemer, selv med gode intensjoner, kan forårsake utilsiktet skade.

Tillitsverdig KI karakteriseres av Det amerikanske National Institute for Standardization and Technology (NIST) slik: Gyldig og pålitelig, trygg, sikker og motstandsdyktig, ansvarlig og gjennomsiktig, forklarbar og tolkbar, har godt personvern og er rettferdig med kontroll på skadelig skjevheter [13].

Definisjonen på et KI-system er etter KI-forordningen, og slik vi bruker betydningen i denne rapporten:

…et maskinbasert system som er designet for å operere med varierende nivåer av autonomi og som kan vise tilpasningsevne etter utplassering, og som, for eksplisitte eller implisitte mål, utleder, fra inndata det mottar, hvordan det skal generere utdata som prediksjoner, innhold, anbefalinger eller beslutninger som kan påvirke fysiske eller virtuelle miljøer [14].

Et KI-system kan ha ulike former: en selvstendig applikasjon på en PC eller mobilapplikasjon, en webtjeneste, en del av et fagsystem eller et journalsystem.

Det er noen iboende egenskaper ved KI som gjør det mer vanskelig å kvalitetssikre KI-systemer enn tradisjonelle IT-systemer. Når virksomheter skal anskaffe, innføre og ta i bruk KI-systemer er det viktig å ta hensyn til blant annet:

• Sort-boksproblemet: KI-modeller, spesielt de som bruker dype nevrale nettverk, kan være svært kompliserte å forstå, eller datagrunnlaget og logikken kan være utilgjengelig av kommersielle hensyn. Mangel på forklarbarhet og transparens kan gjøre det vanskeligere for helsepersonell å ha tillit til å bruke KI-systemet, samtidig som det i forlengelsen av dette kan utfordre pasienters rett til informasjon [15].
• Bias: er systematiske feil som oppstår i KI-systemer på grunn av skjevheter i treningsdataene. KI-modeller speiler dataene de trenes på, og må være representative for den befolkningen KI-modellen skal brukes på. Dataene kan også representere diskriminering i samfunnet. Bias kan føre til at KI-modeller gir feilaktig, partisk eller diskriminerende innhold [16].
• Hallusinasjon: Generative KI-modeller skaper innhold basert på dataene modellen er trent på. Dette innholdet kan fremstå som sant og riktig, men kan være usant eller oppspinn. Dette vil kunne utgjøre en risiko ved KI-modellen som man bør være oppmerksom på ved bruk i virksomheten.

Mål og målgruppe

Denne rapporten er utarbeidet for å gi støtte til de som planlegger å anskaffe et KI-system slik at virksomhetene kan bruke det på en trygg og effektiv måte. Målsetningen er å gi veiledning for å identifisere, vurdere og håndtere risikoer knyttet til anskaffelse, innføring og bruk av ferdigutviklede KI-systemer i helse- og omsorgstjenesten. Rapporten omhandler aspekter som virksomheter må være spesielt oppmerksom på for å kunne vurdere om et KI-system er tillitsverdig.

Målgruppen for rapporten er personer som er involvert i vurderinger og beslutninger knyttet til å planlegge, anskaffe, ta i bruk og drifte KI-systemer i helse- og omsorgstjenesten. Rapporten kan også være relevant for ansatte i virksomheter som tar i bruk KI, leverandører av KI-systemer og helsemyndighetene.

Avgrensninger

Rapporten er avgrenset til anskaffelse av ferdigutviklede produkter. Den omfatter dermed ikke egenutvikling av KI-systemer. Problemstillinger knyttet til KI-systemer som lærer løpende er ikke særskilt behandlet. Dette er aktuelle temaer for videre arbeid i delprosjektet.

Generative KI-modeller er heller ikke særskilt behandlet, men et annet delprosjekt i Felles KI-plan vil omhandle vurdering av risiko ved store språkmodeller og hvordan legge til rette for at bruken av språkmodeller er tilpasset norske forhold [17].     

Relevante kilder til innledningen

• A buyer's guide to AI in health and care – NHS Transformation Directorate (england.nhs.uk)
• What is AI? Can you make a clear distinction between AI and non-AI systems? - OECD.AI
• Digitaliseringsdirektoratet: Veiledning for ansvarlig utvikling og bruk av kunstig intelligens i offentlig sektor
• Adoption of AI in healthcare er en omfattende artikkel (white paper) på engelsk, utredet av DNV i et internasjonalt samarbeid, beskriver hva man bør vurdere i anskaffelsen av kunstig intelligens-baserte verktøy og kan leses her: https://www.dnv.com/Publications/how-do-i-turn-this-on-what-to-consider-when-adopting-ai-based-tools-into-clinical-practice-237225
• The National Institute of Standards and Technology (NIST) har utgitt et risikostyringsrammeverk for KI (NIST AI RMF 1.0), hvor det beskrives hvordan man kan jobbe systematisk med risikostyring av KI-systemer: Artificial Intelligence Risk Management Framework (AI RMF 1.0) NIST har i tillegg har en artikkel om forklarbar KI: Four Principles of Explainable Artificial Intelligence https://nvlpubs.nist.gov/nistpubs/ir/2021/NIST.IR.8312.pdf
• I «Etiske retningslinjer for pålitelig kunstig intelligens» (digital-strategy.ec.europa.eu) utarbeidet av en ekspertgruppe oppnevnt av EU-kommisjonen, nevnes det tre hovedprinsipper for ansvarlig kunstig intelligens, nemlig lovlig, etisk og sikker kunstig intelligens. De samme prinsippene gjenspeiles i regjeringens nasjonale strategi for kunstig intelligens (regjeringen.no) fra 2020 og iFremtidens digitale Norge – nasjonal digitaliseringsstrategi 2024–2030 (regjeringen.no)
• GENERATING EVIDENCE FOR ARTIFICIAL INTELLIGENCE-BASED MEDICAL DEVICES: A FRAMEWORK FOR TRAINING, VALIDATION AND EVALUATION (WHO , 2021) https://iris.who.int/bitstream/handle/10665/349093/9789240038462-eng.pdf
• Norm for informasjonssikkerhet (Normen) har publisert en artikkel om sikkerhetsrisiko i systemer som benytter kunstig intelligens, og hvordan man kan stille sikkerhetskrav til leverandører av slike systemer: https://www.ehelse.no/normen/aktuelt-om-normen/sikkerhetsrisiko-i-systemer-som-benytter-kunstig-intelligens--hva-vet-vi-og-hva-kan-vi-gjore
• FDA: U.S. Food and Drug Administration (fda.gov) 
• ISO/IEC 22989 Artificial intelligence concepts and terminology etablerer en terminologi for KI og beskriver konsepter på KI-feltet og Standard Norge | standard.no. ISO/IEC 22989:2022
• Innebygd diskrimineringsvern: En veileder for å avdekke og forebygge diskriminering i utvikling og bruk av kunstig intelligens (ldo.no)