Menneskelige faktorer

Som ved innføring av annen teknologi, er menneskelige faktorer viktige for at KI-systemet vil fungere i praksis i virksomheten. KI-systemer er natur sosio-tekniske av natur, noe som betyr at de påvirkes av samspillet mellom medisinsk teknologi, klinisk praksis og menneskelige faktorer, inkludert pasienters og helsepersonells atferd og beslutninger [92]. Fordeler og risikoer knyttet til KI-systemet er avhengig av både konteksten og bruken av det [93].

Etiske vurderinger og retningslinjer

Virksomhetens normer, verdier og atferdsmønstre ligger til grunn for etisk ansvarlig bruk av KI. Helseforetakene har en klinisk etikk-komité som kan konsulteres ved behov. KS samarbeider med Senter for medisinsk etikk om å gi kommunene et best mulig tilbud innen relevant helsefaglig etikk. Virksomheten kan ha særlige retningslinjer som må tas hensyn til, for eksempel at KI ikke skal brukes til spesifiserte formål.

Noen spørsmål som kan melde seg er:

• Hvordan vil de som blir behandlet ved hjelp av et KI-system, akseptere at det ikke bare er et menneske som står bak en beslutning?
• Er systemet rettferdig? Sikrer man tilgang til likeverdige helse- og omsorgstjenester uavhengig av diagnose, bosted, personlig økonomi, kjønn, fødeland, etnisitet og den enkeltes livssituasjon? Tas det høyde for helse- og omsorgstjenester av like god kvalitet og resultatlikhet?

Virksomhetsledelse

Det kan være nyttig å vurdere å ta i bruk et ledelsessystem for KI, som for eksempel ISO/IEC 42001 Ledelsessystem for kunstig intelligens (standard.no). Den kan hjelpe virksomheter med å identifisere og redusere risiko knyttet til implementering av KI.

Virksomheten bør kartlegge hvilke endringer en innføring av et KI-system vil medføre i arbeidsprosessene, slik at ledelsen er godt informert om hvordan innføring av et KI-system vil påvirke de ansatte, og tjenesten som tilbys.

Kartleggingen kan omfatte:

• hvem som blir berørt av endringene og hvilke forventninger de har
  • eventuelle endringer i arbeidsbelastning og/eller rutiner for helsepersonell under og etter innføring av systemet
• behov for ressurser og opplæring av de som skal både bruke og forvalte KI-systemet, inkludert å håndtere begrensningene til KI-systemet
  • hvilket behov det er for nye roller, ansvarsområder og samarbeid
  • hvilket behov det er for kompetanseheving
• hvordan virksomhetens skal håndtere uplanlagte situasjoner, og konsekvenser av disse, som for eksempel økte kostnader i en periode hvis
  • et eksisterende system må kjøres i parallell med innføringen av det nye KI-systemet
  • det er midlertidig nedetid for et KI-system som er i bruk

Når KI-forordningen trer i kraft vil virksomheter som skal innføre noen typer KI-systemer med høy-risiko være forpliktet til å gjennomføre en vurdering av konsekvenser for fundamentale menneskerettigheter (Fundamental Rights Impact Assessment (FRIA)) [94]. Dette er en vurdering som skal hjelpe virksomheten å kartlegge hvilke mulige negative konsekvenser et KI-system kan ha, og på bakgrunn av dette iverksette de tiltakene som er nødvendige for å ivareta fundamentale rettigheter og de øvrige kravene etter KI-forordningen.

Brukere av KI-systemet

Helsepersonelloven stiller krav om at helsepersonell yter forsvarlig helsehjelp, og det er viktig at de har de rette kvalifikasjoner og kompetanse til å bruke KI-systemet slik det er tiltenkt. De må være trygge på at KI-systemet bidrar til å understøtte deres arbeidsprosesser på en god måte og bør derfor involveres i anskaffelsesprosessen. Deres engasjement, eierskap og kunnskap er sentralt for å sikre aksept og god bruk av KI-systemet. Det er viktig å identifisere deres behov for opplæring og støtte i implementeringsprosessen, og eventuell motstand mot endring av arbeidsprosesser.

Hvordan innføring av KI som beslutningsstøtte påvirker kompetansen til de som skal bruke KI-systemet, kan være viktig å vurdere. Virksomheten må sikre at kompetansen til helsepersonell som bruker KI holder seg over tid, jf. forskrift om ledelse og kvalitetsforbedring i helse- og omsorgstjenesten [95]- Det kan vurderes om det skal opprettes ordninger for dette, som sikrer at helsepersonell unngår og reduserer risiko for automatiseringsbias, altså en overdreven tiltro til KI-verktøy som kan forringe faglig integritet og kvalitet.

KI-forordningen vil stille krav om transparens, som blant annet innebærer at det skal være mulig å forstå hvordan KI-systemet skal tolkes, og at det er tydelig for brukerne at de samhandler med et KI-system [96]. Etter KI-forordningen vil arbeidsgiver også ha en plikt til å informere arbeidstakere at KI-systemer tas i bruk på arbeidsplassen [97].

Personer som KI-systemet skal brukes på

KI-systemet vil ofte brukes for å få råd eller beslutningstøtte som angår innbyggere, pasienter og andre tjenestemottakere. Virksomheten bør planlegge hvordan god informasjon skal gis til innbyggere, pasienter og tjenestemottakere og ta høyde for at bruk av KI kan skape både entusiasme og skepsis.

Bruk av et KI-system kan medføre endringer i hvordan den aktuelle tjenesten oppleves for innbyggere, helsepersonell, pasienter og tjenestemottakere. Åpenhet og god kommunikasjon om mål og hensikten med bruken, hvorfor og hvordan KI kan understøtte helsetjenesten, kan være nødvendig for å oppnå tillit i befolkningen til bruk av KI i helse- og omsorgstjenesten.

• En undersøkelse fra Storbritannia fant at ni av ti voksne briter mener bruk av KI for å oppdage kreft hovedsakelig er positivt, samtidig som over halvparten (56 %) er bekymret for å stole for mye på denne teknologien fremfor på profesjonelle vurderinger, og 47 % er bekymret for vanskelighetene med å vite hvem som er ansvarlig for feil når man bruker denne teknologien [98].

Den nasjonale KI-strategien påpeker at gjennomsiktighet handler også om at datasystemer ikke skal utgis for å være mennesker – mennesker skal ha rett til å få vite om de samhandler med et KI-system [99].

Etter pasient- og brukerrettighetsloven har pasienten rett til å medvirke samt å få informasjon om innholdet i helsehjelpen som ytes, blant annet om mulige risikoer [100]. Personvernforordningen stiller krav til at den registrerte skal ha informasjon om hvordan deres personopplysninger brukes, og virksomheten bør vurdere om den skal informere om hvilke helseopplysninger som deles med KI-systemet og til hvilke formål [101].

Virksomheten bør vurdere hvilke eventuelle endringer i egne arbeidsprosesser som må gjøres for å ivareta pasientenes rettigheter ved innføring av KI-systemet. Et brukerutvalg kan konsulteres.