Roller og ansvar

Virksomhetsledelsens ansvar er å etterleve blant annet krav om kvalitetssikring av helsetjenesten, jf. Forskrift om ledelse og kvalitetsforbedring i helse- og omsorgstjenesten [144]. KI-forordningen stiller krav til at leverandør og bruker har et kvalitetsstyringssystem på plass for høyrisiko-KI-systemer, jf. artikkel 17 [145]. KI-forordningen vil etter hvert tre i kraft, og virksomheten må forberede seg slik at de er i stand til å etterleve nytt regelverk. Eksisterende ledelsessystem bør derfor utvides til å omfatte kvalitetsstyring av KI-systemet. Ledelsessystem for KI (ISO/IEC 42001) er et verktøy som kan være nyttig for ledelsen [146].

Drift og bruk av KI-systemet kan kreve nye roller og ansvarsområder for å sikre at KI-systemet kan fungere trygt. Dersom virksomheten har anskaffet et høyrisiko-KI-system, vil det være flere områder som må ivaretas i henhold til KI-forordningen:

• KI-systemet skal, i likhet med medisinsk utstyr, brukes i henhold til leverandørens bruksanvisning[147] 
• Menneskelig overblikk
• Transparens og informasjon til brukere av systemet (gjelder alle KI-systemer)
• Overvåkning av KI-systemet i drift, inkludert håndtere logg og avvik

Menneskelig overblikk (eng. human oversight) er beskrevet i KI-forordningens artikkel 14 under krav til høyrisiko-KI-systemer. Det stilles her krav til at KI-systemer skal utvikles slik at det kan gjøres menneskelige kontroller av systemene. Dette kan innebære å forstå hvilke muligheter og begrensninger KI-systemet har, slik at et menneske kan velge å overstyre resultatet, overvåke driften og oppdage og håndtere avvik, samt å forstå hvordan bruken kan gi automatiseringsskjevhet [148][149]. Det krever at et menneske med nødvendig kompetanse, støtte og autoritet har denne rollen.

• Ved Vestre Viken HF har de for eksempel navngitte KI-leger (KI-radiologer) som har særlig kompetanse på KI-systemet i bruk i klinikken.

I større virksomheter kan det være aktuelt å etablere en tverrfaglig gruppe med både operativt og strategisk ansvar for å sikre effektiv drift og forvaltning. Det kan være en nyttig organisering for å diskutere ytelse, forbedringsområder, og risikoer, og gi en klar struktur for hvordan beslutninger tas og kommuniseres. Et eksempel på en gruppe med personell med bred kompetanse samt tydelig ansvar:

• Daglig drift: Driftsansvarlig, systemansvarlig og IT-personell som spiller nøkkelroller for å sikre kontinuerlig og stabil drift, teknisk ansvar for ytelsen, infrastrukturen og sikkerheten. Vil koordinere tekniske oppdateringer, logging vedlikehold og integrasjon med andre systemer.
• Domenekompetanse for relevans: Klinisk ekspertise og/eller superbruker har stor betydning for å sikre at KI-systemet fungerer som forventet. Denne må være bindeledd mellom tekniske og kliniske team ved å oversette kliniske behov til tekniske krav. Vedkommende kan gi opplæring og støtte til andre brukere av KI-systemet og rapportere avvik eller begrensninger.
• Samsvar og risiko: Personvern, informasjonssikkerhet og juridisk støtte er mer sentrale i overordnet forvaltning enn i daglig drift. Skal sikre pasientenes tillit og overholdelse av lovverk og avtaler.
• Informasjonsforvaltning: Ansvar for orden i eget hus. God informasjonsforvaltning vil sørge for at data som brukes av KI-systemet, er korrekt, relevant og av høy kvalitet. Dette bidrar til å håndtere og unngå data bias og data drift.
• Strategisk ledelse: Systemeieren har det overordnede ansvar for å sikre at systemet gir verdi og følger virksomhetens mål og regelverk.

Det vises også til HUKI-matrisen i fase 1 og KI-faktaark 0.