Logging og avvikshåndtering

For medisinsk utstyr er leverandør/produsent er forpliktet til å ta et ansvar for å overvåke KI-systemer som er CE-merket under MDR også etter at det er tatt i bruk (ettermarkedsovervåkning, eng. post-market surveillance). Dette inkluderer ansvar for å samle inn og evaluere erfaringer fra brukere av det medisinske utstyret. Formålet er å sikre fortsatt overholdelse av kravene, opprettholde sikkerhets- og ytelsesnivået, samt oppdage mulige behov for umiddelbare tiltak [158].

KI-forordningen vil stille lignende krav til høyrisiko-KI-systemer, men også brukerne skal bidra til å oppfylle dette kravet [159]. Virksomheten må påse at den automatiske loggen fra KI-systemet blir håndtert og tatt vare på [160]. Denne ettermarkedsovervåkningen er en systematisk dokumentasjon av ytelse og sikkerhetsproblemer i bruk som bidrar til å rette opp feil og kan forbedre systemene. Det kan være relevant med regelmessig rapportering til relevante myndigheter. Hvem som skal ha markedsovervåkningsmyndighet for KI-systemer i Norge er ikke endelig avklart [161]. 

Uønskede hendelser

Det er viktig å etablere rutiner for hvor og hvordan uønskede hendelser rapporteres når KI-systemet tas i bruk. Virksomheten bør sørge for at egne avvikssystemer er tilpasset for melding om avvik knyttet til KI-systemet, uavhengig om det er en klinisk eller en IT-hendelse, for å fange opp KI-relaterte uønskede hendelser.

Uønskede hendelser i helse- og omsorgstjenesten kan meldes på melde.no. Denne kan også pasienter benytte til å melde uønskede hendelser, eller de kan henvende seg direkte på HelseNorge.no.

Avvik som karakteriseres som alvorlig hendelse skal rapporteres. For KI-systemet er virksomheten pliktig til å melde om alvorlige hendelser som utgjør risiko til leverandøren umiddelbart, jf artikkel 26 (5) i KI-forordningen.

The Organisation for Economic Co-operation and Development (OECD) har etablert en global overvåkings-database for KI-hendelser som kan meldes her: AI Incidents Monitor

Kvalitetsforbedring

Ved å ha et kvalitetsstyringssystem som fungerer effektivt kan virksomheten overvåke KI-systemet slik at forverring i modellens ytelse, eller andre uønskede hendelser kan identifiseres i tide. Virksomheten har da mulighet til å håndtere avvik, lære av dem og iverksette nødvendige tiltak. Tiltak når det gjelder KI-systemet kan for eksempel dreie seg om å få leverandøren til å oppdatere KI-systemet, fase ut eksisterende eller anskaffe et nytt KI-system.  Kontinuerlig kvalitetsforbedring av tjenesten kan ellers være å justere arbeidsprosesser, opplæring, informasjon og andre rutiner.