Overvåkning

Overvåkning av KI-systemet krever en tverrfaglig tilnærming som inkluderer både tekniske, kliniske og sikkerhetsmessige aspekter. Virksomheten bør identifisere og iverksette tiltak for å gjøre virksomheten i stand til å oppdage og undersøke endringer i systemoppførsel [150].

KI-systemer er avhengige av robust teknisk infrastruktur som må overvåkes for å beskytte denne mot trusler som kan påvirke KI-systemets stabilitet og pålitelighet. Videre sikrer klinisk overvåkning at KI-systemet oppfyller sitt kliniske formål og gir verdi til helsepersonell og pasientene. Sikkerhetshendelser kan ha direkte kliniske konsekvenser, som for eksempel feil diagnostikk eller behandling, noe som setter pasientenes helse og sikkerhet i fare.

Cybersikkerhet, informasjonssikkerhet og personvern

KI-systemet kan representere ny eller mer kompleks teknologi sammenlignet med hva man tidligere er vant til i virksomheten. Siden kunnskapen om sikring av KI-systemer er ny, så må man forvente at kunnskapen om sikkerhetsrisiko, samt god praksis for hvordan sikre disse systemene, vil endre seg over tid. Trusselbildet endrer seg stadig, og det kan derfor være behov for å ofte oppdatere risikovurderinger og gjennomføre tiltak. Koordineringsgruppen for medisinsk utstyr i EU (MDCG)[151] har publisert et veiledende dokument som kan bidra til å vurdere cybersikkerhet for medisinsk utstyr[152]. Andre ressurser på sikkerhet i KI-systemer er henvist til i fase 4 [153][154][155].

Sikkerhetstesting må vurderes ved nye versjoner. Det må da ses på om det bør gjøres endringer i opplegget for sikkerhetstesting, for eksempel dersom en ny funksjonalitet i KI-systemet skal tas i bruk. Det er viktig å kjøre sikkerhetstester jevnlig, selv om det ikke er endringer i KI-systemet. Slik kan man oppdage nyoppstått risiko, for eksempel på grunn av at nye sårbarheter er blitt kjent, eller oppdage uautoriserte endringer av systemet. KI-systemer kan ha særegne sikkerhetsutfordringer ved at det foreligger spesielle behov knyttet til overvåking og logging av KI-systemet.

Risikoer kan håndteres ved å ha rutiner for jevnlige vurderinger og en plan for å holde seg oppdatert på sikkerhetsrisiko knyttet til den type KI-teknologi systemet benytter. 

Overvåkning av ytelse

Et KI-system i drift må overvåkes som annet utstyr og behandling. KI-forordningen vil kreve overvåkning av høyrisiko KI-systemer, og også meldeplikt ved alvorlige hendelser [156].

Dersom virksomheten planlegger at KI-systemet skal fungere med høy grad av autonomi, vil dette kreve høy grad av overvåkning. KI-systemer og kontekstene de brukes i, er ofte komplekse, noe som gjør det vanskelig å oppdage og håndtere feil når de oppstår.

Modelldrift er spesielt viktig å følge med på og refererer til en forringelse av en KI-modells ytelse på grunn av endringer i data eller i sammenhengen mellom inndata og utdata. Dette innebærer blant annet å følge opp mulige endringer i inndataene, pasientpopulasjonen eller utdataene fra KI-systemet. Modelldrift kan ha en negativ innvirkning på modellens ytelse, noe som kan resultere i feilaktige beslutninger og dårlige prediksjoner [157]. Det er ulike årsaker til modelldrift, og KI-systemet må løpende overvåkes for disse.

For et klinisk beslutningsstøttesystem basert på KI kan overvåkning bestå av:

Tekniske tiltak for overvåkning av ytelse:

• Et KI-system er sensitivt til dataene det får inn og det bør derfor legges inn kontroller, for eksempel på at dataene er komplette og av riktig og forventet kvalitet og format.
• Overvåkning av teknisk stabilitet og robusthet.
• Validering av nye versjoner av modellen på et fast testdatasett. Oppdatere testdatasettet når det blir behov for det.
• Følge med på endringer i inndata og arbeidsprosesser og vurdere påvirkning på modellens ytelse.
• Implementere overvåkingsmekanismer for ytelse, som nøyaktighet og bias.

Kliniske tiltak for overvåkning av ytelse:

• Melde feil, avvik og begrensninger ved bruk av KI-systemet. Dette gjelder både feil i bruken av KI-systemet og resultatene det gir.
• Gjennomføre periodiske valideringer mot kliniske datasett for å avdekke potensielle feil som kan være vanskelig å oppdage i vanlig daglig bruk.
• Kvalitetskontroll av resultater ved å registrere avvik mellom KI-modellens prediksjoner og faktisk utfall i klinisk bruk. Evaluere om KI-systemets anbefalinger eller beslutninger stemmer overens med kliniske standarder og faglige retningslinjer.