Kravspesifikasjon

Kartlegging i tidligere faser danner grunnlag for hvordan man skal utarbeide en kravspesifikasjon for anskaffelse. Dersom det i fase 2 ble gjennomført en tidlig markedsdialog, har dette gitt innsikt i hvilke produkter som er tilgjengelig og hvilke muligheter og begrensninger disse gir. 

En kravspesifikasjon er et detaljert dokument som skisserer de spesifikke kravene systemet må oppfylle. Man må vurdere hvor detaljert man skal kravstille, da for detaljerte krav kan innskrenke mulighetsrommet. Det kan være nyttig å utforme brukerhistorier og overlate til leverandørene å komme med forslag om hvordan behovene kan løses, eller man kan beskrive detaljert hvordan man ønsker KI-systemet skal settes opp og fungere.

Virksomheten må kravstille at produsenten fremlegger dokumentasjon slik at KI-systemets ytelse, tillitsverdighet og sikkerhet kan vurderes grundig før kontraktsinngåelsen.

Den kommende KI-forordningen stiller krav til KI-systemer med begrenset og høy risiko, som det kan være lurt å ta høyde for i kravsettingen, i tillegg til andre regulatoriske krav [113]. Vi viser til fase 2. KI-forordningens artikkel 11, med tilhørende vedlegg IV beskriver mer detaljert hva dokumentasjonen skal inneholde for et høyrisiko KI-system [114][115].

Kravspesifikasjonen inneholder krav som deles i ulike grupper:

1. Generelle krav
2. Funksjonelle krav
3. Tekniske krav
4. Krav til sikkerhet

Generelle krav

Noen generelle krav kan være at leverandøren må redegjøre for etiske og samfunnsmessige problemstillinger knyttet til KI-systemet [116]. Krav om ivaretakelse av fundamentale menneskerettigheter, som helse og sikkerhet, samt miljø og bærekraft kan inkluderes her.  KI-systemer forbruker betydelig mengder energi, både til lagring og bruk av store datamengder til trening og bruk av KI-modeller. Det ble fra 1. januar 2024 gjort en endring i forskrift om offentlige anskaffelser.  Ved alle anskaffelser, også av KI-systemer, må helsetjenesten vekte klima- og miljøhensyn med minimum tretti prosent når miljøkravet er relevant for anskaffelsen. Alle KI-systemer bør bidra til å oppfylle FNs bærekraftsmål. 

Med KI-forordningen vil det også komme krav om at høyrisiko-KI-systemer må være utformet på en slik måte at transparens og menneskelig overblikk er sikret. Virksomheten kan be leverandøren beskrive hvilke trenings- og testmetoder som er benyttet. Krav om kvalitetsstyringssystem og logging som beskrevet i KI-forordningen, kan inngå her. For medisinsk utstyr er overvåking et krav til leverandør i henhold til for eksempel MDR.

Funksjonelle krav

Brukere av KI-systemet bør stille funksjonelle krav, for eksempel hvordan brukergrensesnittet skal fungere, og hvordan resultatet fra KI-systemet bør presenteres for brukeren av systemet. Det kan være behov for å stille krav om for eksempel forklarbarhet, tolkbarhet og transparens for de som skal bruke KI-systemet.

Datakvalitet er noe man spesielt må vurdere i en KI-anskaffelse, da dataene som brukes til å trene KI-modeller påvirker systemets ytelse, pålitelighet og upartiskhet. Det bør også stilles krav om at leverandøren kan redegjøre for hvilke data [117] de har brukt i utviklingen av KI-systemet, både i trening og valideringen, og hvilket behandlingsgrunnlag etter personvernforordningen. KI-forordningen stiller krav til datakvalitet. Artikkel 10 stiller krav til data og datahåndtering for KI-systemer med høy risiko. Data til trening, validering og testing skal tilfredsstille kvalitetskriteriene og skal blant annet være relevante, tilstrekkelig representative, og i størst mulig grad være fri for feil og komplette med tanke på den tiltenkte bruken [118].

Krav om dokumentasjon på ytelse og kvalitet til KI-systemet i bruk må tas med. For eksempel hvordan klinisk evaluering eller utprøving er gjennomført, og på hvem, med hvilket utstyr.

Tekniske krav

KI-systemet skal passe i virksomhetens infrastruktur. Det stilles derfor krav til beskrivelser av dataflyt og dataformater som skal håndteres og utveksles mellom andre systemer og KI-systemet. Hvilken skalerbarhet KI-systemet har med tanke på antall brukere eller bruk, og eventuelle krav om testmiljøer kan inkluderes. Her vises det ofte til virksomhetens standarddokumenter, eller tilsvarende internasjonale eller norske standarder og tekniske godkjenninger.

KI-modeller kan benyttes både lokalt på egne servere og i sky. Benytter man seg av skyløsninger er det viktig å kravstille i henhold til gjeldende anbefalinger (ehelse.no).  

Krav til sikkerhet

De fleste virksomheter i helse- og omsorgssektoren vil være forpliktet til å følge Normen (Norm for informasjonssikkerhet og personvern i helse- og omsorgssektoren (ehelse.no)). De tiltakene som er beskrevet i Normen og er viktige for å sikre digitale systemer generelt, er også viktige i beskyttelsen av KI-systemer.

Virksomheten må stille krav om at leverandøren har hensyntatt de spesielle utfordringene og truslene knyttet til KI-systemer. Normen har publisert en artikkel om sikkerhet i KI-systemer (ehelse.no) og MITRE ATLAS™ er en oversikt over sikkerhetstrusler for KI-systemer.

ENISA peker på følgende trusler i KI-livsløpet:

• Unnvikelse (eng: evasion): KI-systemer kan ofte lures på nye måter, eksempel ved at angriper benytter spesielle inngangsverdier (eng: adversarial examples, prompt injections). 
• Forgiftning (eng: poisoning): Angriper påvirker treningsdata eller KI-modellen slik at oppførselen til systemet blir påvirket i en bestemt retning. 
• Lekket informasjon om treningsdata eller KI-modell: En angriper får hentet ut informasjon om KI-modellen, slik som konfigurasjon, parametre og treningsdata 
• Kompromitterte komponenter i KI-systemet: Angriper kompromitterer en komponent, for eksempel ved å utnytte sårbarheter i open-souce-biblioteker som KI-systemet benytter.
• KI-systemet feiler: Hele KI-systemet feiler, for eksempel ved en feil eller ved at en angriper klarer å ta ned KI-systemet.