Produsenter av KI-systemer vil som utgangspunkt være pliktig til å foreta grundige risikovurderinger før de plasserer KI-systemer med høy risiko på markedet. Helsevirksomhetene som tar i bruk KI-systemer, må foreta egne vurderinger av risiko i egen virksomhet basert på risikoen som KI kan utgjøre i samvirke med virksomhetens andre systemer, prosedyrer og personell.
Selv om man tidlig i prosessen ikke har nok informasjon til å gjøre en grundig risikovurdering av de KI-systemene som kan være aktuelle, er det viktig å identifisere eventuelle betydelige negative effekter som bruk av et KI-system kan gi. De kan gjøre at ulempene er større enn fordelene. Aktuelle vurderingspunkter er:
- om den ivaretar kravet om forsvarlige tjenester
- hva det vil gjøre med kompetansen i virksomheten
- om det vil medføre overforbruk av helsetjenester
- om det vil påvirke pasientsikkerheten
- om det vil kunne medføre diskriminering [19]
- om det vil kunne medføre en risiko for personvernet
Anskaffelse av et KI-system som allerede er tatt i bruk i andre tilsvarende virksomheter med gode resultater, vil normalt kunne være mindre risikofylt enn å anskaffe et helt ukjent KI-system.