Innledning

Bakgrunn

I Nasjonal helse- og samhandlingsplan for 2024-2027 (Samhandlingsplanen) understrekes det at KI vil kunne utgjøre et betydelig bidrag til en bærekraftig utvikling av vår felles helsetjeneste.

I samhandlingsplanen slås det fast at det er et stort potensial for å etablere en mer hensiktsmessig oppgavedeling og organisering av arbeidsprosesser i helsetjenestene. [2] Det påpekes at det kontinuerlig må vurderes om oppgaver kan løses på andre og mer personellbesparende måter, for eksempel ved bruk av kunstig intelligens, ved å automatisere arbeidsoppgaver og endre arbeidsprosesser som tidligere er gjort manuelt. Det forventes videre at kunstig intelligens og annen personellbesparende teknologi vil kunne bidra til at vi kan opprettholde kvaliteten i tjenesten i årene framover, i tillegg til at det kan bidra til å redusere ventetidene på de stedene der det er tatt i bruk i dag.

Helsepersonellutvalgets rapport Tid for handling mener at hovedprioriteringen for helsepolitikerne i årene fremover bør være å utvikle tiltak og investere i løsninger som gir lavest mulig personellvekst i helse- og omsorgstjenestene. Her kan KI spille en viktig rolle, noe som også påpekes i rapporten, og det hevdes videre at "[D]en digitale transformasjonen kjennetegnes av rask utvikling av nye teknologier, som fortsatt er i en rivende utvikling og som gir store muligheter. Kunstig intelligens og persontilpasset medisin er eksempler på slike, som har gitt og kan gi helt nye typer helsetjenester, og måter å jobbe på. Hvis dette skjer, vil også nye typer jobber oppstå og også behov for nye typer kompetanse- og kunnskapsbehov".[3]

Regjeringen vil gjennom den såkalte KI-milliarden etablere inntil seks nye forskingssenter for KI i løpet av 2025. Flere helsemiljøer har tatt initiativ til å søke, men det er ikke gitt at det vil opprettes forskningssentre på helseområdet.[4]

Regjeringen ønsker gjennom Nasjonalt veikart for helsenæringen å fremme og styrke helsenæringen i Norge. Kunstig intelligens kan er ett av flere relevante satsningsområder.[5]  

Digitaliseringsdepartementet har varslet at det vil publisere en digitaliseringsstrategi etter sommerferien 2024. Digitaliseringsministeren har også signalisert at den vil omhandle ambisjoner knyttet til å ta i bruk kunstig intelligens, også på helseområdet. Hun har også uttalt at innen 2025 skal 80 prosent av offentlig sektor ta i bruk kunstig intelligens (KI).[6]

Digitalisering, herunder kunstig intelligens, er også høyt på agendaen i EU som utvikler og gjennomfører politikk gjennom strategier som EUs Digital Decade Strategy, og som igangsetter en rekke planer, lovendringer og programmer for å understøtte ambisjonene i strategiene.[7]

Om oppdraget

I tildelingsbrevet for 2024 ber Helse- og omsorgsdepartementet (HOD) Helsedirektoratet (Hdir) om å videreføre arbeidet med å legge til rette for trygg innføring av KI i helse- og omsorgstjenesten i samarbeid med Direktoratet for medisinske produkter, Helsetilsynet, Folkehelseinstituttet, de regionale helseforetakene og KS på egnet vis. Helsedirektoratet skal lede arbeidet.[8]

I oppdraget står det at arbeidet skal bidra til økt bruk av KI-løsninger som er trygge og som bidrar til helsetjenester av like god eller bedre kvalitet, og til å frigjøre tid hos helsepersonell. 

Departementet ber etatene fortsette arbeidet med:

• støtte og veiledning knyttet til validering av løsninger, for å sikre trygg innføring av KI. 
• tverretatlig veiledning og oppdaterte informasjonssider, som gjør det enklere for tjenesten og andre aktører å navigere i regelverk og veiledning.
• vurdere hvilke risikoer store språkmodeller introduserer, og identifisere tiltak for å sikre at helse- og omsorgstjenesten har tilgang på språkmodell(er) som er tilpasset norske forhold.

Videre ber HOD aktørene om å:

• utarbeide en felles plan for hvilke tiltak som bør gjennomføres av hvilke aktører i 2024 og 2025 for å understøtte behovene i kommuner og helseforetak. Departementet ber om at Helsedirektoratet i samarbeid med de andre aktørene leverer sitt forslag til felles plan innen 1. juli 2024.
• det vises til det nasjonale koordineringsprosjektet Bedre bruk av kunstig intelligens i helse- og omsorgstjenesten og sluttrapport av 15. oktober 2023.⁴ 

Relevante oppdrag til andre aktører er gitt i vedlegg 1. Til sammen gir KI-planen og oversikten over andre oppdrag en god samlet beskrivelse av hvilke aktører som har ansvar for hvilke tiltak.

Om anbefalinger fra sluttrapporten fra koordineringsprosjektet for KI

Helse- og omsorgstjenesten har begynt å ta i bruk kunstig intelligens. Arbeidet i det nasjonale koordineringsprosjektet for kunstig intelligens (koordineringsprosjektet for KI) viste at det fortsatt er behov for tett samarbeid mellom aktørene i helse- og omsorgssektoren. Dette gjelder spesielt for strategiske temaer, slik at tiltak og initiativer kan sees i sammenheng. Målet med samarbeidet er å sikre at sektoren har en felles forståelse av muligheter og utfordringer. Videre vil utvikling og bruk av KI-systemer kreve at hele sektoren, inkludert myndighetene, kan regulere, kontrollere, legge rammer og kvalitetssikre bruken av kunstig intelligens i helse- og omsorgstjenesten. Det er viktig at aktørene i den offentlige helse- og omsorgssektoren samarbeider, er informert og har en felles forståelse, slik at de kan ta i bruk kunstig intelligens på en trygg og effektiv måte.

Styringsgruppen for koordineringsprosjektet anbefalte områder som bør fortsette og nye områder som bør konkretiseres, i sin sluttrapport i oktober 2023.[9] Disse anbefalingene ligger til grunn for arbeidet med å utarbeide denne planen.

Om felles KI-plan for helse- og omsorgstjenesten

Styringsgruppen i koordineringsprosjektet for KI er i all hovedsak videreført som et KI-råd for dette oppdraget. Et samlet KI-råd stiller seg bak planen.

Felles KI-plan for helse- og omsorgstjenesten (denne rapporten) beskriver:

• Videreføring av arbeid med å legge til rette for trygg innføring av KI i helse- og omsorgstjenesten i samarbeid med de andre etatene er i all hovedsak beskrevet som igangsatte aktiviteter i rapporten.
• Anbefalinger om nye aktiviteter har tatt utgangspunkt i anbefalingene i sluttrapporten fra koordineringsprosjektet for KI, og er bearbeidet og tydeliggjort i dialog med involverte aktører.

Bruk og utvikling av KI-baserte tjenester skjer svært raskt. Det har derfor vært nødvendig å velge et format på planen som sikrer tilstrekkelig fleksibilitet og aktualitet. Det foreslås derfor å gjennomføre en rekke temabaserte seminarer med bred involvering og spisset agenda, for å sikre at arbeidet er relevant og aktuelt.

Felles KI-plan er drøftet i flere omganger KI-rådet.[10] Helse- og omsorgssektoren har drøftet og gitt innspill til en tidlig versjon av planen på innspillsmøte 23. mai 2024, og i perioden 16. til 31. mai var det mulig for aktører å gi skriftlige innspill på den samme versjonen. Planen har også vært presentert og drøftet i NUIT (Prioriteringsutvalget) og Nasjonalt e-helseråd (som er nasjonale forumer i Nasjonal rådsmodell for e-helse[11]).

Anbefalingene er forankret i ledelsen i Helsedirektoratet, som er avsender av planen.

Mål med planen

Til sammen skal aktivitetene i felles KI-plan for helse- og omsorgstjenesten bidra til å oppnå målet om å øke bruken av KI-løsninger som er trygge og bærekraftige, bidrar til helse- og omsorgstjenester av like god eller bedre kvalitet, effektiviserer ressursbruken og frigjør tid hos helsepersonell.[12]

Overordnet retning for planen

Basert på innspill fra sektoren, fra møter med NUIT og Nasjonalt e-helseråd (i Nasjonal rådsmodell for e-helse) og arbeid i KI-rådet anbefales følgende hovedretning for felles KI-plan for 2024-2025:

Understøtte behovene i primær- og spesialisthelsetjenesten

Tiltakene i planen skal understøtte behovene i kommuner og helseforetak. Involvering av pasienter og helsepersonell i utvikling og implementering av KI-løsninger vil bidra til at relevante områder velges for bruk av KI.

Helsefaglig forsvarlig, etisk og trygg bruk

Helsefaglig forsvarlig, etisk og trygg bruk av kunstig intelligens (KI) i helse- og omsorgstjenesten er avgjørende for å sikre tillit til KI-bruk blant de som jobber i helse- og omsorgstjenesten og hos innbyggere, pasienter og pårørende. KI har potensial til å forbedre helsevesenet betydelig, likevel kan feil eller misbruk av KI-teknologier ha alvorlige konsekvenser for pasienters helse og sikkerhet. Etisk bruk sikrer at teknologiene anvendes på en måte som beskytter pasientenes rettigheter og velferd. Det er for eksempel viktig å oppdage og forhindre skjevheter (bias) i KI-systemer. Algoritmer kan utilsiktet lære og forsterke eksisterende skjevheter fra de dataene de trenes på, noe som kan føre til urettferdige behandlingsutfall for visse grupper av pasienter. Helsefaglig forsvarlighet, etisk og trygg bruk av KI er også nødvendig for å fremme innovasjon på en ansvarlig måte.

Økt bruk av KI

KI-planen legger vekt på tiltak som vil kunne lette innføring av og øke klinisk KI-bruk. Klinisk KI-bruk er ofte forbundet med risiko, og vil derfor ha stort behov for risikoreduserende tiltak for å sikre trygg bruk.

Det er imidlertid et stort potensial for å bruke KI til administrative funksjoner. Eksempler på dette kan være dokumentasjon, rapportering, turnusplanlegging, hjelp til tekstoppsummering- og generering, planlegging og logistikk. Slike bruksområder med lav risiko, kan gi høy gevinst og ofte implementeres raskt. Det er viktig at også slik KI-bruk blir vurdert, og relevante initiativer blir igangsatt, for på den måten bidra til å løse mange av utfordringene i helse- og omsorgstjenesten. 

For å oppnå utbredt bruk av KI i helsesektoren, må vi anerkjenne at mekanismene for innføring er forskjellige avhengig av konteksten og anvendelsesområdet. Store sykehus har ofte bedre tilgang til ressurser og avansert infrastruktur, noe mindre klinikker og kommunale tjenester har i mindre grad.  Det er viktig å utvikle tilpassede fremgangsmåter for implementering som tar hensyn til disse forskjellene, samt å sikre at alle helsetjenester har tilgang til nødvendig støtte og veiledning.

Bruk av kommersielle KI-produkter

Anskaffelse og det å kunne ta i bruk kommersielle KI-produkter, er den antatt raskeste veien for å ta i bruk og hente ut gevinster med KI i helsetjenesten. Norge har også uttalte ambisjoner om å forske på KI og å utvikle kommersielle KI-produkter for helsesektoren.  Denne planen vil legge mindre vekt på forskning og utvikling av KI-produkter.

Beregne og realisere gevinster

Helse- og omsorgstjenesten må kunne beregne og realisere gevinster. Det legges vekt på tiltak som tydeliggjør og synliggjør gevinster, for eksempel gjennom å legge til rette for å lære av andre, inkludert andre samfunnssektorer og andre land.

Øke kompetanse

Økt kompetanse om digital transformasjon ved bruk av KI er en viktig forutsetning for å oppnå nødvendig tillit, og å ta i bruk de mest hensiktsmessige løsningene. Det gjelder både for ledere, personer som jobber i helse- og omsorgstjenesten og for innbyggere og pasienter.

Europeisk samarbeid

EU legger allerede betydelige føringer på KI-området gjennom sine strategier, lovgivning, programmer og finansieringsordninger. Å tilrettelegge for europeisk og nordisk samarbeid er viktig slik at norske miljøer både kan tilpasse seg, bidra inn i relevant arbeid og dra nytte av erfaringer, ressurser i EU og de nordiske landene. 

Tydelige myndigheter

Fra myndighetssiden er tydelige rammeverk, felles retningslinjer, veiledning, veiledere, standarder og kompetanse viktig for å bygge tillit og tilrettelegge for trygg og effektiv bruk av KI i helse- og omsorgstjenesten.

Hvordan er planen lagt opp

Helse- og omsorgstjenesten har allerede tatt i bruk KI, og er opptatt av å bredde og skalere vellykket bruk. Start-up selskaper og andre kommersielle selskaper lanserer fortløpende produkter som bruker KI for å for eksempel effektivisere arbeidshverdagen til helsepersonell. Flere og flere KI-løsninger blir også tilgjengelig slik at innbyggere, pasienter og pårørende i større grad kan håndtere helserelaterte spørsmål og oppgaver selv, eventuelt i samarbeid med helse- og omsorgstjenesten. 

På grunn av denne dynamikken, der både fagområdet KI og bruk av KI går raskt, bør gjennomføringen av felles KI-plan ha en smidig tilnærming, slik at den holdes aktuell og fleksibel.  Aktiviteter vil bli prioritert opp og igangsatt jevnlig, basert på anbefalte temaer og områder som er beskrevet i denne rapporten, samtidig som nye temaer kan prioriteres i takt med nye eller endrede behov. Dette forutsetter stor grad av fleksibilitet hos deltakerne i planen.

En slik smidig tilnærming er utfordrende å få til med dagens organisering og beslutningsprosesser i helse- og omsorgssektoren. Noen tiltak vil kunne igangsettes smidig, for eksempel som linjeaktiviteter hos de aktuelle aktørene, der ressursallokering gjøres internt. Større tiltak vil måtte følge eksisterende prioriterings- og beslutningsprosesser, og vil følgelig ta lengre tid å starte opp og få allokert ressurser til. 

Prioritering av nye aktiviteter kan drøftes i KI-rådet og eventuelt i Nasjonal rådsmodell for e-helse.

Områdene i planen har følgende status:

• Igangsatt er delprosjekt eller forvaltningsoppgave som er ressurssatt av deltakende organisasjon(er).
• Prioritert er delprosjekt eller forvaltningsoppgave som har høyest prioritet per dags dato og som bør igangsettes.
• Anbefalt er anbefalt delprosjekt eller forvaltningsoppgave, men som ikke er prioritert foreløpig.

Planen slik den fremstår pr 1. juli 2024

Igangsatt

Prioritert

Anbefalt, som ennå ikke er prioritert

Innspill og drøftinger om planen

Oppsummerte innspill fra helse- og omsorgssektoren

Sektoren har gitt innspill til en tidlig versjon av felles KI-plan på et innspillsmøte 23. mai, og har gitt skriftlige innspill på den samme versjonen.

Innspillsmøte 23. mai

Mer enn 130 deltakere med bred sammensetning fra hele helse- og omsorgssektoren deltok fysisk på innspillsmøte 23. mai for å diskutere planen, i tillegg deltok mer enn 140 digitalt.[14] I møtet ble deltakerne spesifikt bedt om å gi innspill på kapitlene om Bruk av store språkmodeller (5), Styrke kompetanse på KI (6) og Rammer for bruk av KI (4) i helse- og omsorgstjenesten.

Oppsummert kom følgende innspill:

Bruk av språkmodeller må inkludere risikovurderinger, og disse tilpasses de respektive bruksområder. Det ble anbefalt å begynne med "lavthengende frukter". Det er viktig å legge til rette for bruk for norske forhold og norsk helsetjeneste. Gruppene påpekte også at språkmodeller kan ha en rekke bruksområder, med varierende grad av kompleksitet og risiko. Det bør etableres forum for deling av erfaring. God bruk av språkmodeller forutsetter tilstrekkelig kompetanse, dette må inn i helsetjenesten, helseutdanningene og helselederutdanningene.

Kompetanse knyttet til KI på helsefeltet omfatter kompetanse hos ledere, ansatte i helsetjenesten og befolkningsrettede tiltak. Kompetanse må knyttes til aktuelle bruksområder, og gjerne til kost/nytte-vurderinger. Tverrfaglighet er viktig. En bør ofte søke å begynne med enklere oppgaver, bygge på dem, for så å utvikle kompleksiteten gradvis. Kompetansebehovene vil endre seg fortløpende som følge av nye løsninger som utvikles eller tas i bruk.

Rammer for bruk av KI i helse- og omsorgstjenesten. På dette området bør det legges til rette for erfaringsutveksling, nasjonalt, regionalt og lokalt – og tverrsektorielt. Flere fremmet forslag om å ta tak i de "lavthengende frukter først", med særlig fokus på det som skjer etter at et KI-system er tatt i bruk. Det ble videre pekt på store behov for (nasjonal) koordinering rundt standarder, infrastruktur, tilgang til data og ulike typer data, rettigheter og validering. Utfordringene er mange, en må derfor prioritere. Det kom også innspill om å se på vurdering og realisering av gevinstpotensial og finansieringsløsninger.

Skriftlige innspill fra sektoren

Sektoren har gitt 20 skriftlige innspill på den samme versjonen av planen (frist 31. mai). En rekke av disse er overlappende med tilbakemeldinger fra NUIT og innspillsmøtet. Dette gjelder blant annet behov for finansiering, arenaer for samarbeid og erfaringsutveksling, forskjellen på å løse administrative og kliniske oppgaver, og innkjøp og egenutvikling.

Viktigheten av å involvere brukerne av løsningene gjennom utviklings- og implementeringsløp ble påpekt av flere. Dette omfatter både pasientens og de ansattes opplevelser og erfaringer. Det ble eksplisitt kommentert at man må involvere ansatte i valg av hvilke arbeidsprosesser som skal støttes av KI, og i utprøving, testing og validering av KI-verktøy. Det har også kommet helt konkrete forslag som involverer de regionale helseforetakene.

Oppsummerte innspill fra møtet i Nasjonal rådsmodell for e-helse

De samme innsatsområdene som ovenfor ble drøftet i NUIT (Prioriteringsutvalget) og i Nasjonalt e-helseråd, som er del av Nasjonal rådsmodell for e-helse.[15]

Innspill fra NUIT (Prioriteringsutvalget)

En tidlig versjon av planen ble behandlet i NUIT 15. mai 2024.

Generelt stiller NUIT seg bak de foreslåtte tiltaksområdene, men mente at de ikke er fullt ut dekkende. Det ble påpekt at en kunne være noe mer offensiv og finne flere gode anvendelsesområder og nye muligheter. Samtidig ble behovet for å prioritere og spisse fokuset løftet frem, gjerne knyttet til de oppdragene som er gitt. Det ble også fremholdt at det er mange juridiske utfordringer ved bruk av KI i klinisk praksis. Det ble derfor foreslått å se nærmere på bruk av KI til administrative oppgaver, noe som også vil frigjøre tid for helsepersonell. Det er stort behov for å videreutvikle den etablerte veiledningstjenesten. Behovet for tett brukerinvolvering fra innbyggere og pasientforeninger ble understreket. Flere og flere helseteknologiløsninger har KI innebygget. Mange kommuner er små, slik at felles tilnærminger til bl.a. gevinster, risiko og anskaffelser er viktig. Her kan allerede etablerte erfaringsstrukturer, som Digi-nettverkene, spille en rolle. Det ble avslutningsvis påpekt at KI ikke må tas i bruk på bekostning av nødvendig helsefaglig forsvarlighet og nødvendig testing, validering med mer.

Innspill fra Nasjonalt e-helseråd

En tidlig versjon av planen ble presentert og drøftet i Nasjonalt e-helseråd 13. juni 2024.

Områder som etikk, risiko, personvern, opplæring, og implementering av KI i helsesektoren ble løftet frem som viktig av mange. En utfordring som ble trukket frem av flere knytter seg til behovet for å tydeliggjøre usikkerhetene rundt KI og viktigheten av å etablere trygge rammer for innføring og bruk av KI. Dette vil kunne bidra til å opprettholde tilliten i befolkningen, spesielt blant barn og unge, som er bekymret for sitt personvern. Det ble understreket at etiske spørsmål må håndteres på en forsvarlig måte.

Behovet for å gjøre risikoanalyser og veiledningstjenester ble fremhevet som presserende. Det ble også trukket frem at tiltak rettet mot befolkningen er viktige for å adressere kunnskapsgapet om KI. Digital sikkerhet ble nevnt som et område som skaper usikkerhet og som burde ha blitt diskutert mer.

Noen tok til orde for behov for utvikling av en norsk språkmodell, tilpasset helse- og omsorgssektoren. Opplæring av innbyggere, ansatte og ledere om KI ble også ansett som nødvendig. Forskning og risikoanalyser er essensielle for å sikre at KI-løsningene er tilstrekkelig gode. Metodevurdering på nasjonalt nivå ble etterlyst for å sikre et solid kunnskapsgrunnlag, og det ble påpekt at en standardisert metode er nødvendig for godkjenning av KI.

Samlet sett reflekterte møtedeltakerne over utfordringer knyttet til etikk, risiko og personvern i forbindelse med KI, med et sterkt behov for klare retningslinjer, lovverk og veiledning for å sikre trygg bruk av KI i helsesektoren. Samarbeid på tvers av sektorer og etablering av robuste språkmodeller ble ansett som avgjørende for effektiv og trygg implementering av KI-teknologi.

Definisjoner brukt i planen

KI-system: Det finnes mange definisjoner av kunstig intelligens. Vi har valgt å lene oss på definisjonen til den europeiske KI-forordningen (oversatt fra engelsk): "Et KI-system er et maskinbasert system som er designet for å fungere med varierende nivåer av autonomi og som kan vise tilpasningsevne etter implementering. For eksplisitte eller implisitte mål, utleder systemet, fra inndata det mottar, hvordan det skal generere utdata som prediksjoner, innhold, anbefalinger eller beslutninger som kan påvirke fysiske eller virtuelle miljøer"[16].

KI-modell: Begrepet KI-modell brukes om programvare som er utviklet ved hjelp av trening på store datasett for å lære, ofte komplekse, mønstre og relasjoner. Etter trening kan modellen generalisere og utføre prediksjoner eller klassifiseringer på nye, ukjente data. En KI-modell vil normalt være en bestanddel i et KI-system. En KI-modell kalles også en algoritme (som er noe upresist siden alle dataprogrammer er algoritmer) eller en maskinlæringsmodell.

Kvalitetssikring: Kvalitetssikring er planlagte og systematiske aktiviteter som gjøres for å oppnå at et produkt eller en tjeneste vil oppfylle kravene til kvalitet. Kvalitetssikring er en del av en organisasjons kvalitetsstyring.[17] Før en KI-modell kan tas i bruk må den kvalitetssikres, noe som innebærer blant annet validering.

Validering: Validering brukes i denne rapporten om å bekrefte at KI-modellen yter som den er ment, for et bestemt tiltenkt formål.[18] Dersom KI-modellen har tiltenkt formål å diagnostisere brudd på et røntgenbilde av en ben, er det akkurat dette KI-modellen skal valideres for. Ved validering av KI-modeller er det derfor viktig at det "tiltenkte formålet" er klart definert.

Generativ kunstig intelligens: Maskinlæringsmodeller som kan generere unikt innhold basert på informasjonen de har blitt trent på. Dette innholdet kan være tekst, bilder, lyd og video. Selv om resultatene ofte er imponerende, er ikke systemene kreative i menneskelig forstand. Eksempler er ChatGPT og Bard som genererer tekst og Dall-E og Midjourney som genererer bilder.[19]

Finjustering (på engelsk fine-tuning) er en teknikk hvor en allerede forhåndstrent språkmodell trenes videre på et smalere eller oppgavespesifikt datasett for å løse en bestemt oppgave, eller for å tilpasse seg et miljø med spesifikt fagspråk. Dette kan for eksempel innebære å trene modellen på domsavsigelser for å oppsummere rettspraksis og gi juridiske råd, eller på helsedata for å avdekke mønstre i helsejournaler eller stille diagnoser.[20]

Løpende maskinlæring: Løpende læring ligner mer på menneskers måte å lære på: Hver gang vi opplever, ser eller lærer noe nytt, tilpasser vi modellene vi bruker til å tolke verden rundt oss. Det finnes flere teknikker for å sørge for at maskinlæringsmodellene kan lære av stadig nye data. Den første er å inkludere de nye dataene i settet med treningsdata, kjøre hele læringsalgoritmen på nytt, og oppdatere modellen som anvendes. Dette er ikke et problem med små datasett, men med dagens datamengder kan det kreve stor regnekapasitet, og koste tid, penger og energi. Andre metoder handler om å bruke de nye dataene til å justere på den modellen man allerede har. Dette er mye enklere, men har i noen tilfeller resultert i at de nye dataene får uforholdsmessig mye vekt, slik at modellen «glemmer» ting den egentlig hadde lært fra før.[21]

Bias oppstår når datasettene som brukes for å trene kunstig intelligente systemer bærer preg av historiske skjevheter, er ufullstendige eller inneholder feil. Det kan resultere i systematiske feil i modellens prediksjoner.[22]