Bakgrunn
HOD har gitt Helsedirektoratet i oppdrag at «som en del av videre arbeid skal etatene også vurdere hvilke risikoer store språkmodeller introduserer.» [62]
Beskrivelsen av dette tiltaket baserer seg på anbefalingen om tilgang til språkmodeller tilpasset norske forhold (5.1) i kunnskapsgrunnlaget om bruk av store språkmodeller.[63]
Hva er problemet
Bruk av store språkmodeller, særlig generative språkmodeller, gir varierende kvalitet som er vanskelig å teste og vurdere. Teknologien utvikler seg i svært høy hastighet. Det introduserer risiko for dårligere pasientsikkerhet, for eksempel feildiagnose eller feilbehandling, og brudd på personvern, men også for administrative og andre ikke-kliniske bruksområder. Det er både teknisk og psykologisk/menneskelig risiko, for eksempel. automatiseringsbias, samt risiko for økt tidsbruk for helsepersonell. Det er også risiko for at tjenesten går glipp av muligheter som kan gi bedre pasientsikkerhet, bedre diagnostikk og behandlingsplanlegging dersom tjenesten ikke tør eller venter for lenge med å ta i bruk store språkmodeller.
Det mangler kompetanse og kunnskap om risikoer som de ulike bruksområdene introduserer. Det er allmenne metoder for å vurdere risiko, men disse er i liten grad anvendt på språkmodeller i helsesektoren. Det mangler også oversikt over hvilken type risikoer som er forbundet med bruk av språkmodeller.
Siden utviklingen av språkmodeller skjer i akselererende tempo, er det økende risiko for at slike systemer tas i bruk uten tilstrekkelig kvalitetssikring. Det er derfor viktig å gi høy prioritet til dette arbeidet med å innføre rammer for trygg bruk av språkmodeller i helse- og omsorgstjenesten.
Hva vil vi oppnå
Det er behov for å finne og/eller (videre)utvikle metoder og rammer for å gjøre systematiske risikoanalyser av store og for ulike typer språkmodeller for ulike bruksområder i helsesektoren. Disse bør bygge på standarder og generelle maler for risikoanalyser, men samtidig være dynamiske gitt den teknologiske utviklingen. Det er mulig at man trenger en differensiert tilnærming med flere ulike metoder og rammer.
Rammene for risikovurdering bør innføre en risikoanalyse av bruken av språkmodeller på de ulike områdene.. Metodene bør være robuste, balansere risiko og nytte, og inkludere risikoreduserende tiltak som maksimerer nytteverdien. Å inkludere suksesshistorier i veiledningsmateriellet kan være nyttig for å forstå hva som kan bidra til positive utfall. For å få balanserte vurderinger bør det oppfordres til tverrfaglige vurderinger.
Hva skjer på området
Det er ingen nasjonale initiativer med hensyn til systematisk arbeid med risiko ved bruk av store språkmodeller i helse- og omsorgstjenesten.
Flere regelverk, som helselovgivningen, KI-forordningen (vedtatt, men ikke trådt i kraft), Personvernforordningen og regelverket for medisinsk utstyr gir føringer for hvordan vurderinger av både risiko og kvalitet bør/skal/må gjennomføres.
Hvordan få det til
For en dypere forståelse av hvilke risikoer store språkmodeller introduserer dersom de skal brukes i helse- og omsorgstjeneneste, skal det utarbeides en rapport som tar opp følgende tema på et overordnet nivå:
- Peker på relevante typer og grader av risikoer for bruk av språkmodeller, basert på internasjonale erfaringer og forskning, inkludert personvern og informasjonssikkerhet.
- Identifiserer risikodempende og kvalitetsøkende tiltak. I dette ligger det også akseptert nivå av feil/bias osv. for offentlige tjenester.
- For eksempel, vurdere å etablere en trappetrinnstilnærming til risiko ved bruk av språkmodeller på ulike bruksområder: begynne med laveste trappetrinn med lavest risiko, for eksempel. administrative oppgaver
I tillegg bør sektoren bygge kompetanse om risikoanalyser ved å teste ut, tilpasse og anvende metoden(e) på ulike bruksområder og ved hjelpe av ulike typer språkmodeller.
Hvem er ansvarlig
Helsedirektoratet
Hvem samarbeider
Fag- og FoU-miljø innen KI og språkteknologi (inkludert Nasjonalbiblioteket), sentrale forvaltningsorgan (inkludert Digitaliseringsdirektoratet og Datatilsynet), helse- og omsorgstjenesten og næringslivet gir innspill i arbeidet.
[62] Tildelingsbrev 20204-34: