Vedlegg A: Døme på risikoar ved bruk av store språkmodellar

Dette vedlegget listar opp utfordringane og risikoane som har kome fram i arbeidet med dette kunnskapsgrunnlaget. Utfordringane og risikoane vil bli tydeleggjort i det vidare arbeidet med store språkmodellar i etatane, som felles KI-plan for helse- og omsorgstenesta.[54]

A.1 Utvikling og finjustering av språkmodellar

• Tilgang til og kvalitet på treningsdata:
  • Tilstrekkeleg mengder treningsdata
  • Treningsdata som har høg nok kvalitet
  • Treningsdata som er oppdaterte og komplette
  • Treningsdata på norsk, både bokmål og nynorsk, og andre skandinaviske språk i tillegg til nord-samisk.
  • Treningsdata med rettsleg grunnlag og lovleg tilgang
  • Treningsdata som ikkje strir mot opphavsrettar (IPR)
  • Treningsdata i tråd med personvern (der sensitive data er nytta for trening), i kva grad kan den trena modellen lekke sensitive treningsdata
  • Treningsdata som ikkje er manipulert av aktørar som ynskjer å påverke åtferda til ein språkmodell (forgiftingsåtak (poisoning attacks)
• Datakraft
  • Tilgang til nok maskinkraft til å trene eller finjustere språkmodellar
  • Økologisk avtrykk frå svært høgt energiforbruk ved dataprosessering i utvikling og finjustering av språkmodellar
• Kostnad, nytte og risiko
  • Kva kostnadar vil utvikling av språkmodellar medføre?
  • Kven skal bære kostnadane?
  • Kva er forretningsmodellen til leverandørar av «gratis» verktøy?
• Validering
  • Mangel på metode for evaluering og testing av språkmodellar og tilhøyrande teknologi som t.d. RAG
  • Tilgang til evalueringssett i norsk helsefagleg språk. Slik kan ein seie noko om ytinga til modellane. Det er mogleg at slike evalueringssett kan bli tilgjengelege ved tilpassing av medisinske eksamenar for engelsk til norsk.
  • Korleis gjere CE-merking av språkmodellar
• Oversikt
  • Mangel på oversikt over lokale og regionale initiativ
• Teknologisk kompleksitet
  • Trening av språkmodellar er så kompleks at det blir vanskeleg å forstå eller gjere greie for avgjerdsgrunnlaget til språkmodellen
  • Teknologien endrar seg raskt, og det er vanskeleg å planleggje på lengre sikt

A.2. Bruk av språkmodellar

• Kvalitet
  • Kva er faren for at generative språkmodellar hallusinerer?

Det er framleis fare for at generative språkmodellar hallusinerer og skaper uriktig informasjon. Språkmodellane er framleis på teststadiet og enno ikkje klare for innføring.

Dersom ein generativ språkmodell hallusinerer, kva er mogelegheita for systemet og/eller brukarane av systemet til å oppdage dette så ikkje feilen forplantar seg vidare?

• • I kva grad gjev generative språkmodellar relevante og spesifikke nok svar?
  • I kva grad vil ny, oppdatert kunnskap bli vekta høgt nok samanlikna med utdatert kunnskap (static knowledge vs. dynamic knowledge)
  • Kva konsekvensar har det at ein og same språkmodell gjev ulike svar for den same instruksen, t.d. spørsmål (reproducability)?[55]
• Yting/infrastruktur
  • Vil ein kunne køyre språkmodellane med akseptabel hastigheit?
  • Vil ein kunne tilpasse språkmodellane svingingar blant mange samtidige brukarar?
• Kultur
  • Er helsefaglege språkmodellar tilstrekkeleg tilpassa norsk helsefagleg kultur og praksis?
• Bias
  • Gjev språkmodellar like gode tenester/svar til ulike delar av samfunnet (kjønn, etnisitet, klasse)? Vil språkmodellar diskriminere?
  • Vil innføring av språkmodellar føre til mindre likebehandling? Eller meir?
  • Reproduserer språkmodellar stereotypar, t.d. innan psykisk helse?
• Etikk
  • Kva etiske og moralske problemstillingar vil språkmodellar medføre?
• Transparens
  • I kva grad er treningsdata og treningsmetodar for ein språkmodell gjort opne?
  • I kva grad er programmeringskodene for utviklinga av modellen, opne?
  • I kva grad er det mogleg å forstår kvifor ein språkmodell gjev eit gitt resultat (svart boks-problemet)
  • Kva konsekvensar får dei nye EU-krava knytt til transparens i språkmodellar, især modellar med stor innverknad (high impact foundation models)?
• Ansvar
  • Vil innføring av språkmodellar endre ansvarleggjeringa av helsepersonell? Kven har ansvaret dersom språkmodellar fører til feil?
  • Vil bruken føre til ein slags kunnskapseksternalisering slik at ein på sikt mister evner til å resonnere, tenkje nytt, kreativt eller kritisk?
  • I kva grad vil pasientane vite at avgjerder er blitt tekne på grunnlag av språkmodellar?
• Kompetanse
  • Har helsepersonell tilstrekkeleg kompetanse til å sjå moglegheitene og risikoane ved innføring av språkmodellar?
  • Har helsepersonell tilstrekkeleg kompetanse til å nytte tenester basert på språkmodellar?
• Aksept
  • Kva haldningar finst det til språkmodellar blant helsepersonell?
  • Kva haldningar finst det til språkmodellar blant innbyggjarar?

• Gevinstrealisering
  • Korleis kan ein måle kost-nytte og gevinstrealisering ved språkmodellar?
• Rett bruk og misbruk:
  • Er bruken av språkmodellen i tråd med det den er trent til?
  • Er det tenkt gjennom korleis språkmodellen kan misbrukast (kan den til dømes lurast til å gi ut informasjon det ikkje er ynskjeleg at den gir ut, slik som sensitiv informasjon, informasjon som kan misbrukast og informasjon om modellen og instruksjonar (prompt injection attacks)? Finst det tiltak som hindrar at språkmodellen blir misbrukt, og har det blitt vurdert kor lett det er å omgå desse restriksjonane?
  • Er språkmodellen sårbar for innputt som det krev mykje ressursar å prosessere, og som dermed kan hindre god yting i systemet?
• Kontroll på informasjon:
  • Ved bruk av språkmodellen, vil ein måtte dele mykje informasjon (typisk gjennom innputt til modellen) med ein eller fleire andre aktørar? Ynskjer ein å dele denne type informasjon, og kan den overførast på ein trygg måte?

Dersom ein nyttar kunnskapsbasering (RAG), har ein kontroll på dei eksterne kjeldene som blir brukt, at dei er av god kvalitet og ikkje kan endrast av aktørar som ynskjer å påverke språkmodellen (indirect prompt injection attack).

A.3 Forvaltning av språkmodellar

• Forvaltningsregime
  • Bør språkmodellar forvaltast sentralt, eller i form av ein distributiv modell, sjå kapittel 1.5?
  • Treng vi nasjonal forvaltning til nokre typar bruk?
• Maktkonsentrasjon
  • Vil innføring og bruk av språkmodellar føre til større maktkonsentrasjon blant teknologiske leverandørar (vendor lock-in) og monopolliknande tilstandar? Kva med kunnskapskonsentrasjon, dvs. at nokre få aktørar styrer tilgang til helsefagleg kunnskap ?
• Kompetanse
  • I kva grad har styresmakter tilstrekkeleg kompetanse til å regulere språkmodellar?
• Svart boks og risiko

Det finst mange generelle språkmodellar som kan nyttast som grunnmodell og tilpassast til bruk i helse- og omsorgssektoren. Men det kan vere vanskeleg å få tak i kunnskap om kvalitet og risiko i dei ulike grunnmodellane, og kunne samanlikne dei ulike alternativa. Bruk av ein ope tilgjengeleg språkmodell som grunnmodell kan gjere systemet meir utsett for åtak sidan åtakarar kan nytte den opne modellen for å finne effektive åtak, og så overføre desse åtaka til den tilpassa modellen