Ein stor språkmodell (large language model (LLM)) er ein statistisk modell av eit språk som nyttar seg av ulike teknikkar innan fagområda KI og språkteknologi. Modellen er ei sannsynsfordeling over sekvensar av ord, og han kan brukast til å analysere og generere tekst basert på naturleg språk[4]. Ein stor språkmodell blir trena på enorme mengder tekstdata som innputt (vanlegvis frå internett, bøker og artiklar) som blir prosessert ved hjelp av reknekraft og maskinlæringsarkitektur[5], sjå figur 1. Språkmodellar er i stand til å kjenne att mønster i språket og dimed tolke, skape og føreseie nytt innhald. Omgrepet "stor" viser hovudsakleg til talet på parameterar og omfanget av data han er trena på. Parameterar i denne samanhengen er dei interne variablane i modellen som blir justerte gjennom treningsprosessen for å læra seg mønster i språkdata han er eksponert for.
Ein trena språkmodell blir brukt som del av ein applikasjon eller ei nettside, og kan brukast for eksempel på ein PC eller i ein mobiltelefon. I applikasjonen/nettsida blir data frå brukssituasjonen brukt som innputt.
Slike store språkmodellar er generelle, dvs. dei er ikkje knytt til eit bestemt fag- eller bruksområde. Dei blir difor ofte kalla for grunnmodellar (foundation models).
Den såkalla transformer-teknologien[6] er ein type arkitektur som har ført til eit paradigmeskifte for språkmodellar og kunstig intelligens, særleg i kjølvatnet av den publiserte artikkelen «Attention Is All You Need» av Vaswani o.a. i 2017. Språkmodellar blei etter dette langt meir effektive og dei kunne nyttast til fleire oppgåver.
Ein kan skilje mellom generative og ikkje-generative språkmodellar. Ein generativ språkmodell kan i tillegg til å lese tekst, produserer ny tekst. Det det mest kjende dømet er GPT-modellen som ligg til grunn for ChatGPT. Andre store, internasjonale generative språkmodellar er franske Mistral, tyske Aleph Alpha og Gemini og LLaMA frå amerikanske Google og Meta.
Ikkje-generative språkmodellar er annleis ved at dei leser og analyserer innputtdata til t.d. kategorisering, men dei produserer ikkje ny tekst. Dei såkalla BERT-modellane er eit døme på det. Ein generativ språkmodell vil krevje langt større mengder innputtdata og reknekraft enn ein ikkje-generativ språkmodell. I tillegg finst det ein tredje type språkmodell som kombinerer desse to modellane: den såkalla enkodar-dekodar-modellen (t.d. T5-modellen). Han kombinerer generative og ikkje-generative eigenskapar og kan brukast til dømes til kategoriseringsarbeid og maskinomsetjing.
Det finst i dag fleire ferdigutvikla store språkmodellar basert på BERT-teknologien[7] i Noreg. I tillegg finst det to initiativ frå etablerte fagmiljø til å etablere ein stor norsk generativ språkmodell: Norwegian Artificial Intelligence Research Consortium (NORA) og Norwegian Research Center for AI Innovation (NorwAI). NorwAI testar ut to ulike tilnærmingar, både gjennom å byggje opp ein norsk språkmodell frå botn og gjennom å vidareutvikle internasjonale modellar (både amerikansk og europeisk arkitektur). NORA har søkt Forskningsrådet om å setje i gang med å byggje ein norsk språkmodell frå botn frå 2025. Begge initiativa legg opp til finjustering for helseføremål (sjå under). I tillegg finst det private initiativ, som t.d. Norsk GPT[8].
Språkmodellar kan vere unimodale (dvs. trena på éin type data, t.d. tekst) eller multimodale (dvs. trena på fleire typar data, t.d. tekst, tale, bilete og genomdata). Multimodale modellar har fått større merksemd i det siste, også på helsefeltet[9]. Det gjer det mogleg å nytte ulike typar data for t.d. avgjerdsstøtte (beslutningsstøtte), jf. kap. 3. NORA-initiativet har som mål å undersøkje multimodalitet i ein mindre skala.
Språkmodellar kan vere opne eller lukka. Opne språkmodellar har dokumentert og gjort programmeringskodar tilgjengelege. Dei er enklare å finjustere utan avtalar med eigarane av modellane og det kostar ofte ingenting å byggje tenester på dei. Lukka språkmodellar er det er derimot lite gjennomsiktige, det er vanskelegare å finjustere dei og det kan koste pengar å byggje tenester på dei.
[5] Slike maskinlæringsmetodar omfattar til dømes maskering/skjuling av ord i setningar (masked language modelling) eller prediksjon av neste setning (next sentence prediction).
[7] Språkteknologigruppa (LTG) ved Universitetet i Oslo har utvikla NorBERT-modellen som kjem i fleire storleikar og som er open tilgjengeleg, i tillegg til ein norsk T5-modell. Vidare har AI-labben ved Nasjonalbiblioteket utvikla NB-BERT, som også er open tilgjengeleg.