Utviklingen av store språkmodeller
Store språkmodeller eller LLM’er har vært hos oss en stund og vært et gjennombrudd i måten vi bruker kunstig intelligens i det daglige. Når ChatGPT ble lansert var den bygget på GPT3.5 - en modell trent på et enormt datasett og består av hele 175 milliarder parameter. I 2023 ble dette tallet økt til utrolige 1.7 billiarder parameter ved GPT-4 når denne ble lansert. Både GPT-3.5 og GPT-4 er modeller som viser seg å kunne bistå og løse komplekse spørsmål og oppgaver.
I dag har man gjerne valget mellom GPT-3.5 Turbo og GPT-4 når man benytter ChatGPT. GPT-3.5 Turbo har fordelen med å være den minst ressurskrevende modellen og kan svare raskere. GPT-4 kan gjerne benyttes i mer komplekse oppgaver hvor man i mange tilfeller får et bedre svar på bekostning av responstid og ressursbruk.
Utfordringer:
Utfordringen med store språkmodeller er at de krever enorm datakraft og maskinvare. De kjører gjerne på klynger av skjermkort og spesialprosessorer grunnet minnebehovet og prosesseringskraften som er nødvendig for å oppnå en tilfredsstillende responstid. Dette er maskinvare vi gjerne kun finner i store datasentre, og i tillegg til å være veldig kostbart er det også veldig ressurskrevende. For oss forbrukere betyr det – at for å anvende store språkmodeller i dag, er vi avhengig av internett-tilkobling for å sende våre data opp til datasenteret for prosessering. For de som tilbyr disse tjenestene betyr det også at de hele tiden må skalere opp eller optimalisere modellene for å møte etterspørselen fra forbrukerne.
Derfor er det veldig spennende når nå Microsoft lanserer Phi-3 Mini, en liten språkmodell med stort potensiale. Hvor de store språkmodellene har blitt trent på et enormt datasett, har man på denne modellen og ved hjelp av store språkmodeller filtrert ut og optimalisert datasettet den er trent på. Resultatet av dette er en «liten» modell som kun er trent på 3.8 milliarder parameter, men som likevel gir bedre resultater på tester enn modeller som er ti gangen så store. Den begynner også å nærme seg resultater på høyde med GPT-3.5. Og det mest imponerende er at den er så liten at den kan kjøre på din lokale enhet, ja til og med på telefonen din.
Anerkjennelse av modellens begrensninger
Riktignok skal det nevnes at denne modellen har sine begrensninger. Den er i hovedsak trent opp til å kun forstå og resonere på engelsk. Det at den også er trent på et mer spesialisert og spisset datasett vil også bety at den ikke har den bredden de største modellene som GPT-4 har.
På den annen side har Microsoft har valgt å legge denne modellen åpent tilgjengelig. Det betyr at man kan trene og spesialisere den videre selv til å kunne resonere og svare på konkrete oppgaver som man bygger inn i sine applikasjoner og til og med kjøre lokalt. Et annet bruksområde kan også være at man bruker denne modellen som en proxy i forkanten av større modeller, for å ta ned trafikken mot de store modellene.
Med det ressursbehovet vi ser på de største modellene i dag tror jeg vi kommer til å se en økning av mindre og spesialiserte språkmodeller. Jeg tror nok også de store språkmodellene vil forbli, men kanskje trenger ikke alle spørsmål å gå igjennom de mest ressurskrevende modellene.
Prøv den selv:
Ønsker du selv å prøve Phi-3 kan du teste den i Azure AI Studio. Ønsker du å laste den ned og teste den lokalt finner du den både på HuggingFace og Ollama.
Ta gjerne kontakt med oss i twoday om du ønsker mer informasjon om hvordan du på en trygg og effektiv måte kan benytte AI i arbeidshverdagen.