Franske Mistral demonstrerer at de kan konkurrere med giganter som GPT-4 og Gemini, og at det er mulig å lage langt mer effektive språkmodeller som kan kjøres på mobilen.

I denne artikkelen forsøker jeg å gi deg som leser en bedre forståelse av språkmodellene som benyttes i AI, og presenterer Mistral, et selskap som du kanskje ikke hadde hørt om før, men som mange i AI-miljøet har begynt å få øynene opp for.

Først må vi begynne med å forklare grunnleggende forskjeller mellom ulike språkmodeller. Om du har lyst til å lære dette mer grundig, kan du lese min forrige artikkel:

Les: LLM, SLM og MMM: Slik forstår du de tre generative AI-modellene

LLM – en kort introduksjon

LLM (Large Language Model). Dette er en stor språkmodell, som er basert på kunstig intelligens, som er designet for å forstå, generere og behandle menneskelig språk. Disse modellene er meget store – både i form av størrelsen på datasettene de er trent på og antall parametere de inneholder. De trenes på et mangfold av datasett og treningen gjør at de kan forstå og generere et bredt spekter av menneskelig språk og stiler.

De er basert på dataene de ble trent på og kan noen ganger generere feilaktig eller skjev informasjon. Kontinuerlig forbedring og oppdatering med nye data og algoritmer er viktig for deres effektivitet.
Noen kjente LLM-er er GPT-4 (OpenAI-ChatGPT), Llama (Meta) og Genesis (Google).

SLM – en kort introduksjon

SLM står for Small Language Model. Man kan forenklet si at man har tatt en LLM, og så har man redusert antall parametre kraftig. Disse modellene er også designet for å utføre oppgaver som involverer forståelse og generering av naturlig språk. Men de er mindre i skala, noe som gjør dem mer tilgjengelige og lettere å bruke i visse sammenhenger.

Reduksjonen i størrelse og kompleksitet gjør dem mer tilgjengelig og passende for applikasjoner med begrensede databehandlingsmuligheter eller for utviklere med begrensede ressurser. De trenger også vesentlig mindre datakraft og derved mindre energi for å prosesseres. På grunn av deres mindre størrelse, kan SLM-er være mer effektive og raskere til å behandle forespørsler. Dette gjør dem ideelle for sanntidsapplikasjoner eller scenarier der raske svar er essensielle. De kan lettere tilpasses spesifikke domener eller applikasjoner enn større modeller. Eksempler på SLM-er er Mixtral, Llama 2 7B, Phi2 og Zephyr.

Franske Mistral har tatt AI-verdenen med storm med AI-modellen Mistral AI

SLM versus LLM? Vi ser på Mixtral

Det franske, relativt nystartede selskapet Mistral AI har tatt AI-verdenen med storm med sin SLM-modell, som heter Mixtral.

De franske gründerne har for øvrig  tidligere arbeidet hos DeepMind og Meta.

Mixtral bruker ca 7 milliarder parametere. Til sammenligning benytter  GPT-3 og GPT-4 seg av mer enn 100 milliarder parametere, mens Meta sin Llama 2 (LLM) benytter seg av ca 70 milliarder parametere.

Nedenfor er en benchmark mellom Mixtral 7 (i figuren benevnt Mistral) og Llama 2:

Figuren er fra en artikkel i Medium, 20 januar 2024.

Vi ser altså fra figuren at en modell som er mange ganger mindre og som har kostet mye mindre å ta frem er konkurransedyktig i mange use casesbruksområder, sammenlignet med en stor og dyr LLM.

Mistral AI har også kommet med Mixtral 8x7B (14 milliarder parametere), samt Mixtral Medium. Begge disse er større enn den originale Mixtral-en, men regnes fortsatt som SLM-er. Figuren nedenfor forteller hvor effektive disse er, sammenlignet med for eksempel GPT-4:

Figuren er fra en artikkel i Medium, 20 januar 2024.

Hva ser vi? Mixtral har faktisk klart å skape mindre og mer effektive modeller som kan konkurrere med giganter som GPT-4, noe som demokratiserer AI og åpner opp nye muligheter for både utviklere og bedrifter.

At selskapet i tillegg er europeisk, er bra for markedskonkurransen med en ellers USA-dominert bransje. Riktignok kunne vi den 26 februar lese at Microsoft har investert i Mistral.

At Mixtral er så liten og effektiv, betyr også at den kan benyttes i bærbare pc-er og smarttelefoner. Det blir spennende å se hva slags nyheter Apple kunngjør på AI-fronten når de lanserer sin neste iPhone, trolig i september.

Mistral bidrar til å demokratisere AI og åpner opp nye muligheter for både utviklere og bedrifter.
Helge Legernes, Move AS

 Bildet i toppen er tegnet av Dall-E