RAG og AI Act: Slik bygger du lovlige AI-løsninger basert på egne data

Visste du at EU gjennom AI Act forbyr virksomheter å bruke ChatGPT i mange AI-løsninger? I denne artikkelen får du en kortfattet forklaring på regelverket rundt generative AI-løsninger og praktiske konsekvenser. 

Chat GPT og andre generative AI-verktøy er i ferd med å løfte den personlige produktiviteten i mange avdelinger. Neste steg for virksomheter er å utnytte generativ AI sammen med virksomhetsdata, for å levere bedre og mer effektive tjenester. Eksempler kan være kundeservice, intern IT-service eller HR-tjenester. Denne artikkelen vil introdusere to begreper, som ikke er så kjent ennå, men som trolig kommer til å bli det: RAG og AI Act.

Hva er en virksomhetsspesifikk AI-løsning?

La oss begynne med hva jeg mener med en virksomhetsspesifikk AI-løsning. Dette er en AI-løsning, som er:

• Knyttet opp med hva som er unikt for din virksomhet
• Er skreddersøm for dere
• Er oftest oppgavespesifikk

Dette betyr at jeg ikke ser på M365 Copilot som en virksomhetsspesifikk AI løsning. Den er ment å passe så mange virksomheter som mulig. (Men man kan, gjennom bruk av Copilot studio eller Azure AI studio, bygge virksomhetsspesifikke AI-løsninger).

RAG forer språkmodellen med dine data

RAG (Retrieval-Augmented Generation) er prosessen med å hente relevant kontekstuell virksomhetsinformasjon fra en datakilde og sende denne informasjonen til en stor språkmodell sammen med brukerens spørsmål. Denne informasjonen brukes til å forbedre modellens output (generert tekst eller bilder) ved å utvide modellens grunnleggende kunnskap.

Illustrasjon: RAG-prosessen

RAG er verdifullt for alle use cases der språkmodellen trenger virksomhetsspesifikk kunnskap som ikke er inkludert i informasjonen som modellen har fra tidligere. Dette kan for eksempel være et saksbehandlingssystem, produktdatabase, supportsystem eller en FAQ-database.

La oss si at du bygger en GPT for å hjelpe support-teamet ditt med å svare på kundehenvendelser. GPT-4 kan resonnere om mulige kundeproblemer ved hjelp av sin grunnleggende kunnskap, men den kan ikke kjenne de siste fakta om ditt spesifikke produkt eller tjeneste. Du kan oppnå mye bedre resultater ved å gi en GPT tilgang til ditt supportsystem, inklusive FAQ-databasen, slik at den kan hente tidligere supportsaker som omhandler lignende problemer og bruke denne konteksten til å generere mer relevante svar.

EU-lovgivning setter begrensninger

De vanligste språkmodellene (LLM), som ChatGPT, Llama, Gemini og PaLM er “lukkede”, det vil si at du kan ikke få nøyaktig dokumentasjon på hva de er trent med eller hvordan de er trent. Dette kan gi utfordringer til å møte kravene fra EUs AI act, men dette er avhengig av hva du har tenkt å bruke modellen til.

Dersom du har planlagt å utvikle en AI-løsning som klassifiseres som høy risiko, så kan du ikke bruke en “lukket” modell som ChatGPT

EUs AI act er inndelt i 4 risikonivåer (minimal risiko, begrenset risiko, høy risiko og uakseptabel risiko) som hver har sine forskjellige use cases og derved krav på hva man må dokumentere. I for eksempel "høy risiko" må man blant annet dokumentere hva modellen er trent på og hvordan. Dette betyr at dersom du har planlagt å utvikle en AI-løsning, som faller inn under høy risiko-nivået, så kan du ikke bruke en “lukket” modell, selv om du også har trent den med egne data.

Heldigvis finnes det en rekke “åpne” modeller, som du kan benytte deg av. Her kommer to eksempler på “åpne” språkmodeller:

• NORA LLM, utviklet av UIO i samarbeid med Nasjonalbiblioteket og Sigma2. Den ligger som åpen kildekode på Huggingface
• Granite, utviklet av IBM og meget godt dokumentert. Den ligger også som åpen kildekode på Huggingface

La meg avslutte med et forsøk på to use cases og matche dem mot EUs AI act, samt hvilken språkmodell du kan benytte deg av.

Use case 1

Du ønsker å ta frem en intern AI-løsning som gjør det enklere å ta frem markedsmateriell, produktbeskrivelser og interne rapporter. Denne løsningen er relativt “ufarlig”, og så fremt du respekterer eventuelle copyright-rettigheter (markedsmateriale), så kan du etter mitt skjønn benytte deg av en “lukket” modell, som ChatGPT.

Use case 2

Dere er en offentlig virksomhet, med et stort saksbehandlingssystem med mye data fra gamle saker, og dere ønsker å ta frem et AI-drevet ekspertsystem som kan hjelpe saksbehandlere å fatte vedtak. Dersom disse vedtakene får konsekvenser for en person, så klassifiseres denne løsningen som “høy” risiko, og dere må benytte dere av en “åpen” modell.

Noter at jeg er ingen jurist. Om dere er i tvil om hvordan deres AI-løsning klassifiseres av AI act, så bør dere konsultere med et advokatbyrå som kjenner lovgivningen.