Vi får spørgsmålet fra klinikker, advokater, revisorer og offentlige organisationer: kan vi bruge AI uden at sende vores data til en amerikansk cloud? Svaret er ja — men med en vigtig præcisering om hvad "AI" betyder i den sætning.
Det der virker godt lokalt
Transskription er det klareste eksempel. Tale til tekst kører fremragende på en almindelig moderne computer, også på dansk, og lyden behøver aldrig forlade maskinen. Vi har selv bygget og bruger et værktøj til præcis det.
Klassificering, opsummering og udtræk af oplysninger fra dokumenter ligger også inden for rækkevidde. En lokal model kan læse en sag og trække navne, datoer og beløb ud, eller sortere indkommende post efter emne, uden at noget forlader huset.
Det der stadig halter
Opgaver der kræver bred viden og lange ræsonnementer — at skrive en gennemarbejdet juridisk vurdering, at føre en længere samtale med kontekst, at løse noget der kræver mange trin — dér er de store cloud-modeller stadig mærkbart foran. Afstanden bliver mindre for hvert halve år, men den er der.
Det er ikke et argument imod lokal AI. Det er et argument for at være præcis om hvilken opgave I vil løse, før I beslutter hvordan.
Lange ræsonnementer
Opgaver der kræver mange trin i træk, hvor et forkert trin vælter resten.
Bred almenviden
Spørgsmål der forudsætter viden om alt muligt uden for jeres eget materiale.
Meget lange dokumenter
Sager på hundredvis af sider, hvor hele indholdet skal holdes i hovedet på én gang.
Fri samtale
Dialog over mange runder hvor tonen og sammenhængen skal holde hele vejen.
Hvad det kræver
Mindre end de fleste tror. Transskription og de lettere sprogopgaver kører på en nyere Mac eller en pc med et fornuftigt grafikkort. Vil I køre større modeller til flere brugere samtidig, skal der en dedikeret maskine til, og så taler vi om en investering på niveau med en solid server — ikke et datacenter.
Det der oftest bliver overset, er vedligeholdelsen. Der kommer bedre modeller hvert kvartal. Nogen skal holde øje med det og skifte ud, ellers kører I om to år på noget der er blevet håbløst forældet.
Hvordan kan vi hjælpe?
Når data ikke må forlade huset, kører vi modellerne lokalt i stedet.