Arvid Mildner

Kanskje du har hørt om DeepSeek V3 og tenkt: 

, men så kommer den umiddelbare bekymringen – 

jeg kan jo ikke bruke det til noe sensitivt eller firmainformasjon, det kjører sikkert på en eller annen kinesisk server et sted!

 Men hva om jeg fortalte deg at det ikke trenger å være sånn?

Du kan faktisk få en opplevelse som ligner på ChatGPT eller DeepSeek, men fullstendig selvhostet – enten på din egen virtuelle maskin eller rett på egen maskin. Her er et skjermbilde av hvordan det ser ut når alt er satt opp.


Hvis du kun vil kjøre dette lokalt, trenger du ikke noe av dette. Da trenger du kun Docker installert på maskinen, som beskrevet senere i artikkelen. Hvis du vil kjøre tjenesten slik at andre folk kan bruke den, gjør vi noen antakelser først.

Du har en (virtuell) Linux-maskin med en offentlig IP-adresse

Du har tilgang til internett fra denne maskinen

Maskinen er tilgjengelig på port 80 og 443

Du kan SSH'e inn på maskinen under konfigurasjonen

Det sier seg selv at jo kraftigere maskin du har tilgang til (eller kan installere on-prem), jo bedre og kraftigere modeller kan du kjøre. I vårt eksempel bruker vi en Azure VM 

 maskin uten GPU-støtte (fordi du må be pent til Azure Support for å få GPU, og vi trenger egentlig ikke det for denne demoen).

Merk også at selv om vi bruker en maskin som koster 300 dollar i måneden, er dette rimelig tregt (2 minutter for denne spørringen). Da skjønner man også at det ikke er bare-bare å kjøre disse svære modellene.

La oss installere de teknologier vi trenger

, som er en åpen kildekode "runner" for LLM-er og veldig enkel å bruke, og 

, som er et chat-grensesnitt – en åpen kildekode frontend for å snakke med LLM-er. Fra dokumentasjonen til OpenWebUI ser vi at det faktisk finnes et Docker-image som kapsler inn både Ollama og OpenWebUI, noe som gjør installasjonen trivielt enkel. Før vi kan gjøre det, må vi installere Docker først:
Slik gjør du det på Ubuntu 24.04 LTS (som vi bruker i dette inlegget), men flere installasjonsinstruksjoner finner du 


Nå kan vi kjøre Ollama+OpenWebUI Docker-imaget slik:


Hvis du ikke er kjent med Docker, kan du tenke på denne kommandoen som å starte et lettvekts, isolert virtuelt miljø (kalt en container) på maskinen din. Inni denne containeren kjører Ollama og OpenWebUI som om de var installert direkte på systemet ditt—men de er pent pakket inn og atskilt fra ditt hovedmiljø. Containeren lytter på port 8080, noe som er viktig senere når vi skal konfigurere Nginx til å peke til denne containeren. Hvis du kjører Docker lokalt på maskinen din, bør du nå kunne besøke 

 og logge deg inn. Hvis du gjør dette på en VM, feks på Azure, må vi nå gjøre den sikkert tilgjengelig over internett.

. Du må selvfølgelig bytte dette ut med et domene som du selv kontrollerer. Merk også at vi ikke har serveren oppe nå, da VM-en vi bruker i praksis er altfor svak til å faktisk kjøre noen brukbare modeller og kun ble brukt som en demo.

 for å håndtere TLS-sertifikater (slik at vi får den fine "grønne låsen" på nettstedet vårt)

 som og konfigurerer noen grunnleggende innstillinger for å peke til OpenWebUI.

Nginx-konfigurasjonen er ikke 100 % ferdig ennå og fungerer mer som en plassholder, men den vil bli fullført etter at vi har installert sertifikatene og konfigurert serveren til å håndtere TLS med certbot sitt nginx-plugin.
Nginx må konfigureres til å videresende innkommende trafikk til OpenWebUI-tjenesten som kjører i bakgrunnen.

For å sikre sikker kommunikasjon må vi også konfigurere Nginx til å lytte på portene 80 (HTTP) og 443 (HTTPS). I tillegg må vi generere TLS-sertifikater for å verifisere eierskapet til domenet 

 og etablere tillit med klienter som besøker siden. Hele denne prosessen håndteres med Certbot i kombinasjon med 

Certbot forenkler prosessen med å få og fornye TLS-sertifikater. For å begynne må vi generere en sertifikatforespørsel, hvor vi spesifiserer at vi vil bevise domenets eierskap via DNS. Siden vi kontrollerer DNS-serveren og kan redigere oppføringene for 

, kan vi legge til de nødvendige TXT-records for verifisering. Dette gjøres som regel ved at du logger deg inn der du har kjøpt domenet, og finner frem til et sted hvor du kan legge til DNS-poster.

Kjør følgende kommando for å starte sertifikatforespørselen:


Etter det, vil du få en prompt som forteller deg hva du skal gjøre.


Certbot vil be deg om å legge til en spesifikk TXT-record i DNS-konfigurasjonen din under subdomenet 

. Denne posten fungerer som bevis på at du kontrollerer domenet. Når TXT-recorden er lagt til og har blitt propagert, vil Certbot automatisk verifisere den og utstede sertifikatet fra Let's Encrypt.

Etter å ha mottatt sertifikatet, konfigurer DNS-serveren din til å legge til en 

, som peker til den offentlige IP-adressen til din virtuelle maskin.

Som et siste steg kan vi nå bruke Certbot sin nginx-integrasjon for automatisk å oppdatere nginx-konfigurasjonen slik at den hanterar TLS riktig. Dette gjøres med den enkle kommandoen


Denne kommandoen konfigurerer nå nginx-serveren slik at vi får ønsket oppførsel:


Med disse stegene fullført er din selvhostede versjon av applikasjonen fullt funksjonell og sikret med HTTPS. Selv om vi stoler på at Azure ivaretar sikkerheten og ikke sender dataene våre fra VM-en til USA, kan disse stegene også utføres på en lokal Linux-server eller en hjemmeserver for fullstendig isolasjon og kontroll. Dette sikrer at ingen eksterne skyleverandører har tilgang til ditt miljø. Merk at den første brukeren som logger inn på OpenWebUI etter installasjonen blir administrator, så sørg for at du er den første som oppretter en konto. Merk også at sertifikatet fra Let's Encrypt utløper etter 3 måneder, så det må fornyes. Dette kan automatiseres, men er utenfor omfanget av dette blogginnlegget.

Er dette oppsettet egentlig nyttig? Vel, hvis du har en kraftig maskin on-prem som ikke blir brukt, kan du kjøre denne koden på den, eller bruke enda kraftigere modeller med flere vekter, som 

-modellen. Mer praktisk er det kanskje å bruke OpenWebUI i kombinasjon med OpenAI sine API-endepunkter som er tilgjengelige i 

. Disse AI-modellene kan velges sån at de kjører i Stockholm og er dermed GDPR-kompatible (så lenge du stoler på at Azure overholder dette), og kan også integreres med OpenWebUI. Dette er også betydelig billigere og raskare.

Ulempen er at du ikke kan kjøre det helt isolert eller "offline", og du må bruke OpenAI-modeller som ikke er mulige att laste ned. Hvis du er interessert i støtte eller veiledning om hvordan AI kan integreres trygt og GDPR-kompatibelt i ditt miljø, ta kontakt med 

En annen ting: Hvis dere fortsatt er usikre på hva Deepseek handler om, kan dere sjekke ut 

 som min kollega Simen skrev for noen uker siden!

I denne bloggposten skal vi se hvordan du kan få satt opp en egen server med Deepseek installert som du kan bruka - helt sikkert og isolert!

Nginx er en programvare som brukes til å håndtere webtrafikk på en rask og effektiv måte. Den sørger for at brukere får tilgang til nettsider og applikasjoner uten forsinkelser, og fordeler trafikken slik at systemene våre holder seg stabile – også når mange bruker dem samtidig.
Hos Snøkam bruker vi Nginx som en del av infrastrukturen som kobler frontend og backend sammen. Den hjelper oss med å levere raske, sikre og pålitelige løsninger, og fungerer som en viktig del av driftslaget i mange av prosjektene våre.
Nginx er kjent for høy ytelse, lav ressursbruk og stor fleksibilitet – egenskaper som gjør den til et naturlig valg i moderne utviklingsmiljøer.

Backend

Nginx

Ollama er et verktøy som gjør det enkelt å laste ned, kjøre og bruke store språkmodeller direkte på egen maskin eller server. Det lar utviklere teste og bygge AI-løsninger uten å måtte koble seg til eksterne tjenester.
Hos Snøkam bruker vi Ollama for å utforske og utvikle løsninger basert på kunstig intelligens — alt fra tekstforståelse og automatisering til eksperimentering med egne modeller.
Ollama gir oss fleksibilitet til å jobbe med AI på en trygg måte, der dataene kan holdes lokalt, samtidig som vi får kraften fra moderne språkmodeller til å forbedre både produkter og prosesser.

Kunstig Intelligens

Ollama

Certbot er et verktøy som automatisk skaffer og fornyer sikkerhetssertifikater for nettsider. Disse sertifikatene sørger for at data som sendes mellom brukeren og tjenesten er kryptert – du kjenner det kanskje igjen som “https” i nettadressen.
Hos Snøkam bruker vi Certbot for å holde nettsider og applikasjoner sikre uten at det krever manuell oppfølging. Det gjør det enklere å opprettholde gode sikkerhetsrutiner og sørger for at løsningene våre alltid har oppdatert beskyttelse.
Med Certbot kan vi automatisere en viktig del av sikkerhetsarbeidet, slik at både vi og kundene våre kan ha tillit til at kommunikasjonen på nettet foregår trygt.

Sikkerhet

CertBot

Linux er et åpent operativsystem som brukes til å drive alt fra små servere til store skyløsninger. Det er kjent for å være stabilt, sikkert og fleksibelt – og derfor foretrukket av utviklere og driftsteam over hele verden.
Hos Snøkam bruker vi Linux som fundamentet for mange av våre løsninger i skyen. Det gir oss full kontroll over miljøene vi jobber i, samtidig som det gjør systemene våre raske, pålitelige og lette å automatisere.
Fordi Linux er åpen kildekode, kan vi tilpasse og optimalisere systemene etter behov – noe som gir oss frihet til å bygge akkurat de løsningene som passer best for våre kunder og prosjekter.

Linux

(Large Language Model) er en type kunstig intelligens som kan forstå, generere og jobbe med tekst på en måte som ligner på hvordan mennesker skriver og snakker. Den brukes til alt fra chatboter og automatiserte tekstanalyser til å hjelpe utviklere med å skrive kode.
Hos Snøkam bruker vi LLM-er for å utforske hvordan AI kan gjøre arbeidet vårt smartere og mer effektivt – enten det handler om å automatisere oppgaver, hente ut innsikt fra store mengder informasjon eller bygge helt nye løsninger drevet av språkforståelse.
Store språkmodeller er i rask utvikling og gir oss muligheten til å kombinere teknisk presisjon med kreativitet – slik at vi kan levere mer intuitive og fremtidsrettede digitale tjenester.

Hvordan du kan kjøre LLMs som Deepseek selv med OpenWebUI og Ollama

Her deler vi erfaringer vi har gjort oss med {{techTitle}} i prosjekter og i hverdagen vår som utviklere.

Vi du vite mer om hvordan vi bruker {{techTitle}} i Snøkam?

Våre utviklere med erfaring i {{techTitle}}

{{techTitle}} er en sentral del av flere av våre kundeprosjekter. Her ser du noen eksempler på hvordan vi har brukt teknologien i praksis.

Linux

Dette skriver vi om linux

Hvordan du kan kjøre LLMs som Deepseek selv med OpenWebUI og Ollama

Vi du vite mer om hvordan vi bruker linux i Snøkam?