Morten Jansrud

Hva om ChatGPT ikke bare svarte kundene dine via en chatbot, men faktisk snakket med dem på telefonen? Hva om AI kunne tolke pauser, tonefall og avbrytelser, og svare som en rådgiver?

Vi står ved starten av en ny æra for kunstig intelligens. Den neste bølgen handler ikke bare om større modeller eller flere parametere, men om tempo og tilstedeværelse. Sanntids- eller 

-AI gjør det mulig å føre samtaler med maskiner som flyter like naturlig som dialogen mellom to mennesker, samtidig som den utfører oppgaver. 

Du er ikke alene hvis du er skeptisk etter å ha brukt stemmeassistenter som Siri eller Alexa. I mange år har de vært mer frustrerende enn hjelpsomme, og for mange har de blitt et bevis på at stemmestyring ikke fungerer. Men det som skjer nå, er noe helt annet. Den nyeste generasjonen AI-modeller representerer et teknologisk gjennombrudd som fundamentalt endrer hvordan vi utvikler og bruker kunstig intelligens.

Selv om jeg i tittelen hevder at vi kan «glemme chatbots», er det egentlig bare tull. Det gjøres enorme fremskritt på skriftlige språk-modeller, så poenget er ikke å avskrive skriftlige grensesnitt. De vil fortsatt være viktige. Det avgjørende er å gi brukerne friheten til å velge, noen foretrekker å skrive, andre å snakke. Sanntids-AI handler derfor ikke om å erstatte det ene med det andre, men å utvide opplevelsen. Ikke tvinge mennesker inn i et nytt format, men la AI møte dem der det føles mest naturlig, enten det er via tekst eller tale.

I denne artikkelen ser vi på hvordan de nye modellene fungerer, hvorfor det er så stort, og hvordan du selv kan bygge en fungerende implementasjon med OpenAI GPT-Realtime, WebRTC og Azure Functions.

For å skjønne hvorfor sanntids-AI føles så annerledes, må vi først se på hvordan språkmodeller tradisjonelt har fungert. ChatGPT følger et ganske forutsigbart mønster: du skriver inn en melding, modellen tenker, og så kommer svaret. Selv når teksten «strømmes» ut linje for linje, er mesteparten av svaret allerede planlagt før det første ordet vises.

Det er effektivt, men også litt mekanisk. Samtalen går én vei om gangen: du spør, modellen svarer. Du kan ikke hoppe inn midt i en setning, endre tema, eller snakke med stemmen din. Interaksjonen er i bunn og grunn tekst inn – tekst ut.

Sanntidsmodeller snur dette på hodet. I stedet for å vente på tur, deltar modellen i samtalen 

. Du kan snakke naturlig, avbryte, ombestemme deg, og AI-en henger med. Den justerer svarene sine fortløpende, akkurat som et menneske som tenker mens det snakker.

Den store forskjellen ligger i selve infrastrukturen. Der eldre modeller kommuniserer gjennom enkeltstående forespørsler som sendes og mottas over HTTP, bruker sanntidsmodeller en 

 som lar lyd, tekst og handlinger flyte begge veier samtidig.

Fra stemmeassistenter til samtalepartnere

Denne utviklingen handler ikke bare om smartere stemmestyring, den handler om å gjøre avansert AI tilgjengelig for alle. Tidligere krevde sanntids-AI spesialiserte datasystemer og dyp ekspertise. I dag kan hvem som helst komme i gang med noen få API-kall, takket være plattformer fra aktører som OpenAI, Microsoft og Google.

For utviklere betyr dette at man nå kan bygge løsninger som svarer umiddelbart, forstår kontekst, og til og med handler på eget initiativ. Resultatet er applikasjoner som oppleves langt mer naturlige og menneskelige, enten det er i kundeservice, undervisning, kreativitet eller intern produktivitet.

Men det vil ta tid før alt er på plass. Teknologien er fortsatt ny, og både verktøy og arbeidsmetoder må modnes. Likevel er én ting sikkert: selskaper som klarer å omstille seg tidlig og ta teknologien i bruk på en gjennomtenkt måte, vil få et enormt forsprang. De vil ikke bare spare tid og penger – de vil bygge opplevelser konkurrentene vil bruke år på å ta igjen.

Sanntids-AI handler ikke først og fremst om fart. Det handler om 

 om hvor naturlig, sømløs og responsiv teknologien oppleves.

Tenk deg at du ringer kundeservice og får en AI-assistent som faktisk kan hjelpe deg, her og nå. Ingen ventemusikk. Ingen videresending. Du sier:

«Pakken min kom ødelagt. Jeg trenger en ny sendt til en annen adresse, og frakten må krediteres.» AI-en forstår intensjonen, finner ordren, bestiller erstatningen og sender bekreftelsen, alt mens du fortsatt snakker. Ingen venting. Ingen overføring. Bare en naturlig samtale som fikser det du trenger.

Tenk deg et møte der AI-en ikke bare tar notater, men 

«Hvor mye brukte vi på markedsføring i Q4?»
AI-en henter tallene fra regnearket, viser trenden på skjermen og oppsummerer for deltakerne, i sanntid, uten at noen trenger å lete. Etterpå sender den en kort oppsummering med beslutninger og oppfølgingspunkter.

Trening og læring som føles personlig: 

I stedet for å følge ferdige leksjoner, snakker du med en AI som 

. Den hører på uttalen din, justerer vanskelighetsgraden og bygger videre på samtalen fra i går.

«Jeg vil øve på italiensk på kafé i Roma.»
«Greit – la oss bestille kaffe sammen. Vil du ha cappuccino eller espresso?»
Læringen skjer i øyeblikket, med ekte samtale og kontinuerlig tilpasning.

Du beskriver en idé, og AI-en visualiserer den mens du snakker.

«Prøv en varmere stemning, med lavere lys og mykere kontraster.»
AI-en oppdaterer designet, foreslår variasjoner og fortsetter dialogen.
Det føles ikke som å bruke et verktøy – det føles som å samarbeide med en kollega som forstår deg.

Hos Snøkam har vi utviklet flere slike sanntidsløsninger. I det neste avsnittet tar vi deg med inn i den tekniske implementasjonen av én konkret opplevelse: en stemmeassistent som hjelper ansatte med å opprette arrangementer like raskt som de kan beskrive behovet.

Alt dette kan høres magisk ut, en AI som forstår deg mens du snakker, utfører oppgaver underveis, og holder samtalen flytende uten forsinkelser. Men bak opplevelsen ligger en arkitektur som er overraskende tilgjengelig, så lenge man setter de riktige byggesteinene sammen.

Det handler ikke om eksperimentell forskning eller proprietær magi, men om å kombinere tilgjengelige verktøy som WebRTC, OpenAI GPT-Realtime og et enkelt endepunkt.

For å illustrere hvordan komponentene spiller sammen i praksis, viser diagrammet nedenfor hele flyten, fra brukerens nettleser til OpenAI-modellen som driver samtalen.


Brukeren åpner en webapp som gir tilgang til mikrofonen og starter samtalen. Herfra sendes en forespørsel til backend for å hente en sikker, midlertidig tilgangsnøkkel.


Backend håndterer sikkerheten. Den bruker en lagret API-nøkkel for å opprette en ny sesjon hos OpenAI, og mottar en 


Denne midlertidige nøkkelen er gyldig i kun 60 sekunder og sikrer at frontend kan koble seg direkte til OpenAI – uten å eksponere API-nøkkelen.


Med nøkkelen i hånd oppretter frontend en WebRTC-tilkobling til OpenAI GPT-Realtime. Over denne forbindelsen strømmer: 

 i begge retninger (du snakker, AI svarer)

 via en separat kanal (AI kan utføre handlinger, sende meldinger osv.)

Selv om kommunikasjonen mellom bruker og AI i stor grad går direkte, er det backend som gir oss kontrollen vi trenger. Den oppretter sikre sesjoner, konfigurerer hvordan assistenten skal oppføre seg, og sørger for at API-nøkler aldri eksponeres. På denne måten kan vi gi frontend den friheten som sanntid krever, uten å gå på kompromiss med sikkerheten.

Backend genererer såkalte ephemeral tokens, midlertidige tilgangsnøkler som bare varer i et minutt, og som brukes til å etablere en direkte forbindelse mellom nettleseren og GPT-Realtime. På den måten kan vi la frontend kommunisere direkte med AI-en, men fortsatt holde all autentisering og sesjonsstyring på serversiden.

I tillegg har vi valgt en struktur der selve "personligheten" til assistenten, altså instruksjonene den følger, og hvilke verktøy den har tilgang til defineres i backend som en enkel JSON-konfigurasjon. Alt som trengs er å opprette en ny agent-definisjon og la frontend be om riktig agent når samtalen starter.

Her er hvordan vi implementerer dette i en Azure Function:

Funksjonen tar imot en forespørsel med et agent-navn (vi kommer tilbake til hva det betyr), henter den sikre API-nøkkelen fra miljøvariabler, og oppretter en sesjon hos OpenAI. Responsen inneholder den ephemeral tokenen som returneres til frontend. Legg merke til at API-nøkkelen aldri forlater serveren. Den brukes kun til å autentisere forespørselen til OpenAI.

En annen viktig del av arkitekturen er hvordan vi håndterer variasjon. I praksis ønsker vi ikke én universell AI-assistent, men flere, hver med sitt formål, sin personlighet og sine verktøy. F.eks én som hjelper med å booke møterom. Én som oppretter arrangementer.

I stedet for å skrive ny kode hver gang vi skal lage en ny assistent, har vi valgt en agent-basert tilnærming. Hver agent defineres som en enkel JSON-konfigurasjon i backend. Der beskriver vi hvordan AI-en skal opptre, hvilke verktøy den har tilgang til, og hvilke instruksjoner den følger.

Når frontend starter en samtale, sendes et agentnavn med i forespørselen. For eksempel "create-event". Backend slår da opp riktig definisjon, og bruker den til å opprette sesjonen hos OpenAI. På den måten kan vi endre hvordan AI-en oppfører seg, hva den sier, og hva den kan gjøre, uten å gjøre endringer i frontend-koden.

Et eksempel: agenten «create-event» er satt opp til å hjelpe ansatte med å fylle ut skjemae. Den har tilgang til to funksjoner: én for å oppdatere skjemafelter, og én for å sende inn skjemaet. Når AI-en bestemmer seg for å bruke et av disse verktøyene, sendes det som en JSON-melding over WebRTC-forbindelsen til frontend, som tolker det og utfører handlingen.

Denne strukturen gjør det enkelt å legge til nye assistenter etter behov – uten å endre resten av systemet. Vi kan tilpasse både oppførsel, stemme og funksjonalitet ved å justere én konfigurasjonsfil. Det betyr at vi raskt kan eksperimentere, utvikle og utvide, uten tung implementasjon i bunn.

Frontend-applikasjonen er bygget i React, og vi har samlet kompleksiteten i en gjenbrukbar hook som håndterer alt som trengs for å snakke med GPT-Realtime: tilgang til mikrofon, oppsett av WebRTC-forbindelse, sending av lyd, mottak av svar og oppfølging av eventuelle handlinger. Alt dette skjer i løpet av sekunder, og for brukeren fremstår det hele som én enkel opplevelse, trykk på en knapp, og samtalen er i gang.

Det som skjer under panseret, er at vi først henter en ephemeral token fra backend. Med denne nøkkelen etablerer vi en WebRTC-tilkobling til OpenAI, som gjør det mulig å strømme lyd i begge retninger og sende meldinger over en separat data channel. På denne kanalen mottar frontend signaler fra AI-en. For eksempel når den ønsker å oppdatere et skjemafelt, sende inn et skjema, eller gi visuell tilbakemelding i UI-et.

For å gjøre det så enkelt som mulig å integrere denne funksjonaliteten i ulike deler av appen, er samtaleopplevelsen kapslet inn i én komponent. Den kan settes inn hvor som helst, med ulike agenter og ulike funksjonskall, uten å måtte skrive logikken på nytt. Det betyr at vi kan ha én AI-assistent i et skjema, en annen i et dashbord, og en tredje i en chatboble, der alle er bygget på samme arkitektur, men med ulik personlighet og rolle.

For å vise en litt morsom demo av hvordan teknologien kan brukes, har vi laget noe mer ambisiøst enn en chatbot: et interaktivt 

 der hver karakter er en egen AI-agent med sin egen personlighet, sitt eget alibi, og sine egne observasjoner fra kvelden.

Scenariet er enkelt: Det har skjedd et drap på Snøkam-kontoret. Du må snakke med de ansatte (AI-agenter), stille spørsmål, følge opp svar, og til slutt peke ut morderen. Det som gjør det interessant er at hver samtale er unik. AI-en improviserer detaljer, reagerer på hvordan du stiller spørsmål, og kan til og med bli defensiv hvis du presser for hardt.

Teknisk sett bruker vi samme arkitektur som beskrevet over. Hver karakter er definert som en egen agent med instruksjoner som beskriver deres personlighet og hva de vet. For eksempel har én agent instruksjoner om at hen var i møterommet klokken 21:30 og hørte rare lyder fra kjøkkenet. En annen var hjemme hele kvelden. En tredje vet noe, men vil ikke si det med en gang. AI-en holder seg konsistent til disse instruksjonene mens den improviserer dialogen.

Det interessante er ikke bare at spillet fungerer, men 

 det føles. Fordi kommunikasjonen skjer i sanntid med naturlig stemme, blir interaksjonen langt mer engasjerende enn et tekstbasert avhørsspill ville vært. Du kan avbryte hvis du får en idé, du kan utforske tankeganger spontant, og du kan registrere nyanser i hvordan karakterene svarer. Det er nærmere en samtale med et menneske enn med en maskin.

. Hvis du løser mysteriet før 31. oktober, kan du vinne 5 000 kroner. Men det egentlige premiet er å oppleve hvor langt sanntids-AI har kommet, og kanskje få noen ideer til hva du selv kan bygge med teknologien.

Sanntids-AI representerer et paradigmeskifte i hvordan vi samhandler med kunstig intelligens. Vi går fra å 

 med den i sanntid, naturlig og intuitivt.

Hvis du skal ta med deg noe fra denne artikkelen, er det at sanntids-AI representerer noe fundamentalt annet enn bare "raskere chat". 

Sanntids-AI er fortsatt i en tidlig fase, og vi ser allerede konturene av neste generasjon. Multimodale modeller som kan se, høre og forstå kontekst samtidig er på vei. Responstiden vil fortsette å synke under 100 millisekunder. Støtten for flere språk og dialekter blir stadig bedre. Integrasjon med AR og VR vil åpne for helt nye typer opplevelser der AI blir en naturlig del av omgivelsene rundt oss.

Den kanskje mest interessante utviklingen er bedre personalisering over tid. I dag starter hver samtale på nytt. Fremtidige systemer vil kunne bygge opp en forståelse av deg og dine preferanser, samtidig som de opprettholder den umiddelbarheten som gjør sanntids-AI så kraftfull.

Hos Snøkam fortsetter vi å eksperimentere med AI, både internt og ute hos kundene våre. Vi har noen ideer til bruksområder vi ikke har sett andre gjøre ennå. Hvis du jobber med noe lignende, eller bare er nysgjerrig på hvordan vi har løst enkelte utfordringer teknisk, ta gjerne kontakt. Vi deler gjerne erfaringer.


Som AI Tech Lead i Storebrand bygger Morten AI-drevne kundeopplevelser som gjør en reell forskjell når de trenger det, på den måten de foretrekker. 

 hvis du vil diskutere et konkret prosjekt.

Hva om ChatGPT ikke bare svarte kundene dine via en chatbot, men faktisk snakket med dem på telefon? Hva om AI kunne tolke pauser, tonefall og avbrytelser, og svare som en rådgiver?

React er et verktøy vi bruker for å bygge moderne nettsider som føles raske og levende. Det hjelper oss å sette sammen små deler av et design til hele løsninger – litt som byggeklosser.
Vi bruker React fordi det gjør det enklere å lage brukervennlige og fleksible nettsider som er lette å videreutvikle når behovene endrer seg.

Frontend

React

.NET er en utviklingsplattform laget av Microsoft som brukes til å bygge alt fra små apper til store, komplekse systemer. Den gir et solid grunnlag for å lage stabile og sikre løsninger som fungerer godt sammen med andre teknologier.
Vi bruker .NET fordi det er raskt, pålitelig og godt egnet for prosjekter som krever høy ytelse og lang levetid.

Backend

.NET

(Large Language Model) er en type kunstig intelligens som kan forstå, generere og jobbe med tekst på en måte som ligner på hvordan mennesker skriver og snakker. Den brukes til alt fra chatboter og automatiserte tekstanalyser til å hjelpe utviklere med å skrive kode.
Hos Snøkam bruker vi LLM-er for å utforske hvordan AI kan gjøre arbeidet vårt smartere og mer effektivt – enten det handler om å automatisere oppgaver, hente ut innsikt fra store mengder informasjon eller bygge helt nye løsninger drevet av språkforståelse.
Store språkmodeller er i rask utvikling og gir oss muligheten til å kombinere teknisk presisjon med kreativitet – slik at vi kan levere mer intuitive og fremtidsrettede digitale tjenester.

Kunstig Intelligens

Glem chatbots – den nyeste AI-modellen fra OpenAI kan snakke med kundene dine

Kristoffer Finckenhagen

Azure

Cloud

Kubernetes

Docker

Next.js

Typescript

Splunk

Sikkerhet

GraphQL

Marianne Melhoos

Java

Spring Boot

Angular

Python

Data Plattform

Morten Kartevoll

Oda Scheen Kiese

Bicep

Simen Johnsrud

Kotlin

Vegard Saga

Elasticsearch

Her deler vi erfaringer vi har gjort oss med {{techTitle}} i prosjekter og i hverdagen vår som utviklere.

Vi du vite mer om hvordan vi bruker {{techTitle}} i Snøkam?

Våre utviklere med erfaring i {{techTitle}}

{{techTitle}} er en sentral del av flere av våre kundeprosjekter. Her ser du noen eksempler på hvordan vi har brukt teknologien i praksis.

{{technologyTitle}} - Teknologi i Snøkam

I Snøkam ønsker vi alltid å utfordre det etablerte og finne innovative løsninger, ikke bare for våre kunder, men også internt. Et av våre mest banebrytende initiativer har vært utviklingen av et automatisert lønnssystem som muliggjør daglig utbetaling av lønn i Bitcoin. Denne løsningen gir våre ansatte full fleksibilitet til å velge hvordan de ønsker å motta lønnen sin.

Lønnssystemer har i stor grad forblitt uendret i Norge, der de fleste mottar lønn på månedlig basis. Til tross for at arbeidsmiljøloven åpner for hyppigere utbetalinger, har tradisjonelle systemer og manuelle prosesser gjort dette upraktisk. I en tid der vi er vant til øyeblikkelige betalinger for tjenester og varer, stilte vi spørsmålet: Hvorfor må ansatte vente opptil 30 dager på lønnen de har rettmessig tjent?

Snøkam implementerte et fullstendig automatisert lønnssystem som gjør det mulig å utbetale lønn hver dag. Dette systemet håndterer alt fra timeføring til skatteberegning og lønnsslipper med en effektivitet som eliminerer manuelle feil. For å bryte bankenes begrensninger på overføringshastighet og tilgjengelighet, integrerte vi blokkjedeteknologi og valgte Bitcoin som utbetalingsvaluta. Denne teknologien muliggjør umiddelbare overføringer, og ansatte mottar nøyaktig verdien av dagslønnen sin i sanntid.

Vi har gjort det til en grunnleggende del av løsningen at valget ligger hos de ansatte. Hver enkelt kan velge hvor stor andel av lønnen som skal utbetales daglig i Bitcoin, fra 0 % til 100 %. Systemet er utformet for å gi maksimal kontroll, med mulighet for justeringer i sanntid via vårt interne brukergrensesnitt.

Systemet har blitt møtt med positiv respons, takket være dets brukervennlighet, automatiserte prosesser og fleksibilitet. I tillegg har vi sørget for tett samarbeid med eksterne regnskapsførere og kryptoskatt-eksperter for å sikre at alle skatteforpliktelser håndteres korrekt.

Dette initiativet markerer starten på en ny standard for lønnsutbetalinger. For oss i Snøkam handler det ikke bare om å gi våre ansatte flere valgmuligheter, men også om å vise hva som er mulig når teknologi og innovasjon brukes for å utfordre det etablerte.

Lønnsutbetaling i Norge har stått på stedet hvil i lang tid. Det kan være flere grunner til dette, men det enkleste svaret er nok at man har slått seg til ro med at dette fungerer “bra nok”.

.NET

Våre utviklere med erfaring i .net

.net i våre prosjekter

Automatisert utbetaling av lønn i Bitcoin

Dette skriver vi om .net

Glem chatbots – den nyeste AI-modellen fra OpenAI kan snakke med kundene dine

Vi du vite mer om hvordan vi bruker .net i Snøkam?