Hvordan gir man 1000 ansatte tilgang til et AI-verktøy uten å miste suverenitet over egne data? Norsk helsenett har etablert en egen AI-plattform på kubernetes med OpenWebUI, vLLM, Ollama og SearXNG. Løsningen kjører på TalOS og håndterer alt fra tekstgenerering, bildeanalyse til RAG-søk – helt uavhengig av eksterne API-er. Deployment og konfigurasjon håndteres med ArgoCD og GitOps.
Vi deler arkitektur, tekniske valg og praktiske erfaringer fra å kjøre AI on-premis i et Kubernetes cluster.