1. Worum es geht

Ein lokales LLM-Setup bedeutet: Das Sprachmodell läuft auf deinem eigenen Rechner oder Server, nicht bei OpenAI, Anthropic, Google oder einem anderen Cloud-Anbieter. Deine Prompts, Dokumente und Tests verlassen das System nicht, solange du keine externen APIs einbindest.

Eine sinnvolle Kombination ist:

LM Studio als lokale Modell-Laufzeit
Open WebUI als ChatGPT-ähnliche Weboberfläche

LM Studio lädt und startet lokale Modelle, zum Beispiel Llama, Qwen, Mistral, DeepSeek-Coder-Varianten oder andere Modelle. Open WebUI stellt eine komfortable Oberfläche bereit, mit Chatverlauf, Benutzern, Dokumenten-Chat, Einstellungen und Provider-Verbindungen. Open WebUI unterstützt OpenAI-kompatible APIs und kann deshalb mit LM Studio verbunden werden.

Open WebUI spricht dann nicht direkt „mit dem Modell“, sondern mit dieser API. Genau das macht die Kombination robust: Alles, was OpenAI-kompatibel ist, kann Open WebUI grundsätzlich anbinden.

Programme installieren

LM Studio: Download
Open WebUI Desktop: Download

LM Studio Einstellungen

Nach dem Start siehst du im Wesentlichen drei wichtige Bereiche:

Discover/Search – Modelle suchen und herunterladen
Chat – direkt in LM Studio mit einem Modell chatten
Developer / Local Server – lokalen API-Server starten

Die genaue Oberfläche kann sich ändern, aber das Prinzip bleibt: Modell laden, testen, Server starten.

Ein Modell wählen
LLMs können links im Menü unter „Model Search“ (Ctrl+Shift+M) Modelle suchen und herunterladen. Für den Anfang würde ich nicht direkt das größte Modell nehmen. Starte mit etwas, das zuverlässig läuft.

Gute Einstiegskategorien:

Allgemeiner Chat —> Llama-, Mistral-, Qwen-Instruct-Modelle
Programmieren —> Qwen-Coder, DeepSeek-Coder, CodeQwen, StarCoder-Varianten
Deutsch —> Modelle mit guter multilingualer Leistung, z. B. Qwen oder Llama-Instruct

Server starten

Links im Menüpunkt „Developer“ kann man die heruntergeladenen Modelle laden und einen lokalen API-Server dafür starten.

In den Server-Einstellungen kann man zwischen starten auf 127.0.0.1 oder Netzwerk-IP wechseln (Serve on local Network) wechseln.
Entsprechend wird die API-URL angezeigt:

Verbindung in Open WebUI einrichten

Öffne nach der Installation Open WebUI im Browser (http://localhost:8080) und klicke unten links auf dein Profilbild / Namen und gehe auf Admin-Bereich.
Dort im reiter „Einstellungen“ — > „Verbindungen“, dort fügt man bei OpenAI-API-Verbindungen verwalten eine neue Verbindung hinzu und trägt bei URL die API-URL mit /v1 am Ende ein. Z.B.: http://10.34.219.63:1234/v1.

Des weiteren empfiehlt es sich die Ollama Verbindungen zu deaktivieren sofern kein entsprechendes Model separat eingerichtet wird.

Testen

Sofern ein Modell im LM Studio geladen und der API-Server gestartet wurde sollte Open WebUI eine Verbindung aufbauen können und kann wie andere LLMs auch verwendet werden…