1. Worum es geht
Ein lokales LLM-Setup bedeutet: Das Sprachmodell läuft auf deinem eigenen Rechner oder Server, nicht bei OpenAI, Anthropic, Google oder einem anderen Cloud-Anbieter. Deine Prompts, Dokumente und Tests verlassen das System nicht, solange du keine externen APIs einbindest.
Eine sinnvolle Kombination ist:
LM Studio als lokale Modell-Laufzeit
Open WebUI als ChatGPT-ähnliche Weboberfläche
LM Studio lädt und startet lokale Modelle, zum Beispiel Llama, Qwen, Mistral, DeepSeek-Coder-Varianten oder andere Modelle. Open WebUI stellt eine komfortable Oberfläche bereit, mit Chatverlauf, Benutzern, Dokumenten-Chat, Einstellungen und Provider-Verbindungen. Open WebUI unterstützt OpenAI-kompatible APIs und kann deshalb mit LM Studio verbunden werden.
Open WebUI spricht dann nicht direkt „mit dem Modell“, sondern mit dieser API. Genau das macht die Kombination robust: Alles, was OpenAI-kompatibel ist, kann Open WebUI grundsätzlich anbinden.
Programme installieren
LM Studio: Download
Open WebUI Desktop: Download
LM Studio Einstellungen
Nach dem Start siehst du im Wesentlichen drei wichtige Bereiche:
Discover/Search – Modelle suchen und herunterladen
Chat – direkt in LM Studio mit einem Modell chatten
Developer / Local Server – lokalen API-Server starten
Die genaue Oberfläche kann sich ändern, aber das Prinzip bleibt: Modell laden, testen, Server starten.
Ein Modell wählen
LLMs können links im Menü unter „Model Search“ (Ctrl+Shift+M) Modelle suchen und herunterladen. Für den Anfang würde ich nicht direkt das größte Modell nehmen. Starte mit etwas, das zuverlässig läuft.
Gute Einstiegskategorien:
Allgemeiner Chat —> Llama-, Mistral-, Qwen-Instruct-Modelle
Programmieren —> Qwen-Coder, DeepSeek-Coder, CodeQwen, StarCoder-Varianten
Deutsch —> Modelle mit guter multilingualer Leistung, z. B. Qwen oder Llama-Instruct
Server starten
Links im Menüpunkt „Developer“ kann man die heruntergeladenen Modelle laden und einen lokalen API-Server dafür starten.
In den Server-Einstellungen kann man zwischen starten auf 127.0.0.1 oder Netzwerk-IP wechseln (Serve on local Network) wechseln.
Entsprechend wird die API-URL angezeigt:
Verbindung in Open WebUI einrichten
Öffne nach der Installation Open WebUI im Browser (http://localhost:8080) und klicke unten links auf dein Profilbild / Namen und gehe auf Admin-Bereich.
Dort im reiter „Einstellungen“ — > „Verbindungen“, dort fügt man bei OpenAI-API-Verbindungen verwalten eine neue Verbindung hinzu und trägt bei URL die API-URL mit /v1 am Ende ein. Z.B.: http://10.34.219.63:1234/v1.
Des weiteren empfiehlt es sich die Ollama Verbindungen zu deaktivieren sofern kein entsprechendes Model separat eingerichtet wird.
Testen
Sofern ein Modell im LM Studio geladen und der API-Server gestartet wurde sollte Open WebUI eine Verbindung aufbauen können und kann wie andere LLMs auch verwendet werden…
