Es gibt einige Möglichkeiten, große Sprachmodelle (large language models, LLM) auf seinem eigenen Rechner lokal laufen zu lassen. Mein Favorit ist LM Studio. Das ist ein kostenloses Programm, mit dem Sie Sprachmodelle laden und nutzen können – über eine grafische Nutzerschnittstelle, das heißt, ohne Coding und Kommandozeile. Fast so, als würden Sie mit ChatGPT oder einem anderen bekannten Sprachmodell im Browser chatten.
LM Studio installieren
Die Installation ist einfach: Laden Sie das Programm herunter unter lmstudio.ai. Die Seite erkennt automatisch Ihr Betriebssystem und bietet die passende Version an (MacOS, Windows oder Linux). Nach dem Download öffnen Sie die Installationsdatei und folgen den Anweisungen. Dann starten Sie LM Studio und werden vom Hauptbildschirm begrüßt, der direkten Zugang zum integrierten Modell-Hub bietet. Hier können Sie mit einem Klick auf das Lupen-Icon in der linken Seitenleiste („Discover“) die verfügbaren Open-Source-Modelle ansehen und diese nach Kategorien, Größe oder Bewertungen filtern. Um ein Modell zu installieren, klicken Sie rechts unten auf Download. Alternativ können Sie auch eigene Modelle im GGUF-Format über Add Model aus lokalen Dateien oder HuggingFace-Links importieren.
Das alles sagt Ihnen nichts? Kein Problem, dann geben Sie „Nemo“ im Suchfeld oben ein und sehen Sie die Treffer einem nach dem anderen an, bis Sie einen finden ohne die rote Warnmeldung, dass das Modell zu groß ist (siehe Abbildung). Dieses laden Sie dann herunter. Nemo ist ein mächtiges Modell von Mistral, den französischen Entwicklern von LeChat. Alternativ können Sie auch eine Variante von Llama ausprobieren, das von Meta/Facebook stammt.
Natürlich sind Sie im Vorteil, wenn Sie LM Studio auf einem leistungsstarken Computer laufen lassen können – idealerweise mit mindestens 16 GB RAM und einer aktuellen Grafikkarte. Je nach Größe der Modelle, die ich nutzen möchte, kann mehr Arbeitsspeicher erforderlich sein. Aber ich gehe einfach ganz pragmatisch vor und nutze die Modelle, die eben auf dem Gerät laufen, was mir zur Verfügung steht.
Meine Modelle, die mir derzeit für Website-Konzeption, UX-Design und Auswertung von Befragungen und User Research nützlich sind (in absteigender Reihenfolge, das heißt, meine Favoriten zuerst):
- mistral-nemo-instruct-2407
- deepseek-r1-distill-llama-8b
- llama-3.3-70b-instruct
Noch viel mehr Tipps zum Erstellen Ihrer eigenen Website finden Sie im Buch:
Websites schneller und vor allem besser erstellen – mit künstlicher und menschlicher Intelligenz.
