KI Sprachmodelle - LLM lokal laufen lassen .

Hallo Leute,

ich beschäftige mich seit etwa einen Jahr intensiv mit dem Thema KI,und insbesondere wie man am besten KI @home also lokal nutzen kann, und was man mit welcher Hardware aktuell damit wie anstellen kann. Dazu würde ich mich gerne austauschen.

Mein KI Setting besteht um möglichst viel aus der KI rausholen zu können, aus einer reinen Server Installation mit Ubuntu 25.10, nicht weil die Distro so toll ist, sondern eher der Tatsache geschuldet, dass die im Oktober die einzige war, wo ich meine Nvidia RTX 5060 ti mit 16 GB vRAM zu laufen gebracht habe.

Mein Hauptsytem mit Ollama als LLM Host, und zum Bildergenerieren Z-Image, und Stable Diffusion

OS: Ubuntu 25.10 x86_64
Host: MS-7693 4.0
CPU: AMD FX-8300 (8) @ 3.300
GPU: NVIDIA GeForce RTX 5060 16GB vRAM
RAM: 32 GB

Als aktuelles Projekt experimentiere ich mit ClaudeCode und der Möglichkeit das Framework komplett lokal laufen zu lassen, allerdings nicht auf einem Computer,sondern auf 2 Systemen, um für das Gehirn also das LLM möglichst viel Speicher zu haben. ClaudeCode läuft auf einem ESPRIMO Q920 unter Ubuntu 24.04 16GB RAM, und LXQT .

Was sind Eure Projekte, oder interessiert Euch lokal KI garnicht ?

LG Olav

Quote from nicoletta

RTX 4000 / 5000 ist da wohl besser geeignet. Also keine Gaming-Karte

Besser geht immer: wenn ich die Kohle hätte würde ich mir zur zeit einen Apple Cluster auf 4 MAC aus 4x 128Gb bauen. Aber zur zeit muss eben eine RTX 5060 ti mit 16GB vRAM ausreichen .-)

Moin,

Quote from Lessli

Meine Intention ist die gleiche wie bei dir. Ich experimentiere viel mit lokalen KI's. Das nimmt alles sehr viel Zeit in Anspruch.

Ja, das kann ich bestätigen, aber das war in der IT immer wenn man an die technischen Grenzen der Consumer Hardware gegangen ist.

Quote from Lessli

Die meisten Text KI Modelle bringen kaum einen guten deutschen Satz hervor. Die KI Modelle, die dass tatsächlich schaffen, haben

Habe ich jetzt weniger im Fokus, ich nutze lokale KI eher für Coding, im Moment probiere ich einen localan Agenten über ClaudeCode an Ollama zu fahren, naja...das verwendete Modell macht bei 9B Probleme, da werde ich wohl ein 27B nutzen müssen, aber wenn der Agent nicht gerade halozioniert kann er schon selbständig Pyhton Code schreiben, ganz simple Sachen wie Schreibe mir ein Python Script, welches die Zahl PI mit 100 Stellen ausgibt funktinioeren so lala wie gesagt, ich wrde da noch andere Modelle ausprobieren.

Quote from Lessli

dann immer wieder Probleme: Hängen in einer Schleife, vergessen Information, vertauschen Information, usw. oder auch sind extrem langsam.

Und da spreche ich von einfachen kleinen Konversationen über das Wetter & Co.

es kommt sicher sehr auf den Setting und auf die verwendete Hardware an: Aber über das aktuelle Werter sprechen ist auch nicht gerade simpel für ein einfaches LLM, dazu muss es ja Toolcalling beherschen, und auch das richtige Tool zur richtigen Zeit nutzen. (wetter abrufen) Und genau da trennt sich schnell die Spreu vom Weizen.

Quote from Lessli

Ich habe mal eine Testreihe laufen lassen mit einfachen Wissensfragen (nach dem Schema "Welcher Tag folgt nach dem Montag?"). Nur ein Bruchteil konnte solche Fragen auch richtig beantworten.

Möglicherweise hast du zu früh aufgegeben, oder deine Modelle waren zu KLEIN: Gerade hab ich den test mit qwen3.5:9b-q4_K_M gemacht:

Quote from Lessli

Bilderkennung läuft auch nur mäßig. Im Ansatz meist schon gut. Sobald es spezifischer wird, sind die Ergebnisse durchwachsen.

Da habe ich auch andere Erfahrungen, wobei ich auch das perfekte Vision Modell noch nicht gefunden habe, aber z.T. sind lokale Modlle sogar den großen Modellen die bei Gemini und Co laufen überlegen, nach dem Motte lese mal de Text aus dem Bild aus und gib den dann als reinen .MD aus, daran scheinert Gemini so manches mal...:-) Mit einem Mistral 9B Modell glaub ich mich zu erinnern, ging das nach einem "Du sollst nicht kommentieren,sondern nur den Text ausgeben" beim 2. Anlauf .-)

Quote from Lessli

Die Bildgenerierung war bei mir bisher am schwierigsten, weil es schon oft an der Installation scheiterte. Wenn es aber doch geklappt hat, waren die Bilder eher unbrauchbar.

Das Problem kann zu 90% behoben werden. Die restlichen 10% würden dann eher vom OS und deiner Hardware abhängen, ob die klassischen Tolls lokal bei Dir laufen. Auf meiner Kiste wie im aAnfangs Posting geschrieben läuft im Prinzip fast alles für Bildgenereierung: Ob nun stable Devision, Z-Image, ComfyUi, und seit Heute läuft auch das Videogeneieren mit WAN2GP stabil ! --> hab ich mir ein Loch in den Bauch gefreut <--

Quote from Lessli

Einstellungen usw. Aber auch auch ein gpt-oss würde ich nicht an produktive Aufgaben lassen wollen.

GPT-OSS ist in meinen Augen auch nicht mehr Stand der Entwicklung, die geht rasend schnell vorra, und fast jede Woche erscheinen neue oder speziell trainierte "neue" Modelle. Ich bin im Momet auf dem qwen3.5 Tripp, - bis noch was besseres veröffentlicht wird...

Quote from Lessli

Für die größeren (guten) Modelle, benötigt man entsprechende Hardware. ...... Und ob es einem das Wert ist?!

Mir wäre es das, aber ich kann die Kohle im Momet nicht aufbringen.

Als Kompromiss fahre ich einen Teil meines Settings über Open Router, und einen Teil über Gemini, sozusagen ein wenig gemischt.

Quote from Lessli

Die Probleme, was ich mit den lokalen KIs festgestellt habe, habe ich aber auch bei aktuellen offiziellen großen Anbieter auch festgestellt. Nur treten da die Probleme nicht so schnell auf (oder fallen weniger auf).

Ja, so ist das zur Zeit mit alle LLM egal ob die nun lokal oder in der Cloud laufen, Fehler machen alle. -noch-

Quote from Lessli

Mich würde brennend interessieren, ob jemand ein lokales KI Modell im produktiven Einsatz hat. Oder überhaupt überzeugende Ergebnisse bekommt.

Ja, die Frage ist aber immer - welche Ansprüche habe ich das das Thema, und welche Kompromisse gehe ich ein, also bis wohin nützt mir die KI, für mein Thema, oder sollte ich zwischendurch mal 2 Monate warten, und es dann nochmal mit einem 2. Anlauf und einem anderem Modell versuchen.

LG Olav

Heute war mein Durchbruch beim Videogenerieren. Die Aufgabe war dass ein Pinguinn durch ein Rechenzentrum laufen sollte, und Das ist dann dabei rausgekommen, 100% lokal mit WAN2GP erzeugt, auf einer Nvidia RX 5060 Tu 16GB vRAM unter Ubuntu 25.10 LG Olav

Quote from Immiperium

mit AMD Ryzen 5 PRO 4650U und Radeon RX Vega 6 (Ryzen 4000/5000 Mobile Series)] - also wirklich nix dolles - und selbst da konnte ich Nemotron Nano 4B oder Qwen3.5 9B zum Laufen bringen. Finde die Verarbeitungszeit für Fragen okay

Ja, die Idee das mit der AMD CPU zu erledigen, ist gut, und reicht für reine Sprwchemodelle aus, ich hab hier auch noch mal schnell meine "Spiele und Musik" Kiste angeworfen und einUbuntu mit Ollama installiert, und ist auch ok. Leider reicht es aber offenbar von der Geschwindigkeit nicht aus um damit sowas wie ClaudeCode zu betreiben. Aber zum chatten und als Fallback wenn mal ein anderer LLM Host ausfällt ist wäre so ein Rechner auf jeden Fall noch eine gute Lösung.

LG Olav

Quote from Immiperium

Ja, für sehr kleine, einfache KI-Modelle reicht mein Laptop. Ist jetzt für esrste Schritte auch völlig okay. Habe im Zuge meiner Recherchen auch von Pinokio gelesen. Klingt auch sehr spannend. Z. B. weil man damit auch Bild und Videogeaneration machen kann, aber so einfach das auch sein soll - man braucht dafür eben eine stärkere Hardware.

Ja, um Videos zu generieren, brauchst du du gute Hardware, sofern du nicht Tage auf die Ergebnisse warten willst. Und das Problem kann auch die Unterstützung der Hardware an sich sein, wenn Ollama läuft bedeutet das ja nicht dass andere Software auch gut läuft. Pinokio ist ein gute s Projekt, kann da aber leider auch nicht die fehlende Treiberunterstützung liefern. Es vereinfacht aber die reine Installation, Alle Projekte innerhalb von Pinokio laufen über Anaconda isoliert, so dass du dir z.B. nicht die normale Python Umgebung zerschießen kannst.Was auf jeden Fall funktioniert idas WAN2GP, für Video. Allerdings habe ich dafür eine fette NVIDIA 5060 ti GPU 16GB vRAM. Keine Ahnung, ob das mit einem "NUC" klappen würde. Audio also Musik erzeugen funktioniert unter Pinokio zur Zeit mit meiner Hardware z.B. auch noch nicht. Da gibt es ständig Probleme mit Pytorch, und wenn das gelöst ist, ist die nächste Abhängigkeit im Weg. Manche Projekte laufen nur mit python 3.10 und meine Hardware ist zu neu. ich benötige eher 3.12. Naja, - da haben die Entwickler noch einiges zu tun.

Aber im Moment geht ist mein Fokus eher in eine andere Richting. LLM mit agentischem Workflow, RAG, MCP, und so Krempel, mit dem Ziel mit kleineren Modellen gut coden zu können, und dabei noch die Halluzinationen deutlich zu verringern. Ziel soll sein mit einem 9B Modell z.B. ClaudeCode benutzen zu können...

LG olav