Lokales LLM unter Linux, Grafikkarte notwendig?, Kaufempfehlung

  • Ich bin ein sporadischer Leser der Linux Welt und dort wird regelmäßig über den Betrieb von KI/LLMs lokal auf dem Rechner berichtet, z.B. mit Ollama.
    Aus Datenschutzgesichtspunkten finde ich das super. Derzeit nutze ich noch Duckduckgo AI, aber wer weiß wie lange es diesen Service noch geben wird, zudem wie stets auch ein US-Unternehmen.
    In der Linux Welt wird immer erwähnt, dass man zum lokalen Betrieb letztlich eine dedizierte (Nvidia) Grafikkarte benötige, weil es sonst keinen Spaß mache,
    Falls jemand hier Erfahrung hat, stimmt das?

    Ich möchte es hauptsächlich als Codinghilfe für Linux Skripte oder Java für die Uni benutzen und muss auch nicht notwendigerweise das allerbeste Modell haben, da ich nebenbei trotzdem noch kräfitg Suchmaschinen benutze oder Bücher (ich weiß wow 8|).
    Falls das zutrifft mit einer dedizierten Grafikkarte, wäre ich auf der Suche nach einer, die ich an meinen Laptop anschließen könnte und die ein gutes Preisleistungsverhältnis hat.
    Ich habe auch noch einen Standrechner, der ca. 10 Jahre alt ist, mit Nvidia Grafikkarte, der zum Gamen damals benutzt wurde.

    Ich bin einfach mal gespannt auf eure Antworten/Erfahrungen/Meinungen.

  • Go to Best Answer
  • zum lokalen Betrieb letztlich eine dedizierte (Nvidia) Grafikkarte benötige

    Grafikkarte - die spezialisierten Rechenkerne einer GPU sind immer besser als nur die universelle CPU. Selbst die GPU Einheit des AMD Chips in meinem Minis V3 ist bedeutend schneller beim LLM als nur die CPU zu verwenden. (das habe ich anfangs, als der 8840U noch nicht von ROCM unterstützt wurde, schnell aufgegeben)

    Das nächste wichtige ist SPEICHER. Speicher. Und noch mehr Speicher :) (weswegen der gerade immer teurer wird)

    Die Modelle für die KI sind besser je größer sie sind, enthalten mehr "Parameter" mit denen gearbeitet wird. Und so ein Modell sollte idealerweise ganz in den Speicher geladen werden. Hier im Beispiel läuft nur das kleine deepseek mit 3.xGB. Reicht zum ausprobieren.

    Die integrierte GPU hier im Beispiel hat keinen eigenen speziellen Grafik-Speicher. Das macht es nochmals langsamer.

    Für gute KI-Leistung also dedizierte Grafikkarte mit möglichst viel Speicher.

    Ich nutze hier ollama und ollama-lab als Chat-Frontend.

    The content cannot be displayed because you do not have authorisation to view this content.

    EndeavourOS mit KDE & Wayland auf verschiedenen Geräten mit AMD & Nvidia in diversen Kombinationen

  • Danke euch beiden für eure Antworten. gpt4all wurde auch in den Zeitschriften erwähnt. Ob es dann Ollama oder gpt4all wird, werde ich in der Zukunft sehen, mir geht es gerade nur um die Frage nach der Grafikkarte.

    JensA Du würdest also eine dedizierte Grafikkarte empfehlen. Hast du denn Erfahrungen damit bzgl. Laptops?
    Ja dem Speicher-Wahnsinn wäre ich beim Kauf des neuen Laptops und eigener Aufrüstung auch fast letztes Jahr zum Opfer gefallen, hatte aber nochmal Glück und einen günstigen Anbiter gefunden, ging ja wirklich quasi über Nacht.
    Mein Laptop ist etwas älter, möglicherweise bekomme ich da noch günstiger etwas Speicher. 16 GB sollten schon drinnen sein. Denkst, du das reicht?
    Wie gesagt, ich möchte kein Training o.ä., nur ein bisschen Chatten für die alltäglichen Sachen so.

  • Da kann ich keine Empfehlung geben. Fürchte aber es wird teuer.

    Ach so, älterer Laptop kann schon ein Hindernis sein. Schau mal auf https://egpu.de/tools/konfigurator/ welchen Anschluss der Laptop für das Externe GPU Dock haben muss

    EndeavourOS mit KDE & Wayland auf verschiedenen Geräten mit AMD & Nvidia in diversen Kombinationen

  • Ludwig1 February 20, 2026 at 7:46 PM

    Selected a post as the best answer.
  • Das ist eine ziemlich coole Seite :thumbup: Die Docks sind halt auch echt teuer. Gibt es jetzt dank KI doch wieder ein Revival der Standrechner.

  • Ich werfe mal LM Studio in den Raum. Mit der Oberfläche arbeite ich sehr gerne.

    Desktop PC : MINIS FORUM UM790 Pro, AMD Ryzen 9 7940HS, Crucial 32GB DDR5-5600, Crucial P3 Plus 1TB + 2TB OS: Linux Mint 22.2

    Laptop: HP EliteBook 845 G8, 32 GB DDR4, AMD Ryzen 7 Pro 5850U, Crucial P3 Plus 1 TB SSD OS: Linux Mint 22.2

    Server 1: NiPoGi GK3 Plus Mini PC, Ιntel Alder Lake-N95, 8GB RAM, 256GB M.2 SSD, 128GB 2,5" SATA SSD OS:Proxmox

    Server 2: Wyse 5070 Thin Client, 24 GB Ram, 1 TB WD Blue M.2 OS:Proxmox

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!