Ich bin ein sporadischer Leser der Linux Welt und dort wird regelmäßig über den Betrieb von KI/LLMs lokal auf dem Rechner berichtet, z.B. mit Ollama.
Aus Datenschutzgesichtspunkten finde ich das super. Derzeit nutze ich noch Duckduckgo AI, aber wer weiß wie lange es diesen Service noch geben wird, zudem wie stets auch ein US-Unternehmen.
In der Linux Welt wird immer erwähnt, dass man zum lokalen Betrieb letztlich eine dedizierte (Nvidia) Grafikkarte benötige, weil es sonst keinen Spaß mache,
Falls jemand hier Erfahrung hat, stimmt das?
Ich möchte es hauptsächlich als Codinghilfe für Linux Skripte oder Java für die Uni benutzen und muss auch nicht notwendigerweise das allerbeste Modell haben, da ich nebenbei trotzdem noch kräfitg Suchmaschinen benutze oder Bücher (ich weiß wow
).
Falls das zutrifft mit einer dedizierten Grafikkarte, wäre ich auf der Suche nach einer, die ich an meinen Laptop anschließen könnte und die ein gutes Preisleistungsverhältnis hat.
Ich habe auch noch einen Standrechner, der ca. 10 Jahre alt ist, mit Nvidia Grafikkarte, der zum Gamen damals benutzt wurde.
Ich bin einfach mal gespannt auf eure Antworten/Erfahrungen/Meinungen.