Moin,
wie nutzt ihr locale KI auf Euren Geräten ?
Ich beschäftige mich in letzer Zeit intensiver mit Lokaler KI. Hauptsächlich bin ich noch in der Phase wo ich mir einen Überblick verschaffe. erste Versuche liefen auf einem Mini PC ohne GPU, das war superlangsam für die einfachen LLM Sprachmodelle. Bei Stable Diffusion hat ein Bild mit den einfachsten Einstellungen locker 15 Minuten gebraucht, aber immerhin ging es überhaupt .-) Und dann ging die Suche nach der passenden Hardware, extra Board, und einer passenden GPU. los. Schnell war sicher dass ich mit einer Nvidia GPU die wenigsten Probleme haben würde, wenn ich nicht wirklich alles selber kompilieren wollte. Einen Rechner hab ich von einem Kumpel mit einer 6GB AMD GPU abstauben können, das lief auh nicht so super dollem da die meiste Software immernoch lieber CUDA Kerne zu rechnen hbaen will. Inzwischen kann man aber mit der nötigen Kohle mit MAC Rechner viel erreichen, aber das war mir für den Anfang auch zu teuer, so bin ich dann nach langer Suche unr der Frage ob die Karte dann auch wirklich gut läuft bei einer Nvidia Gygbyte RTX 5060 ti mit 16 GB Vram gelandet. Und da macht die Nutzung vo solchen Tools wie Stable Duffusion schon richtig Spaß. Und LLM zuj hosten und mittels Ollama mit fiversen Modellen zu quatschen, um zu gucken wo die Stärken und die Schwächen liegen ist auch sehr cool.
Langfristig will ich mir Agenten bauen und damit experimentieren. Kurzfristig hab ich Ollame auf einem Raspberry PI 5 installiert, und da laufen einige Modelle zufriedenstellend drauf 
Und mein erster Agent schafft es bereits sicher die Temperatur der CPU lokal auszulesen , auch wen das noch so 4 Minuten dauert....:-) Aber dafür muss da kein Netzteil mit 850 auf dauer laufen...
So das war es erstmal von mir.
LG Olav
