Lokale AI Chat / lokale LLM

Ich nutze hin und wieder lokale KIs - indirekt über Ollama verwalte es aber über Alpaca (https://flathub.org/apps/com.jeffser.Alpaca) da ich eine GUI einfach bevorzuge.

Ich nutze es aber hauptsächlich nur um die Modelle etwas anzutesten. Mein Notebooks hat für die grossen Modelle eh zu wenig Leistung - und da nutze ich dann lieber direkt Luma oder Perplexity.

Nutze hin und wieder Lokale KI. Habe auch schon einige Oberflächen in Zusammenhang mit Ollama Ausprobiert. Jan.AI war ganz gut, hat sich aber bei mir nach einen der Letzten Updates bei mir zerlegt. Alpaca ist nicht Schlecht, aber ich bin guten Endes bei Hollama Hängen geblieben.

Ich habe mit Alpaca ein paar Modelle ausprobiert und tue das immer noch ab und zu. Aber eher aus persönlichem Interesse wie gut die lokalen Modelle mittlerweile sind. Produktiv einsetzen tu ich die nicht, dafür nutze ich dann hauptsächlich ChatGPT oder Perplexity. Die eignen sich für mich besser weil ich KI sehr gerne als Suchmaschinenersatz nutze und ich aktuelle Informationen möchte, auch für Problemlösungen usw.

Nutze zur Zeit SpeechNote (Flatpak Speechnote) mit FasterWhisper um per Spracheingabe Texte in transkribieren. Es ist gut und erfüllt seinen Dienst, dennoch hoffe ich das mit ffmpeg 8, es demnächst Alternativen dafür gibt. Vorstellbar bspw. wäre eine native Integration in LibreOffice.

Desweiteren nutze ich Chainner (Github Chainner), mit welchem ich einige Bildbearbeitungsaufgaben wie Upscaling erledige. Die Modelle hierfür gibt es bei OpenmodellDB.

Generell taste ich mich selbst erst einmal an diese Geschichte heran. Denn ich muss auch letzten Endes meine Hardware, die auch nicht mehr die Jüngste ist, im Auge behalten. kim88 hat mir schon Alpaca empfohlen, kam aber noch nicht dazu, es in meiner Umgebung einzusetzen.

Quote from gugidudugie

MyLibertad Danke für die Tipps: SpeechNote sieht interessant aus. Chainner kenne ich schon. Upscaler habe bisher auf Basis von 1111 gemacht und ein paar Test mit Comfy Ui und entsprechenden Modellen, bevor es die OpenModelDB gab. Demnächst habe ich etwas Zeit damit zu spielen.

Sehr gerne. Bin auch die ganze Zeit am Spielen. Demnächst ist Paperless AI dran, aber rein lokal. So viele tolle Dinge und nur ein MyLibertad.

Moin,

ich beschäftige mich in letzter Zeit intensiver mit Lokaler KI. Hauptsächlich bin ich noch in der Phase wo ich mir einen Überblick verschaffe. erste Versuche liefen auf einem Mini PC ohne GPU, das war super langsam für die einfachen LLM Sprachmodelle. Bei Stable Diffusion hat ein Bild mit den einfachsten Einstellungen locker 15 Minuten gebraucht, aber immerhin ging es überhaupt .-) Und dann ging die Suche nach der passenden Hardware, extra Board, und einer passenden GPU. los. Schnell war sicher dass ich mit einer Nvidia GPU die wenigsten Probleme haben würde, wenn ich nicht wirklich alles selber kompilieren wollte. Einen Rechner hab ich von einem Kumpel mit einer 6GB AMD GPU abstauben können, das lief auch nicht so super vor allem da die meiste Software immer noch lieber CUDA Kerne zum rechnen haaen will. Inzwischen kann man aber mit der nötigen Kohle und einem MAC Rechner viel erreichen, aber das war mir für den Anfang auch zu teuer, so bin ich dann nach einiger Suche und der Frage ob die Karte dann auch wirklich gut läuft bei einer Nvidia Gygbyte RTX 5060 ti mit 16 GB Vram gelandet. Und da macht die Nutzung von solchen Tools wie Stable Duffusion schon richtig Spaß. Und LLM zum hosten und mittels Ollama + Webui mit diversen mittelgroßen Modellen meistens den 7B Modellen zu quatschen, um zu gucken wo die Stärken und die Schwächen liegen ist auch sehr cool. Größere Modelle laufen auch noch, brauchen dann aber länger bei den Antworten, und viel mehr Speicher...

Langfristig will ich mir Agenten - Tools bauen und damit experimentieren. Kurzfristig hab ich Ollama auf einem Raspberry PI 5 installiert, und da laufen einige Modelle zufriedenstellend drauf Und mein erstes Tool schafft es bereits sicher die Temperatur der CPU lokal auszulesen , auch wen das noch so 4 Minuten dauert....:-) Aber dafür muss da kein Netzteil mit 850 auf Dauer laufen. Auf Dauer will ich da einen Agenten basteln, der z.B. auch mit dem Homeassistant zusammen arbeiten können soll.

So das war es erst einmal von mir.

LG Olav

Quote from o-mobil

mein erstes Tool schafft es bereits sicher die Temperatur der CPU lokal auszulesen , auch wen das noch so 4 Minuten dauert

Also 4 Minuten mittels der AI die CPU schön beschäftigen damit auch respektable Temperaturen bei rauskommen?

Quote from JensA

Also 4 Minuten mittels der AI die CPU schön beschäftigen damit auch respektable Temperaturen bei rauskommen?

Für eine Heizung reichen gerade mal 10 Watt leider nicht. Aber man braucht offenbar mindestens 7B Modelle, andernfalls raffen es die LLM nicht mit Tools umzugehen, und dazu auch noch sinnvolle Antworten zu geben...