Hi,
ich will mich auch gerne über das Thema austauschen. Leider finde ich keine guten deutschsprachigen Communitys im Internet.
Meine Intention ist die gleiche wie bei dir. Ich experimentiere viel mit lokalen KI's. Das nimmt alles sehr viel Zeit in Anspruch.
Mein aktueller Stand: Es ist ernüchternd.
Die meisten Text KI Modelle bringen kaum einen guten deutschen Satz hervor. Die KI Modelle, die dass tatsächlich schaffen, haben dann immer wieder Probleme: Hängen in einer Schleife, vergessen Information, vertauschen Information, usw. oder auch sind extrem langsam.
Und da spreche ich von einfachen kleinen Konversationen über das Wetter & Co.
Aber auch bei der Bewältigung von Textverarbeitung: Texte zusammenfassen, bestimmte Informationen aus einen Text filtern u.ä. es funktioniert nicht zuverlässig.
Ich habe mal eine Testreihe laufen lassen mit einfachen Wissensfragen (nach dem Schema "Welcher Tag folgt nach dem Montag?"). Nur ein Bruchteil konnte solche Fragen auch richtig beantworten.
Bilderkennung läuft auch nur mäßig. Im Ansatz meist schon gut. Sobald es spezifischer wird, sind die Ergebnisse durchwachsen.
Die Bildgenerierung war bei mir bisher am schwierigsten, weil es schon oft an der Installation scheiterte. Wenn es aber doch geklappt hat, waren die Bilder eher unbrauchbar.
Insgesamt bin ich status jetzt der Meinung, dass die Zeit für lokale KI Modelle noch nicht gekommen ist. In keinem Fall würde ich ein lokales KI Modell irgendwelche produktive Aufgaben geben wollen.
Ich will es nicht grundsätzlich schlecht reden, viele KI Modelle funktionieren auch relativ gut (z.B. der klassiker gpt-oss-20b). Und man muss auch beachten, jedes Modell benötigt evtl. auch andere Einstellungen usw. Aber auch auch ein gpt-oss würde ich nicht an produktive Aufgaben lassen wollen.
Für die größeren (guten) Modelle, benötigt man entsprechende Hardware. Und da meine ich nicht bessere Gaming PCs, sondern da muss man schon mehrere Tausend Euros lassen. Je mehr desto besser. Und dann schätze ich, niemals wird man den Stand der aktuellen großen Modelle erreichen. Vermute aber, dass man da mit paar Abstrichen heran kommen könnte. Eine Garantie gibt es nicht. Und ob es einem das Wert ist?!
Deswegen denke ich, für lokale Modelle mit guten Ergebnissen muss noch auf die Weiterentwicklung gewartet werden.
Die Probleme, was ich mit den lokalen KIs festgestellt habe, habe ich aber auch bei aktuellen offiziellen großen Anbieter auch festgestellt. Nur treten da die Probleme nicht so schnell auf (oder fallen weniger auf).
Mich würde brennend interessieren, ob jemand ein lokales KI Modell im produktiven Einsatz hat. Oder überhaupt überzeugende Ergebnisse bekommt.
Lessli