AI Modelle lokal und ohne API Key nutzen

Ich verwende llama.cpp für Text2Text. Für deutsche Sprache bin ich beim Modell mixtral-8x7b-instruct-v0.1 gelandet, das 8 Experten a 7b vereint. Zusätzlich kann llama.cpp auch Bilder per Llava - da teste ich gerade das 34b Modell - Llava 1.6 - beschreiben.

GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++

Port of Facebook's LLaMA model in C/C++. Contribute to ggerganov/llama.cpp development by creating an account on GitHub.

github.com

Zur Bildergenerierung bin ich bei Automatic1111 gelandet:

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account on GitHub.

github.com

Untertitelgenerierung und Übersetzen nach Englisch: Whisper bzw. whisper.cpp

GitHub - ggerganov/whisper.cpp: Port of OpenAI's Whisper model in C/C++

Port of OpenAI's Whisper model in C/C++. Contribute to ggerganov/whisper.cpp development by creating an account on GitHub.

github.com

Bei "kostenlos" muss man aufpassen, nicht alle Modelle sind für den kommerziellen Einsatz zugelassen, d.h. Thumbnails für monetarisierte Youtubevideos erstellen lassen, ginge dann vielleicht schon nicht.

Mich wundert es, dass der Thread so wenig Beachtung bekommt. Hauke hat schon paar Videos zu lokalen KI-Anwendungen veröffentlicht. Als ich mein Notebook konfiguriert und bestellt hatte, wollte ich nur gut virtualisieren können, drum wurde es ein Gerät ohne dezidierte Grafikkarte. KI-Zeugs läuft jetzt nur auf der CPU, dank 64 GB Ram und bisschen Geduld passt das.

Llama3 Modelle sind draussen, selbst die 8B Variante kann relativ gut Deutsch, laut Blogbeitrag sind nur etwa 5% der Trainingsdaten nicht-englisch gewesen und spalten sich in über 30 Sprachen auf.

Beitrag zu den Modellen: https://ai.meta.com/blog/meta-llama-3/

Die ersten Quantisierungen waren fehlerhaft, konnte man mit llama.cpp so beheben:

./gguf-py/scripts/gguf-set-metadata.py models/llama3/Llama-3-13B-Instruct-v0.1.Q8_0.gguf tokenizer.ggml.eos_token_id 128009
War die Datei nicht betroffen, kam: Ist schon der Wert.

GGUFs der Instruct-Modelle gibt es hier:

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging Face

huggingface.co

QuantFactory/Meta-Llama-3-70B-Instruct-GGUF · Hugging Face

huggingface.co

Viel Spaß beim Testen.