Llama3 Modelle sind draussen, selbst die 8B Variante kann relativ gut Deutsch, laut Blogbeitrag sind nur etwa 5% der Trainingsdaten nicht-englisch gewesen und spalten sich in über 30 Sprachen auf.
Beitrag zu den Modellen: https://ai.meta.com/blog/meta-llama-3/
Die ersten Quantisierungen waren fehlerhaft, konnte man mit llama.cpp so beheben:
./gguf-py/scripts/gguf-set-metadata.py models/llama3/Llama-3-13B-Instruct-v0.1.Q8_0.gguf tokenizer.ggml.eos_token_id 128009
War die Datei nicht betroffen, kam: Ist schon der Wert.
GGUFs der Instruct-Modelle gibt es hier:
QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging Face
huggingface.co
QuantFactory/Meta-Llama-3-70B-Instruct-GGUF · Hugging Face
huggingface.co
Viel Spaß beim Testen.