Stable Diffusion lokal

Hallo, ich wollte mal meine Erfahrungen mit Stable Diffusion kund tun. Das Thema reizt mich schon länger, aber jetzt habe ich mich mal näher damit beschäftigt und das ganze lokal auf meinem Rechner installiert.

Zum Einstieg habe ich mir das Video von BoCodemy angesehen. Ich habe dann auch die Stable-Diffusion-Webui von AUTOMATIC1111 installiert, was bei Arch-basierten Linux-Distributionen ganz einfach über das AUR geht.

Bei Manjaro einfach mit

$ pamac build stable-diffusion-web-ui-git

Das ganze landet dann unter

/opt/stable-diffusion-web-ui

Die Benutzer- und Gruppenrechte habe ich dann allerdings geändert, von zunächst root:root in username:users.

Bei meinem Rechner, der gemäß heise-Bauvorschlag "Der optimale PC 2018 - Intel Allrounder" mit Nvidia RTX 2070 SUPER gebaut ist, lassen sich damit schon recht beeindruckende Ergebnisse erzielen.

Gemäß Video habe ich mir dann die Modelle

stable-diffusion-xl-base-1.0 und

stable-diffusion-xl-refiner-1.0

heruntergeladen.

Gestartet wird das ganze dann mit

./webui.sh --xformers --medvram

Danach öffnet sich ein Browser-Fenster, indem dann Prompt und Negativ-Prompt erscheinen. Mit

./webui.sh --xformers --medvram --listen

kann man das auch im lokalen Netz verfügbar machen.

Bei neueren Grafikkarten mit mehr vram, kann der Schalter --medvram weg gelassen werden.

Ein paar Beispiele (mit stable-diffusion-xl-refiner-1.0 erstellt):

Eine Sache hatte mich allerdings etwas beunruhigt: In unabhängigen Abständen mache ich einen Scan meiner Rechner mit desinfect, und der schlug bei der Datei

stable-diffusion-web-ui/venv/lib/python3.11/site-packages/gradio/frpc_linux_amd64_v0.2

an. Ich habe das ganze dann mal nach VirusTotal hoch geladen, da gab es auch eine Warnung bei 34 von 64 Virenscannern. Auf der entsprechenden GitHub-Seite von gradio gibt es auch Hinweise dazu, das sagt der Entwickler lediglich, dass es kein Virus sei.

Soweit mal meine Erfahrungen, was denkt Ihr über die Software generell und speziell zu dem Problem mit der - evtl falschen - Virenwarnung? Bin gespannt auf Euer Feedback.

Das Thema lässt mich gar nicht mehr los. Ich habe mir jetzt noch eine weitere GUI installiert, die ein komplett anderes Konzept verfolgt: ComfyUI. Das schöne daran ist, dass wenn man es parallel zu Automation1111 installiert, man durch eine kleine Anpassung in einer optionalen Datei auf die bereits mit Automation1111 heruntergeladene und eingerichtete virtuelle Pythen-Umgebung und auf die bereits heruntergeladenen Modelle/Checkpoints, LoRas und VAEs etc zugreifen kann.

Im Moment kann ich nicht sagen, welches mir besser gefällt, die sind grundverschieden, aber gefallen mir beide gut. Evtl. kann ich mehr sagen, wenn ich wesentlich mehr damit gemacht habe. Anbei zwei Beispiele, ebenfalls mit stable-diffusion-xl-base-1.0 erstellt.

Hm... bei meiner Nvidia habe ich nur 8 GB VRAM. Ich nutze daher den Schalter --medvram, bei weniger VRAM kann man noch den Schalter --lowvram probieren. Hätte gedacht bei 16 GB braucht man den Schalter nicht, aber kannst ja mal damit probieren. Dann dauert das Rechnen entsprechend länger, aber mit meiner bereits in die Jahre gekommenen 8 GB Karte geht es damit.

Eine Übersicht der möglichen Schalter gibt es hier: Optimizations

Schau mal hier: Install and Run on AMD GPUs

Da gibt es noch paar Infos zur Verwendung mir Arch und AMD.