Und schon tauchen die ersten Fälle böser Malware durch ChatGPT und Co auf. War ja eigentlich nur eine Frage der Zeit.
Das Ganze nennt sich “AI package hallucination”.
Im Prinzip läuft das so ab, dass man einer KI wie ChatGPT einen Auftrag gibt, irgendeine Programm/Script/etc zu schreiben. Dabei kommt es wohl häufig vor, dass die KI dann Packages implementiert und abrufen möchte, die es gar nicht gibt. Jetzt haben Angreifer sehr viel Code von ChatGPT generieren lassen und geschaut, welche Packages die KI angibt und implementieren will. Dann haben sie Malware erstellt und der die Namen der Packages gegeben. Diese haben sie dann in bekannte Repositories geladen.
(Bildquelle: https://vulcan.io/blog/ai-hallucinations-package-risk)
Nun geht der nächste Nutzer her und lässt ein Programm schreiben und die KI fügt dann mal2ware.evil ein. Der Nutzer zieht es und schon wird Malware implementiert.
Hier auf englisch nachzulesen: https://vulcan.io/blog/ai-hallucinations-package-risk