Es kann nur ausgegeben werden was vorher erfasst worden ist, wie immer ohne "input no output"
Wenn diese Helferlein (KI) mal über das bloße Zusammensetzen/-suchen hinausgehen, dann fallen mir da schon ein paar konkrete Aufgaben ein: Eine KI könnte eigentlich in der Lage sein, Quellcodes zu verstehen, die für ein Hirn schlicht zu komplex sind. Eine KI müsste doch eigentlich schlimme Dinge wie Closed Source Treiber auf Binärpaketen dekompilieren können!? 
Vielleicht könnte eine KI auch den daraus resultierenden unverständlichen Code mit Hilfe von von Open Source Quellcodes in Beziehung setzen und größtenteils mit verständlicheren Bezeichnern für Variablen und Funktionen versehen... Sowas wäre ziemlich sinnvoll, um Geräte länger nutzen zu können, deren Support abgelaufen ist.
Sicherheitslücken in Quellcodes könnte eine sogenannte KI wahrscheinlich auch aufdecken. Ich könnte mir eine KI als ziemlich mächtige Hilfe vorstellen, wenn jemand einer KI alle Quellcodes einer Linux-Distribution beibrächte.
Ganz simple Einstiegsaufgabe: Könnte eine KI nicht theoretisch für jede man-page eine UI mit Erläuterungen/Hilfen bauten? Sie könnte dabei auch berechnen, ob Annahmen aus der man-page so im Quellcode funktionieren würden.
Aber das alles würde in einem Disaster enden, solange die KI nur eine ungenaue Lügenmaschine ist (Google-Suche). Ich neige noch dazu, Large Language Models logische Genauigkeit korrekter Algorithmen zu unterstellen... 
Ich habe das System und den Sinn einfach noch nicht begriffen.
Es wird so viel Positives über KI geschwafelt/geträumt, dass konkrete und korrekte/inkorrekte Ergebnisse total untergehen.
Ich habe ein bisschen Sorge wie lange es noch dauert bis wir unsere Hirn deaktivieren.
Spielst Du auf Manfred Spitzer an? 
Wir sollten alle mal eine gehörige Portion Zurückhaltung gegenüber Innovationen nachtanken. Informationen über Innovationen zu streuen ist schon wichtig, um was neues zu lernen, aber sich (und andere) mit Hoffnungen zu überschütten, obwohl man nicht weis worüber man redet, endet immer in Enttäuschung für jene, die dann tatsächlich was daraus machen wollen und sollen.
Wenn gleichzeitig begründetes, kritisches Feedback als Innovationsfeindlichkeit diffamiert wird... 
Irgendwann bleibt einfach nur ein zutiefst frustriertes Heer von dysfunktionalen Technikern übrig, die kaum noch über verlässliche Tools verfügen, um auch nur etwas in die Richtung der abgehobenen Vorstellungen/Träume der Auftraggeber zu realisieren.
... und etwas später äußert sich niemand mehr, der irgendwas realisieren könnte/wollte.
Man muss alle Äußerungen filtern, die nach undifferenziertem Hype riechen und sich das vor allem selbst abgewöhnen. Hohle Hoffnungen führen solange zu Enttäuschungen, bis das Hirn nicht mehr zu hoffen wagt.
Hoffen wir das "der große Bruder" an uns vorbei geht.
Ich will nicht nach Qualityland.
)
Die Betrachtung ist etwas Top-Down, also abstrakt von der Anwendung her.