Das klingt sehr ähnlich wie das RAG-Projekt, welches ich mit Docmost zusammen gebastelt habe. Das LLM lasse ich dabei jedoch nicht direkt an die Daten, sondern ich nutze dazu meinen Brainagent.
Der Brainagent fungiert als intelligenter Proxy, der jede meiner Anfragen abfängt und mit relevantem Wissen aus meinen Datenbanken anreichert, bevor sie das LLM erreicht. Dabei durchsucht er zuerst gezielt die SQL-Datenbank nach harten Fakten (Docmost-Export) und anschließend die Vektor-Datenbank (Qdrant) nach weiterführendem, semantischem Kontext. Die Rolle des „Bibliothekars“ übernimmt dabei der Agent selbst, da er Anfragen klassifiziert und die benötigten Informationen aus den verschiedenen Archiven wie ein Assistent vorab für das LLM aufbereitet. Dank des modularen Plugin-Systems fungiert er als zentraler Vermittler zwischen rohen Datenquellen und der Textausgabe des Sprachmodells. Durch diesen Ansatz wird sichergestellt, dass die Antworten präzise auf meinem eigenen Datenbestand basieren, wodurch ich verhindere, dass das LLM mit seinem allgemeinen Wissen halluziniert.
LG Olav
Das hört sich auch interessant an. Ich muss sagen, mich erschlägt in meinem Alter einfach die Menge der neuen Möglichkeiten die durch KI entstanden sind. Gefühlt ändert sich dadurch täglich so viel, daß man neu Gelerntes schon nach ner Woche als veraltet ünerarbeiten kann. Macht zwar alles enorm Spaß aber verleitet auch dazu innerlich getrieben und hektisch zu werden.
Ich freue mich immer wenn ich etwas auf die Kette bekomme, wovon ich vor nem Jahr noch dachte ich wäre zu blöde oder zu alt dazu.
Danke für deinen Kommentar, macht mich wieder neugierig auf anderes,
Gruß,
Willy
