RAG (Retrieval Augmented Generation)
RAG (Retrieval Augmented Generation) ist ein Verfahren, bei dem ein Sprachmodell vor dem Antworten passende Informationen aus einer eigenen Wissensquelle abruft, etwa aus Handbüchern oder internen Richtlinien. Das Modell antwortet dann auf Basis dieser Dokumente statt nur aus seinem Trainingswissen.
Wie RAG funktioniert
Zuerst werden die Dokumente vorbereitet. Sie werden in kurze Abschnitte zerlegt, und für jeden Abschnitt wird eine lange Zahlenreihe berechnet, die seine Bedeutung abbildet, ein sogenanntes Embedding. Diese Vektoren landen in einer Vektordatenbank. Stellt jemand eine Frage, sucht das System die Abschnitte, die inhaltlich am besten passen, auch wenn andere Wörter verwendet werden. Viele Systeme kombinieren das mit einer klassischen Stichwortsuche.
Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben. Das Modell formuliert daraus eine Antwort und kann angeben, aus welchem Dokument die Information stammt. Den Begriff prägte eine Forschungsarbeit von Patrick Lewis und Kollegen aus dem Jahr 2020, entstanden unter anderem bei Facebook AI Research, dem heutigen Forschungslabor FAIR von Meta.
Wofür RAG im Unternehmen eingesetzt wird
Typische Anwendungen sind Chatbots auf der Website, die Fragen auf Basis der eigenen Leistungsbeschreibungen beantworten, und interne Assistenten, die Mitarbeitenden Antworten aus Handbüchern oder Arbeitsanweisungen liefern. Auch bei der Dokumentenverarbeitung hilft RAG, etwa wenn ein neues Angebot mit früheren Projekten abgeglichen werden soll.
Der Vorteil gegenüber einem eigens nachtrainierten Modell: Neue oder geänderte Dokumente sind sofort nutzbar, ohne das Modell neu zu trainieren. Und weil die Quelle bekannt ist, lässt sich jede Antwort nachprüfen.
Worauf es bei der Umsetzung ankommt
Die Qualität steht und fällt mit den Dokumenten. Veraltete oder widersprüchliche Inhalte führen zu falschen Antworten. Bevor ein RAG-System entsteht, lohnt es sich deshalb, die Wissensbasis aufzuräumen.
Wichtig sind außerdem Zugriffsrechte. Ein interner Assistent darf nur Dokumente heranziehen, die der jeweilige Nutzer auch sehen darf. Und das System sollte offen sagen, wenn es keine passende Quelle findet, statt eine Antwort zu erfinden. Das lässt sich über den Prompt steuern und muss mit echten Fragen aus dem Alltag getestet werden.
Beispiel: Angenommen, ein Servicebetrieb hat 100 Seiten Wartungsanleitungen. Ein Techniker fragt per Smartphone, wie ein bestimmter Filter gewechselt wird. Das RAG-System findet die passenden Abschnitte, das Sprachmodell formuliert daraus eine kurze Anleitung und nennt die Fundstelle. Das Blättern im Ordner entfällt, und die Antwort lässt sich direkt im Original prüfen.
