RAG mit internen Dokumenten: Qualität, Quellen und Zugriffsrechte

Kurzantwort: Eine gute RAG-Anwendung liefert nicht einfach flüssige Antworten. Sie findet die richtigen, erlaubten und aktuellen Quellen, zeigt diese nachvollziehbar an und verweigert eine Antwort, wenn die Grundlage fehlt.

Was RAG tatsächlich macht

Retrieval-Augmented Generation kombiniert Suche und Sprachmodell. Zu einer Frage werden passende Dokumentabschnitte gesucht. Das Modell formuliert daraus eine Antwort.

RAG ist kein automatisches Training auf Unternehmenswissen. Werden Dokumente aktualisiert, muss der Suchindex aktualisiert werden; das Sprachmodell selbst muss dafür normalerweise nicht neu trainiert werden.

Die häufigsten Qualitätsprobleme

Falsche oder zu große Abschnitte

Starres Chunking kann Tabellen, Überschriften und zusammengehörige Aussagen trennen. Dokumentstruktur und fachliche Einheit sollten in die Abschnittsbildung einfließen.

Schlechte Ausgangsdokumente

Veraltete, widersprüchliche oder unklare Quellen führen zu widersprüchlichen Antworten. RAG macht fehlende Dokumentpflege sichtbarer, behebt sie aber nicht.

Suche ohne Berechtigungen

Wenn erst nach der Suche geprüft wird, können vertrauliche Abschnitte bereits im Modellkontext oder Log gelandet sein. Zugriffsfilter müssen Teil des Retrievals sein.

Keine echte Evaluation

Einige plausible Demo-Fragen sind kein Qualitätstest. Benötigt werden reale Fragen, bekannte Sollquellen und eine fachliche Bewertung.

Ein sinnvoller Testsatz

Der Testsatz sollte verschiedene Situationen enthalten:

• Frage mit einer eindeutigen Quelle
• Frage, deren Antwort aus mehreren Dokumenten entsteht
• Frage zu einer veralteten Dokumentversion
• Frage ohne Antwort im Bestand
• Frage auf eine nicht berechtigte Quelle
• missverständlich formulierte Frage
• Frage zu einer Tabelle oder Abbildung

Bewertet werden Retrieval, Quellenbezug, Vollständigkeit, unzulässige Behauptungen und angemessene Verweigerung.

Quellenanzeige richtig umsetzen