Wird geladen…
Funktioniert Ihr RAG-System wirklich?
RAGCheck stellt vordefinierte Testfragen an Ihr Wissenssystem und prüft die Antworten in Klartext: Wurde die Frage richtig beantwortet? Wurden die richtigen Quellen gefunden? Wurden zu viele unnötige Quellen zusätzlich hineingezogen?
Arbeitsbereich
Letzter Testlauf
Fragen korrekt beantwortet
·
·
Antwortqualität
Misst, wie gut die generierten Antworten inhaltlich mit der erwarteten Antwort übereinstimmen. 100 % = jede Antwort enthält alle Schlüsselinformationen und ist sachlich korrekt.
Benötigte Quellen gefunden
Prüft, ob das System alle Dokumente findet, die für eine korrekte Antwort tatsächlich benötigt werden. 100 % = keine wichtige Quelle wurde übersehen.
Gefundene Quellen sind relevant
·
Zeigt, wie viele der gefundenen Quellen tatsächlich für die Frage relevant waren. 100 % = keine unnötigen Dokumente wurden dazugeholt. Ein niedriger Wert kostet Kontext-Budget und lenkt das LLM ab.
Zusammenfassung in Klartext
Fragensets
Testläufe
RAG-Systeme
Bewerter
📋
Noch keine Testläufe
Sobald das erste RAG-System angebunden und ein Testlauf gestartet wurde, erscheinen hier die Ergebnisse.
Fragensets
Kuratierte Testfragen mit erwarteten Antworten. Werden bei jedem Testlauf gegen das RAG-System gefeuert.
Erwartete Quellen
(keine — Frage ist bewusst nicht beantwortbar)
Muss-Inhalte in Antwort
Testläufe
Noch keine Testläufe.
Fragen korrekt beantwortet
·
·
Antwortqualität
Misst, wie gut die generierten Antworten inhaltlich mit der erwarteten Antwort übereinstimmen. 100 % = jede Antwort enthält alle Schlüsselinformationen und ist sachlich korrekt.
Benötigte Quellen gefunden
Prüft, ob das System alle Dokumente findet, die für eine korrekte Antwort tatsächlich benötigt werden. 100 % = keine wichtige Quelle wurde übersehen.
Gefundene Quellen sind relevant
·
Zeigt, wie viele der gefundenen Quellen tatsächlich für die Frage relevant waren. 100 % = keine unnötigen Dokumente wurden dazugeholt.
Zusammenfassung in Klartext
Kontext des Testlaufs
Filter:
Antwort
Abdeckung
Fokus
Antwort
Abdeckung
Fokus
Antwort
Quellen-Abdeckung
Quellen-Fokus
Antwort des RAG-Systems
Begründung des Bewerters
Technische Details anzeigen
Erwartete Quellen
(keine — Frage ohne beabsichtigte Antwort)
Erwartete Schlüsselinhalte
Vom System zurückgegebene Quellen ()
Chunks im Detail — pro Chunk: relevant oder nicht?
·
RAG-Systeme
Angebundene RAG-Pipelines, die geprüft werden.
Keine RAG-Systeme konfiguriert.
Analyse
Wiederkehrende Muster über alle Testläufe dieses Arbeitsbereichs.
Ergebnis nach Fragenkategorie
Unnötige-Quellen-Sammler
Dokumente, die oft gefunden werden, aber für die jeweilige Frage nicht relevant waren. Reduziert die Antwortqualität, weil diese Inhalte das LLM ablenken.
Keine auffälligen Dokumente — brauchen mindestens 2 Abrufe pro Dokument.
Schwierigste Fragen
Alle Fragen wurden korrekt beantwortet — nichts zu tun.
🔍