Publiczny sample deliverable
Jak wygląda audyt RAG dla dokumentów
Syntetyczny przykład dla procedur i PDF-ów. Pokazuje, kiedy najpierw trzeba uporządkować korpus, wersje, role dostępu i metryki cytowań, zanim powstanie prototyp.
Co klient widzi w raporcie
Ten sample pokazuje, że audyt RAG nie zaczyna się od czatu z PDF-em. Zaczyna się od jakości źródeł, wersji, ról i testów cytowań.
Decyzja
Prepare data first, then build prototype. Potrzeba biznesowa jest mocna, ale korpus ma konflikty wersji i słabe granice dostępu.
Metryki
Retrieval recall 85%+, citation support 90%+, abstention 80%+ i zero nieautoryzowanych pobrań.
Ryzyko
Zły albo stary dokument może stać się fałszywym autorytetem. Dlatego prototyp wymaga canonical versions i role filters.
Zakres readiness przed RAG
Najważniejszy wynik audytu to decyzja, czy dokumenty są gotowe do retrievalu. Jeśli nie są, pierwszy płatny krok to cleanup.
Wersje
Oznaczenie aktualnych i archiwalnych PDF-ów, właściciela dokumentu, daty wejścia i typu procedury.
Cytowania
Page/section/snippet references, żeby odpowiedź wskazywała dokładny fragment, a nie tylko nazwę pliku.
Role
Mapa użytkownik → kolekcja dokumentów, zanim retrieval zobaczy dane spoza uprawnień.
Fragment metryk jakości
Te metryki są bramką przed produkcją. Jeżeli system nie umie cytować i odmawiać odpowiedzi przy braku źródła, nie powinien automatyzować procedur.
| Metryka | Target | Dlaczego ważne |
|---|---|---|
| Retrieval recall on gold questions | 85%+ | Poprawne źródło musi trafić do kontekstu przed generacją. |
| Citation support rate | 90%+ | Twierdzenia muszą być poparte cytowanym fragmentem. |
| Abstention on missing evidence | 80%+ | System ma powiedzieć „brak wystarczającego źródła”, zamiast zgadywać. |
| Wrong-version citation rate | <5% | Stare PDF-y nie mogą stać się źródłem formalnej odpowiedzi. |
| Unauthorized retrieval incidents | 0 | Role filtering jest warunkiem produkcji. |
Masz procedury, PDF-y albo SWZ?
Najpierw sprawdzamy jedną kolekcję dokumentów i zestaw pytań. Jeżeli źródła są gotowe, audyt przechodzi w prototyp RAG z cytowaniami i approval.