Before/after: audyt RAG i dokumentów
Sanityzowany przykład pokazuje, jak ORCA przeprowadza firmę od folderu PDF-ów i niepewnych odpowiedzi do workflow, w którym system cytuje źródło, zna role dostępu i potrafi odmówić odpowiedzi.
Zakres audytu
Jedna kolekcja dokumentów, 20-40 pytań testowych, role dostępu, przypadki odmowy i decyzja: cleanup, MVP albo no-go.
Przed audytem
Typowy problem: dokumenty istnieją, ale nikt nie wie, która wersja obowiązuje, kto może ją zobaczyć i kiedy system ma powiedzieć „nie wiem”.
Chaos dokumentów
- stare PDF-y mieszają się z aktualnymi,
- brak właściciela procedury,
- nazwy plików nie mówią nic o wersji,
- wiedza jest w mailach i SharePoint,
- brak pytań testowych.
Ryzyko złego RAG
- model cytuje nieaktualny dokument,
- odpowiedź nie ma fragmentu źródła,
- role dostępu są niejasne,
- system zgaduje przy braku dowodu,
- demo wygląda dobrze, ale nie przechodzi governance.
Mapa po audycie
Po audycie RAG ma być workflow z kontrolą źródeł, a nie magiczne okno chatu nad folderem PDF.
Po audycie
Klient dostaje decyzję i bramki jakości: co trzeba uporządkować, co można prototypować i czego nie wolno automatyzować.
Canonical sources
Lista dokumentów, właścicieli, wersji i źródeł, które mogą wejść do pierwszego prototypu.
Test set
Pytania, przypadki trudne, odmowy odpowiedzi i oczekiwane cytowania.
Go / Prepare / No-go
Jasna decyzja dla właściciela, operacji, IT i osoby od RODO.
Najważniejsze metryki
Bez mierzenia jakości RAG jest tylko demo. Z metrykami staje się kontrolowanym systemem wiedzy.
Retrieval recall
Czy właściwy fragment trafia do kontekstu dla pytań testowych.
Citation support
Czy twierdzenie jest poparte konkretną sekcją lub stroną dokumentu.
Abstention
Czy system odmawia odpowiedzi, gdy brakuje źródła albo użytkownik nie ma roli.