Jak przygotować wiedzę firmy do RAG?
RAG działa najlepiej wtedy, gdy wiedza organizacji jest przygotowana jak produkt: ma właścicieli, wersje, metadane i jasne zasady dostępu.
Największym problemem RAG często nie jest model.
Jakość systemu zależy od tego, czy wiedza jest aktualna, jednoznaczna, dobrze opisana i możliwa do znalezienia. RAG ujawnia problemy istniejące wcześniej w organizacji: duplikaty, stare procedury i niejasne uprawnienia.
1. Zrób mapę źródeł
Wypisz systemy i właścicieli wiedzy. Określ, które źródło jest nadrzędne, jak często się zmienia i kto ma do niego dostęp.
2. Wersjonuj i usuwaj duplikaty
Jeżeli w indeksie znajdzie się kilka sprzecznych wersji procedury, model nie ma podstaw, by samodzielnie wybrać tę właściwą. Metadane wersji i status dokumentu są krytyczne.
3. Dziel dokumenty semantycznie
Chunking powinien zachowywać sens. Tabele, nagłówki, listy i sekcje wymagają innego traktowania niż zwykły tekst.
4. Buduj metadane i ACL
Dział, lokalizacja, typ dokumentu, data obowiązywania i grupa uprawnień pozwalają filtrować wyniki przed przekazaniem ich do modelu.
5. Testuj retrieval oddzielnie od generacji
Najpierw sprawdź, czy dla zestawu pytań system pobiera właściwe fragmenty. Dopiero potem oceniaj jakość generowanej odpowiedzi.
6. Wymagaj źródeł
W scenariuszach firmowych użytkownik powinien móc zobaczyć, z jakiego dokumentu pochodzi odpowiedź i samodzielnie ją zweryfikować.
Chcesz przełożyć temat na swoją organizację? Możemy przeprowadzić warsztat architektoniczny lub przygotować PoC na kontrolowanym zbiorze danych.