RAG (generowanie wspomagane wyszukiwaniem)
RAG to sposób użycia modelu językowego, w którym system najpierw wyszukuje pasujące fragmenty dokumentów firmy, a dopiero potem prosi model o odpowiedź na ich podstawie. Do odpowiedzi dołącza odnośnik do źródła, więc da się ją sprawdzić.
Model sam z siebie nie zna Twoich cenników, umów z klientami, instrukcji stanowiskowych ani historii zleceń. Douczanie modelu tymi danymi jest kosztowne i traci aktualność przy pierwszej zmianie cennika. RAG odwraca kolejność: dokumenty zostają tam, gdzie są, a system szuka w nich przy każdym pytaniu, więc poprawiona procedura działa od razu po ponownym zaindeksowaniu.
Mechanizm jest prosty. Dokumenty dzieli się na fragmenty i indeksuje, pytanie użytkownika zamienia się w wyszukiwanie, a kilka najlepiej pasujących fragmentów trafia do modelu razem z poleceniem, żeby odpowiadał wyłącznie z nich. Z odpowiedzią przychodzi informacja, z którego dokumentu i której jego części pochodzi, więc pracownik może kliknąć i przeczytać oryginał.
Jakość takiego asystenta zależy od wyszukiwania bardziej niż od modelu i tam leży większość pracy wdrożeniowej. Skany bez warstwy tekstowej, trzy wersje tej samej instrukcji w różnych folderach, cennik w arkuszu z połączonymi komórkami: przy takich źródłach model dostanie niewłaściwy fragment i odpowie na jego podstawie, znowu pewnym tonem. Do tego dochodzą uprawnienia, bo indeks musi wiedzieć, kto ma prawo zobaczyć który dokument.
Po czym poznasz, że temat dotyczy Twojej firmy: pytania w rodzaju „jaki rabat ma ten klient” albo „jak wygląda procedura reklamacji” trafiają do jednej osoby, bo tylko ona wie, w którym pliku szukać, a jej urlop zauważa cała firma.