LLM (duży model językowy)
LLM to model wytrenowany na ogromnych zbiorach tekstu, który przewiduje kolejne słowa i dzięki temu czyta, streszcza, klasyfikuje i pisze. Nie jest bazą wiedzy o Twojej firmie i sam z siebie nie sprawdza, czy to, co napisał, jest prawdą.
W systemie firmowym LLM odpowiada za pracę z tekstem, a nie za decyzje. Czyta maila z zamówieniem i wyciąga z niego pozycje, nadaje reklamacji kategorię i kieruje ją do właściwego działu, przygotowuje projekt odpowiedzi, tłumaczy komunikat o błędzie na zwykły język. Wynik trafia do człowieka jako propozycja do zatwierdzenia, a nie jako gotowy zapis w bazie.
Największe ograniczenie to halucynacje: model zawsze coś odpowie, również wtedy, gdy nie ma podstaw, i zrobi to pewnym tonem. Dlatego w działającym rozwiązaniu odpowiedzi opiera się na konkretnych dokumentach firmy (RAG), dopuszcza odpowiedź „nie wiem”, a wynik przed zapisem przechodzi przez zwykłe reguły: NIP musi istnieć w kartotece, suma pozycji zgadzać się z wartością dokumentu, indeks pochodzić ze słownika.
Koszt liczy się od ilości tekstu, który wchodzi do modelu i z niego wychodzi, więc rośnie z każdym zapytaniem i z każdym dołączonym dokumentem. Wrzucanie całej bazy do jednego zapytania jest i drogie, i mało skuteczne. Przy planowaniu budżetu warto od początku wiedzieć, ile zapytań miesięcznie generuje dany proces i gdzie ustawić limit.
Osobna decyzja dotyczy danych. Zanim maile klientów, umowy czy kartoteki pracowników trafią do modelu, firma powinna wiedzieć, u kogo ten model działa, czy jest umowa powierzenia przetwarzania i czy dane wychodzą poza Europejski Obszar Gospodarczy. Dla danych wrażliwych alternatywą jest model uruchomiony na własnej albo wynajętej infrastrukturze: wolniejszy i droższy w utrzymaniu, ale bez wysyłania treści na zewnątrz.