Opisz problem własnymi słowami. AI dobierze z naszej strony usługi, rozwiązania i artykuły, które do niego pasują.

    Słownik

    LLM (duży model językowy)

    LLM to model wytrenowany na ogromnych zbiorach tekstu, który przewiduje kolejne słowa i dzięki temu czyta, streszcza, klasyfikuje i pisze. Nie jest bazą wiedzy o Twojej firmie i sam z siebie nie sprawdza, czy to, co napisał, jest prawdą.

    W systemie firmowym LLM odpowiada za pracę z tekstem, a nie za decyzje. Czyta maila z zamówieniem i wyciąga z niego pozycje, nadaje reklamacji kategorię i kieruje ją do właściwego działu, przygotowuje projekt odpowiedzi, tłumaczy komunikat o błędzie na zwykły język. Wynik trafia do człowieka jako propozycja do zatwierdzenia, a nie jako gotowy zapis w bazie.

    Największe ograniczenie to halucynacje: model zawsze coś odpowie, również wtedy, gdy nie ma podstaw, i zrobi to pewnym tonem. Dlatego w działającym rozwiązaniu odpowiedzi opiera się na konkretnych dokumentach firmy (RAG), dopuszcza odpowiedź „nie wiem”, a wynik przed zapisem przechodzi przez zwykłe reguły: NIP musi istnieć w kartotece, suma pozycji zgadzać się z wartością dokumentu, indeks pochodzić ze słownika.

    Koszt liczy się od ilości tekstu, który wchodzi do modelu i z niego wychodzi, więc rośnie z każdym zapytaniem i z każdym dołączonym dokumentem. Wrzucanie całej bazy do jednego zapytania jest i drogie, i mało skuteczne. Przy planowaniu budżetu warto od początku wiedzieć, ile zapytań miesięcznie generuje dany proces i gdzie ustawić limit.

    Osobna decyzja dotyczy danych. Zanim maile klientów, umowy czy kartoteki pracowników trafią do modelu, firma powinna wiedzieć, u kogo ten model działa, czy jest umowa powierzenia przetwarzania i czy dane wychodzą poza Europejski Obszar Gospodarczy. Dla danych wrażliwych alternatywą jest model uruchomiony na własnej albo wynajętej infrastrukturze: wolniejszy i droższy w utrzymaniu, ale bez wysyłania treści na zewnątrz.

    Gdzie to działa u nas

    Przeczytaj też

    Powiązane pojęcia

    ← Wszystkie pojęcia

    Wiesz już, co w firmie nie działa?

    Napisz, co utknęło albo co spowalnia biznes. Zbudujemy rozwiązanie, które to usuwa.

    Zacznij rozmowę →
    Albo napisz bezpośrednio nahello@udb.pl