Co mówią dane o dokładności AI w kategoryzacji wydatków po czterech latach

Producenci narzędzi podają liczby z kontrolowanych środowisk testowych. Użytkownicy dostają wyniki ze swoich danych. Te dwie rzeczy rzadko się zgadzają.

Skąd pochodzi rozbieżność

Raporty Deloitte z 2022 roku dotyczące automatyzacji procesów finansowych w średnich przedsiębiorstwach wskazują, że mediana dokładności w środowisku produkcyjnym wynosiła 74% - przy deklarowanych przez dostawców 91-94%. Różnica wynikała z kilku czynników: dane testowe były czystsze niż produkcyjne, modele testowano na transakcjach typowych dla danej branży, a testy nie uwzględniały nowych dostawców pojawiających się po wdrożeniu.

Jak wyglądał rozkład błędów

Nie wszystkie błędy były równie kosztowne. Analiza 14 wdrożeń opisana w raporcie KPMG z 2023 roku pokazała, że 80% błędów kategoryzacji koncentrowało się na 12% transakcji - głównie wydatkach mieszanych, zaliczkach i fakturach zbiorczych. Reszta była kategoryzowana poprawnie. Problem polegał na tym, że te 12% transakcji wymagało proporcjonalnie więcej czasu na weryfikację niż cała reszta razem wzięta.

Co to oznacza przy ocenie narzędzia

Pytanie o ogólną dokładność jest mniej przydatne niż pytanie o dokładność dla konkretnych typów transakcji, które sprawiają ci problemy. Jeśli dostawca nie potrafi odpowiedzieć na to drugie pytanie, dane z pierwszego są bezużyteczne.

Firmy, które zadawały właściwe pytania przed wdrożeniem, rzadziej kończyły z projektem porzuconym po sześciu miesiącach.