Punkty graniczne, w których systemy AI przestają poprawnie kategoryzować wydatki

Systemy AI do kategoryzacji wydatków nie psują się nagle. Degradują się stopniowo, a użytkownicy zauważają to za późno.

Rotacja dostawców jako czynnik ryzyka

Model uczony na danych historycznych nie zna nowych dostawców. W firmach z wysoką rotacją dostawców - powyżej 15% nowych kontrahentów rocznie - dokładność modelu spadała o 9-14 punktów procentowych w ciągu pierwszego roku bez doszkalania. Dane z tego zakresu zbierał między innymi Basware w swoich raportach benchmarkingowych z 2022 roku. Firmy, które nie planowały regularnego retreningu modelu, wchodziły w tę pułapkę bez wyjątku.

Zmiany w planie kont

Reorganizacja struktury kont podczas działania systemu to drugi powtarzający się punkt awarii. Model kategoryzuje według kategorii, na których był trenowany. Jeśli kategoria znika lub się dzieli, model przypisuje transakcje do najbliższego odpowiednika - często błędnie. Firma usługowa z Poznania, która w 2021 roku przeprowadziła restrukturyzację planu kont bez jednoczesnego retreningu modelu, przez cztery miesiące nie wykrywała błędów, bo kontrola była wyrywkowa.

Sezonowość i wydatki jednorazowe

Modele trenowane na danych z jednego roku nie radzą sobie z wydatkami sezonowymi, które pojawiają się rzadko. Konferencje, ubezpieczenia roczne, opłaty licencyjne - to kategorie z najwyższym odsetkiem błędnej klasyfikacji w każdym raporcie, który sprawdzałem.

Obserwacja końcowa

Każdy z tych punktów był przewidywalny. Żaden nie był nieuchronny przy odpowiednim planowaniu utrzymania systemu.