Hogyan hangoltunk egy AI rendszert egy szakember ítéletéhez

A probléma

Egy tetőfelújítás több millió forint, és a megrendelő általában két-három ajánlatot kap rá. Ezek az ajánlatok viszont nem összehasonlíthatók: más mennyiségekkel, más műszaki tartalommal, más tételbontásban, néha kézzel írva készülnek. A lakossági megrendelőnek nincs szakmai tudása eldönteni, melyik mögött van valódi tartalom, és melyik olcsó azért, mert hiányzik belőle a fele.

A vállalkozó oldaláról ugyanez fordítva fáj: rendszeresen veszít olyan ajánlatokkal szemben, amik csak papíron olcsóbbak. Ebből a kettős fájdalomból született a szolgáltatás ötlete: fizetős, független átvilágítás, amit a megrendelő rendel meg, mielőtt szerződne bárkivel.

Amit építettünk

1. Beküldés és dokumentumkezelés. A megrendelő feltölti a kapott ajánlatokat: PDF, fotó, szkennelt papír, kézzel írt lap. A rendszer először azt nézi meg, olvasható és teljes-e, és ha nem, hiánypótlást kér, mielőtt bármit elemezne.
2. Kinyerés. Tételek, mennyiségek, egységárak, adózási státusz, fizetési feltételek, garancia, kizárások. A kézzel írt és fotózott ajánlatok is végigmennek.
3. Pontozás. Kilenc szempont, szempontonként 1–5 pont, összesen legfeljebb 45. A pontszám négy döntési sávba esik. Az árat egy munkanemenkénti referenciatáblához méri, nem önmagában.
4. Emberi jóváhagyás. A szakember átnézi, javítja, jóváhagyja. A rendszer műszakilag sem engedi megkerülni ezt a lépést.
5. Kiadás. PDF vélemény, benne a szempontonkénti értékelés és egy kérdéslista arról, mit tisztázzon a megrendelő szerződéskötés előtt. Automatikus ügyfél-levelezés, magyar munkanaptáras határidőfigyeléssel.

A központi tervezési döntés: az AI előkészít, ember hagy jóvá. Ez nem óvatosságból van így. A szakmai felelősséget nem lehet gépre tolni, és jogilag is ez az, ami miatt nem kizárólag automatizált döntéshozatalról van szó. Ezért a jóváhagyási kapu nem beállítás, hanem a rendszer szerkezetébe van építve.

A nehéz rész: a kalibráció

Egy pontozórendszert megírni egy nap. Elérni, hogy ugyanazt mondja, amit a szakember mondana, egészen más feladat.

A módszer az volt, hogy a tulajdonos a rendszertől függetlenül, előre lepontozott három valódi ajánlatot ugyanazon a kilenc szemponton. Ezután futtattuk le a rendszert ugyanazokon a dokumentumokon, és nem a pontszámok egyezését néztük elsősorban, hanem az eltérések előjelét: ha egy szemponton a rendszer következetesen ugyanabba az irányba téved, az szabályhiba. Ha szór, az zaj, és azzal együtt lehet élni.

Amit hat kör alatt megtanultunk:

• A legveszélyesebb hiba nem a pontatlanság, hanem a rossz irány. Az egyik ajánlatot a rendszer kezdetben két döntési sávval kedvezőbbnek látta, mint a szakember. Egy pontnyi tévedés nem baj. Két sáv azt jelenti, hogy a megrendelő rossz döntést hozhat.
• A hiba gyakran a súlyozásban van, nem a szabályban. Ugyanaz a hiányosság több szemponton is levont, így a kis hibák halmozódva aránytalan büntetést kaptak. A megoldás egy globális halmozódási fék lett.
• Az anonimizálás nem kitakarás. Az első kísérlet fekete téglalapokkal készült, és megbukott: a rendszer hiányosnak látta a dokumentumokat. A megoldás a helyettesítés lett, kitalált, de valósághű adatokkal.
• A rendszer a szakember saját következetlenségét is megmutatta. Két szemponton a tulajdonos először felülbírálta a gépet, egy későbbi körben viszont maga állapította meg, hogy a korábbi értékelése szigorúbb volt, mint amit a leírt szabályai indokolnak. A gép a szabályokat alkalmazta, az ember a megérzését, és a kettő eltérése magát a szabályrendszert tette pontosabbá.

A záró mérés

Ajánlat	Szakember	Rendszer	Döntési kategória
„A” kivitelező	18	27	egy sávval eltér
„B” kivitelező	33	32	egyezik
„C” kivitelező	42	40	egyezik

A döntő eredmény viszont nem a táblázatban van. A rendszer ajánlása minden kérdésben megegyezett a szakemberével: a három ajánlatból ugyanazt javasolta, és ha csak kettő közül kellett választani, akkor is ugyanazt. Egy ilyen szolgáltatásnál nem az a tét, hogy 32 vagy 33 pont jön ki, hanem hogy ugyanarra a következtetésre jut-e.

A megmaradt eltérést sem söpörtük el. Az „A” ajánlatnál a rendszer egyenletesen egy ponttal engedékenyebb minden szemponton. Ez nem elrontott szabály, hanem az, amit a tulajdonos maga fogalmazott meg: az ösztöne szigorúbb, mint a leírt szabályrendszere. Ezt ismert korlátként dokumentáltuk, nem tüntettük el egy plusz szabállyal.

Mérés, nem becslés

A rendszer minden AI-hívást naplóz: ügy, lépés, modell, bemeneti és kimeneti tokenszám. Tizenkilenc teljes lefutás alapján, a modellek hivatalos egységárával és az MNB árfolyamával számolva pontosan tudjuk, mibe kerül egy átvizsgálás.

Mit mértünk	Alap csomag	Prémium csomag
AI-hívás átlagosan	6,2	9,0
Átlagos gépi költség egy futásra	63 Ft	103 Ft
Fix infrastruktúra havonta	kb. 16 100 Ft

Ennek a mérésnek üzleti következménye lett. Mivel a változó költség gyakorlatilag nulla, a havidíjban foglalt mennyiséget bőkezűen lehetett meghatározni, és a díjszabást nem a gépidőre, hanem a rendelkezésre állásra és a felelősségvállalásra építettük.

Amit a legtöbben kihagynak: a jogi előkészítés

Ez a szolgáltatás olyan dokumentumokat dolgoz fel, amelyeket nem a megrendelő írt, hanem egy másik vállalkozás. Más cégek adatai, természetes személyek elérhetőségei és üzleti titoknak minősülhető egységárak szerepelnek bennük. Ezt nem lehet menet közben megoldani:

• adatkezelési tájékoztató, külön fejezettel a beküldött dokumentumokban szereplő harmadik személyekről,
• felelősségkorlátozó nyilatkozat a kiadott véleményben, két blokkban,
• elállási nyilatkozat a megrendelésnél, mert a 48 órás teljesítés és a fogyasztó 14 napos felmondási joga egymásnak feszül,
• minden szöveg verziószámmal, és a kiadott dokumentum naplózza, melyik verzióval ment ki,
• egy kapu, ami élesben megállítja a dokumentumkiadást, ha a jogi szövegekből hiányzik bármelyik valós cégadat.

Mit jelent ez egy új partnernek

A rendszer motorja szakmafüggetlen: a dokumentumfeldolgozás, a pontozás gépezete, a jóváhagyási kapu, a dokumentumkészítés és a jogi keret minden olyan területen ugyanaz, ahol a lakossági ügyfél több ajánlatot kap egy nagy értékű munkára, és nem tudja megítélni őket. Ami partnerenként egyedi, az a tartalom: az árreferencia-tábla, az értékelési szempontok és az adott szakma tipikus buktatói. Ez a partner szakmai tudása, és az is marad.

Mit kell felépíteni	Ráfordítás
Árreferencia-tábla és belső konzisztencia-ellenőrzés	kb. 1 nap
Szakmai szabályrendszer és kockázati tényezők	1–2 nap
Kalibráció három valós ajánlaton	1–2 nap
Teljes telepítés	3–5 nap

Az első rendszer fél évbe telt. A második néhány napba. A különbség az, hogy a nehezén már túl vagyunk.

Az esettanulmányban szereplő pontszámok valós mérésekből származnak. A partner árreferencia-adatai és szakmai szabályrendszerének tartalma üzleti titok, ezért nem szerepelnek benne.